掌握大数据 – Apache Spark/Hadoop/Sqoop/Hive/Flume/Mongo
大数据深入课程 – Apache Spark、Hadoop、Sqoop、Flume 和 Apache Hive、MongoDB 和大数据集群设置
讲师：Navdeep Kaur
双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！
用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。
你将学到什么
- Hadoop 分布式文件系统和命令。sqoop 命令的生命周期。Sqoop import命令将数据从Mysql迁移到HDFS。Sqoop导入命令将数据从Mysql迁移到Hive。导入数据时使用各种文件格式、压缩、文件定界符、where 子句和查询。了解分割查询和边界查询。使用增量模式将数据从Mysql迁移到HDFS。使用sqoop导出，将数据从HDFS迁移到Mysql。使用sqoop导出，将数据从Hive迁移到Mysql。了解 Flume 架构。使用 Flume 从 Twitter 提取数据并保存到 HDFS。使用flume，从netcat获取数据并保存到HDFS。使用flume，从exec中提取数据并在控制台上显示。水槽拦截器。
要求
- 不
描述
在本课程中，您将首先了解什么是 hadoop 分布式文件系统以及使用Hadoop 文件系统所需的最常见的 hadoop 命令。
然后将向您介绍Sqoop Import
- 了解 sqoop 命令的生命周期。
- 使用sqoop import命令将数据从Mysql迁移到HDFS。
- 使用sqoop import命令将数据从Mysql迁移到Hive。
- 导入数据时使用各种文件格式、压缩、文件定界符、where 子句和查询。
- 了解分割查询和边界查询。
- 使用增量模式将数据从Mysql迁移到HDFS。
此外，您将学习Sqoop Export来迁移数据。
- 什么是 sqoop 导出
- 使用sqoop导出，将数据从HDFS迁移到Mysql。
- 使用sqoop导出，将数据从Hive迁移到Mysql。
此外，您将了解Apache Flume
- 了解 Flume 架构。
- 使用 Flume 从 Twitter 提取数据并保存到 HDFS。
- 使用flume，从netcat获取数据并保存到HDFS。
- 使用flume，从exec中提取数据并在控制台上显示。
- 描述 Flume 拦截器并查看使用拦截器的示例。
- Flume 多个代理
- 水槽整合。
在下一节中，我们将了解 Apache Hive
- 蜂巢简介
- 外部表和托管表
- 使用不同的文件 – Parquet、Avro
- 按压
- 蜂巢分析
- Hive 字符串函数
- Hive 日期函数
- 分区
- 分桶
您将了解Apache Spark
- 火花简介
- 集群概览
- RDD
- DAG/阶段/任务
- 行动与转变
- 转型与行动示例
- Spark 数据帧
- Spark 数据框架 – 使用 diff 文件格式和压缩
- 数据框 API
- 星火SQL
- 数据框示例
- Spark 与 Cassandra 集成
- 在 Intellij IDE 上运行 Spark
- 在 EMR 上运行 Spark
本课程适合谁：
- 想要详细学习大数据的人
请注意：
如果你有能力，请务必支持课程的原创作者，这是他们应得的报酬！
本站收取的费用，仅用来维持网站正常运行的必要支出，从本站下载任何内容，说明你已经知晓并同意此条款。
如果你有能力，请务必支持课程的原创作者，这是他们应得的报酬！
本站收取的费用，仅用来维持网站正常运行的必要支出，从本站下载任何内容，说明你已经知晓并同意此条款。
