【Udemy中英字幕】Apache Beam | A Hands-On course to build Big data Pipelines

阿帕奇光束| 构建大数据管道的实践课程

使用任何语言的 Apache Beam 构建大数据管道，并通过 Spark、Flink、GCP（Google Cloud Dataflow）运行它。

讲师：J Garg – Real Time Learning

双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

你将学到什么

• 学习 Apache Beam – 一种便携式编程模型，其管道可以部署在 Spark、Flink、GCP（Google Cloud Dataflow）等上。
• 通过动手示例了解 Apache Beam 每个组件的工作原理。
• 了解 Apache Beam 基础知识，包括其架构、编程模型、Pcollections、管道等。
• 多个 PTransforms 用于读取、转换和写入处理后的数据。
• 窗口、触发器、水印、后期元素、类型提示等高级概念。
• 从 Apache Beam 管道将数据加载到 Google BigQuery Tables。
• 使用 Apache Beam 构建实时业务的大数据处理管道。
• 讲座中使用的数据集和 Beam 代码可在资源选项卡中找到。

要求

• 分布式数据处理架构的基础知识。
• Python 基础知识。

描述

Apache Beam 是适用于批处理和流数据用例的统一且可移植的编程模型。

早些时候，我们只能在各自的集群上运行 Spark、Flink 和 Cloud Dataflow 作业。但现在 Apache Beam 提出了一种可移植的编程模型，我们可以在其中构建与语言无关的大数据管道并使用任何大数据引擎（Apache Spark、Flink 或在 Google Cloud Platform 中使用其 Cloud Dataflow 和更多大数据引擎）运行它。

Apache Beam 是构建大数据处理管道的未来，并且由于其可移植性而将被大众公司接受。许多大公司甚至开始在其生产服务器中部署 Beam 管道。

课程包括什么？

• 从零开始到实时实施的完整 Apache Beam 概念的解释。
• 每个 Apache Beam 概念都通过适当的 实践示例进行了解释。
• 甚至包括那些概念，网上任何地方的解释都不是很清楚。
• 类型提示、编码和解码、水印、窗口、触发器等等。
• 使用 Apache Beam 编程模型构建 2 个实时大数据案例研究。
• 通过 Dataflow 将处理后的数据从 Apache Beam 管道加载到 Google Cloud BigQuery Tables。
• 为了方便起见，课程中附有讲座中使用的代码和数据集。

本课程适合谁：

• 想要从头开始学习 Apache Beam 到其实时项目实施的学生。
• 想要构建统一和便携式大数据处理管道的数据工程师。
• 想要学习大数据处理的未来编程模型的开发人员。