【Udemy中英字幕】Apache Airflow: The Hands-On Guide

Apache Airflow 是一个由社区创建的平台，用于以编程方式编写、安排和监控工作流程。

它具有可扩展性、动态性、可扩展性和可模块化性。

毫无疑问，掌握 Airflow 正在成为任何处理数据的人必备的、有吸引力的技能。

您将在课程中学习到：

• 解释了 Airflow 的基础知识，例如 Airflow 是什么、调度程序和 Web 服务器如何工作

• Forex Data Pipeline 项目是发现Airflow 中的许多运算符并处理 Slack、Spark、Hadoop 等的绝佳方式

• 掌握您的 DAG是首要任务，您可以使用时区、对您的 DAG 进行单元测试、构建您的 DAG 文件夹等等。

• 将详细解释如何通过不同的执行器（例如本地执行器、Celery 执行器和Kubernetes 执行器）扩展 Airflow 。您将了解如何专门化您的工作程序、添加新工作程序以及节点崩溃时会发生什么。

• 将使用Rancher、Airflow和Kubernetes Executor本地设置一个由 3 个节点组成的 Kubernetes 集群来运行您的数据管道。

• 高级概念将通过实际示例展示，例如模板化您的 DAG、如何使您的 DAG 依赖于另一个 DAG、什么是Subdag 和死锁等等。

• 您将使用AWS EKS 和 Rancher在云中设置Kubernetes 集群以使用 Airflow 和Kubernetes Executor。

• 监控气流非常重要！这就是为什么您将知道如何使用Elasticsearch和Grafana来做到这一点。

• 还将解决安全性问题，以使您的 Airflow 实例符合贵公司的要求。使用 RBAC 为您的用户指定角色和权限，通过身份验证和密码、数据加密等方式阻止他们访问 Airflow UI 。 

此外：

• 课程中提供许多实践练习，以便您有机会应用所学到的知识。

• 在需要时会说明最佳实践，以便为您提供使用 Airflow 的最佳方法。

• 每个部分末尾都有测验来评估您的理解程度。

• 快速回答您的问题是我的首要任务，我会尽我所能为您服务。

我付出了很多努力来为您呈现最好的内容，我希望您能像我一样喜欢它。

在课程结束时，您将比以往更有信心使用 Airflow。

祝您成功！

马克·兰伯蒂