【Udemy中英字幕】Azure Data Factory For Data Engineers

面向数据工程师的 Azure 数据工厂 – Covid19 上的项目

使用 Azure 数据工厂、SQL、Data Lake、Databricks、HDInsight、CI/CD 的数据工程师的真实世界项目 [DP203]

讲师：Ramesh Retnasamy

双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

你会学到什么

你将学习如何在 Azure 数据工厂 (ADF) 中构建真实世界的数据管道。本课程使用用于报告 Covid-19 趋势的真实数据进行授课。
您将使用 Azure 数据工厂 (ADF)、Azure Data Lake Storage Gen2、Azure SQL 数据库、Azure Blob 存储和 Azure Monitor 在 Azure 中获得良好的数据工程技能
你将学习如何使用 Azure 数据工厂 (ADF) 将来自 HTTP 和 Azure Blob 存储等来源的数据引入 Azure Data Lake Gen2
您将了解如何使用 Azure 数据工厂 (ADF) 中的数据流转换数据并加载到 Azure Data Lake Storage Gen2
您将了解如何使用 Azure 数据工厂 (ADF) 中的 Databricks Notebook Activity 转换数据并加载到 Azure Data Lake Storage Gen2
您将了解如何使用 Azure 数据工厂 (ADF) 中的 Azure HDInsight 活动转换数据并加载到 Azure Data Lake Storage Gen2
你将学习如何使用 Azure 数据工厂 (ADF) 将转换后的数据从 Azure Data Lake Storage Gen2 加载到 Azure SQL 数据库
您将广泛了解 Azure 数据工厂 (ADF) 中的触发器以及如何使用它们来安排数据管道。
您将学习如何使用 Azure 数据工厂 (ADF)、Azure Monitor 和 Log Analytics 监控管道以及实际项目。
您将学习如何构建生产就绪的管道以及良好实践和命名标准
您将获得通过 Azure 数据工程师助理认证考试 DP200 和 DP200 所需的大部分技能，但本课程的主要目标不是教您通过考试。

要求

对云计算的基本了解将是有用的，但不是必需的。
不需要 Azure 经验，我将带您完成学习本课程和构建项目所需的一切
需要 Azure 帐户，如果您没有，我们将在课程中创建一个免费帐户

描述

欢迎！

我期待着帮助您学习云中最受欢迎的数据工程工具之一，Azure 数据工厂 (ADF)！本课程讲授的是使用 Azure 数据工厂 (ADF) 实施数据工程解决方案，以解决报告 Covid-19 趋势和预测该病毒传播的现实问题。

这与 Udemy 中针对 Azure 数据工厂或数据工程技术的其他课程不同。一旦你完成了包括所有作业在内的课程，我坚信你将能够自己开始一个真实世界的数据工程项目，并且精通 Azure 数据工厂 (ADF)。

我还包括有关存储解决方案的课程，例如 Azure Data Lake Storage、Azure Blob Storage、Azure SQL 数据库等。此外，还有有关 Azure HDInsight 和 Azure Databricks 的课程。我什至包含了有关使用 Power BI 针对 Azure 数据工厂数据管道处理的数据构建报告的课程。我认为机器学习模型超出了范围。您可以使用这些数据来构建自己的模型并预测价差。

本课程遵循现实世界项目实施的逻辑进展，解释了技术概念，同时构建了 Azure 数据工厂 (ADF) 中的数据管道。尽管本课程并非专门设计用于教授您通过 Azure 数据工程师助理认证考试 DP200 和 DP203 所需的技能，但它可以极大地帮助您获得考试所需的大部分必要技能。

我珍惜你的时间，就像我珍惜我的时间一样。因此，我将这门课程设计得快节奏且切中要害。此外，该课程以简单的英语授课，没有行话。我从基础开始课程，在课程结束时，您将精通所使用的技术。

目前该课程教给您以下内容

Azure 数据工厂

使用 Azure 数据工厂 (ADF)、Azure Data Lake Gen2、Azure Blob 存储、Azure SQL 数据库、Azure Databricks、Azure HDInsight 和 Microsoft PowerBI 等 Azure 数据工程技术为数据工程解决方案构建解决方案体系结构。
使用 Azure 数据工厂集成来自 HTTP 客户端、Azure Blob 存储和 Azure Data Lake Gen2 的数据。
Azure 数据工厂 (ADF) 管道中使用控制流活动（如获取元数据）的分支和链接活动。If Condition、ForEach、Delete、Validation 等。
使用管道、数据集和 LinkedServices 中的参数和变量在 Azure 数据工厂 (ADF) 中创建元数据驱动的管道
调试数据管道并解决问题。
使用 Azure 数据工厂 (ADF) 中的事件触发器、计划触发器和翻转窗口触发器等触发器来调度管道
创建映射数据流以创建转换逻辑。该课程涵盖了所有的转换步骤，例如源、过滤器、选择、透视、查找、条件拆分、派生列、聚合、连接和接收器转换。
调试数据流、调查问题、修复故障等
实施 Azure 数据工厂管道以调用映射数据流并执行它们。
创建 ADF 管道以执行 HDInsight 活动并执行数据转换。
创建 ADF 管道以执行 Databricks Notebook 活动以执行转换。
在管道之间创建依赖关系以编排数据流
在触发器之间创建依赖关系以编排数据流
监视数据管道、创建警报、从 Azure 数据工厂监视器报告指标。
使用 Azure Monitor 监视数据工厂管道并设置要转发到 Azure 存储帐户或 Log Analytics 工作区的诊断设置。
创建 Log Analytics 工作区，从 Azure 数据工厂管道上的日志分析创建工作簿和图表
实施 Azure 数据工厂分析监视工具以及如何进一步扩展该功能。

Azure 存储解决方案

创建 Azure 存储帐户、创建容器、上传数据、访问控制 (IAM)、使用 Azure 存储资源管理器与存储帐户交互
创建 Azure Data Lake Gen2、创建容器、上传数据、访问控制 (IAM)、使用 Azure 存储资源管理器与存储帐户交互
创建 Azure SQL 数据库、定价层、创建管理员用户、创建表、加载数据和查询数据库。

Azure HDInsight 和 Databricks

创建 HDInsight 群集、与 UI 交互、使用 Ambari、创建 Hive 表、从 Azure 数据工厂调用 HDInsight 活动
创建 Azure Databricks 工作区、创建 Databricks 集群、装载存储帐户、创建 Databricks 笔记本、使用 Databricks 笔记本执行转换、从 Azure 数据工厂调用 Databricks 笔记本。

自推出以来课程的主要更新

2022 年 11 月 – 添加第 15 和 16 节，重点关注持续集成和持续交付