【Udemy中英字幕】2 Real World Azure Data Engineer Project End to End

2 真实世界的 Azure 数据工程师项目端到端

从头开始的工程项目建设包括设计、架构、实施解决方案和整体测试。

讲师：Deepak Goyal

双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

您将学到什么

• 您将学习如何架构、设计和构建包含多种服务的真实企业级数据平台解决方案。
• 您将学习使用 ADF、Azure Function、Databricks、pyspark、Azure Data Lake Storage Gen 2 (ADLS)、Azure SQL Server 设计解决方案
• 您将学习如何在 Azure 数据工厂 (ADF) 中构建真实数据管道。本课程使用 2 个真实用例场景进行讲授。
• 您将学习如何使用 Azure 数据工厂 (ADF) 中的 Databricks Notebook Activity 转换数据并将其加载到 Azure Data Lake Storage Gen2 中
• 您将学习如何构建可用于生产的管道以及良好的实践和命名标准
• 您将学习如何将 Databricks 与 ADF 集成，并将响应从 Databricks 发送回 ADF
• 您将学习如何开发基于触发的 Azure 函数来验证文件。
• 您将学习如何创建 Azure Key Vault 并使用它来存储机密凭据和 SAS 令牌
• 您将学习如何使用 Key Vault 连接 Azure SQL 数据库和 Databricks 集群
• 您将了解如何在 Databricks 中安装 Azure 存储帐户以访问文件并对其进行转换。
• 您将学习如何使用 pyspark 转换 Azure Databricks 中的数据。

探索相关主题

要求

• 对云计算的基本了解会很有用，但不是必要的。
• 不需要 Azure 经验，我将带您了解学习本课程和构建项目所需的一切

描述

本课程将帮助您准备和掌握 Azure 数据工程概念。

它不像任何随机项目，例如 covid 或 twitter 分析。这些项目是现实世界中的项目，我亲自参与并为大客户开发。

课程亮点：

• 旨在仅保留精确信息，不拐弯抹角。（以节省您的时间）。

• 实时实施，无虚拟用例。

• 可以添加作为简历的一部分。

• 它将帮助您在面试和讨论中展示您的经验。

• 涉及与行业最佳实践相一致的复杂架构解决方案。

• 单个项目涉及各种组件集成，如 ADF、ADLS、Databricks、Azure SQL DB、Key Vault。

• 解决新入职数据工程师的实时体验问题。

开发本课程时，我们考虑到将行业中遵循的所有最佳实践作为数据工程项目和解决方案。

涉及的技术：

1. Azure 数据湖存储第二代

2. Azure 数据工厂

3. 数据工厂管道

4. Azure 函数

5. Azure 密钥保管库

6. Azure SQL 数据库

7. 安全管理系统

8. AWS S3 存储桶

9. 将 ADF 连接到 DatabricksConnect ADF to Databricks

10. 将 Databricks 连接到 SQL Server

11. 将 Databricks 连接到 ADLS

12. 将 S3 连接到 Azure 云

13. 触发器

14. SAS 令牌

15. 在 Databricks 中创建 Secrets 范围

16. 将机密存储在 Key Vault 中并访问它们

学习本课程后你将学到：

• 如何思考、设计和开发数据工程领域的解决方案。

• 如何创建数据工程项目的架构图。

• 如何创建 Azure 数据工厂帐户

• 如何创建 Azure Data Lake Storage Gen 2 帐户。

• 如何创建 Azure Databricks 工作区。

• 如何创建 S3 存储帐户。

• 如何创建 Azure 函数。

• 如何使用 pyspark 在 Databricks 笔记本中实现逻辑。

• 如何将 ADF 连接到 Databricks。

• 如何在项目中将多个部分链接在一起。

• 如何创建 Azure SQL Server。

• 如何将数据从文件加载到 Azure SQL 服务器。

• 如何将 Databricks 笔记本与 Azure SQL Server 连接。

• 如何在 Azure Key Vault 中存储机密。

本课程适合哪些人：

• 有志于成为数据工程师的人，正在寻找项目以添加到简历中
• 正在寻找真实世界用例来实现数据工程解决方案的人
• 寻求数据工程职业的大学生
• 从事其他学科工作的 IT 开发人员试图转向数据工程
• 目前正在从事本地技术或其他云平台（如 AWS 或 GCP）工作并希望学习 Azure 技术的数据工程师/数据仓库开发人员
• 希望了解 Azure 数据工程堆栈的数据架构师
• 希望将知识扩展到数据工程的数据科学家