【Udemy中英字幕】Master Databricks Certified Data Engineer Associate Training

掌握 Databricks 认证数据工程师助理培训

数据工程师的 Databricks：ETL、Delta Lake 和 Apache Spark，构建成功的管道和工作流。非官方

讲师：Raheem ace

双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

您将学到什么

• Databricks 的基础知识及其在数据工程中的作用。
• 如何与 Databricks Lakehouse 平台协作，结合数据湖和数据仓库。
• 数据提取和 ETL 过程的最佳实践。
• Delta Lake 功能可确保数据可靠性和性能。
• 如何处理各种数据格式，如 Parquet、CSV 和 JSON。
• 使用 Hive Metastore 和 Databricks Catalog 进行元数据和目录管理。
• Apache Spark 的基础知识及其在数据转换中的用途。
• 使用 DataFrames 和 Spark SQL 查询和操作数据。
• 优化数据转换和性能的技术。
• 如何使用 Databricks Jobs 和 Workflows 自动化工作流程和管道。
• 实施数据治理、访问控制和监控管道。
• 性能调优技术，如缓存、数据跳过和集群优化。
• 使用 Databricks 中的结构化流进行流数据处理。
• 通过验证和期望确保数据质量。
• 以及更多

探索相关主题

• Databricks 认证数据工程师助理
• IT 认证
• 信息技术与软件

要求

• 愿意或有兴趣了解 Databricks 认证数据工程师助理的成功之路。

描述

报名前重要提示：

本课程旨在补充您为认证考试所做的准备，但不能替代官方供应商的资料。本课程未获得认证供应商的认可，您不会在本课程中收到官方认证学习资料或优惠券。

使用Databricks释放数据工程的全部潜力，Databricks 是一个专为处理大规模数据管道、ETL 流程和高级分析而设计的尖端平台。这门综合课程非常适合数据工程师、分析师以及任何希望提高使用 Databricks Lakehouse 平台构建高效、可扩展数据工作流技能的人。

无论您是Databricks新手还是希望加深理解，本课程都将指导您了解数据工程所需的核心概念和高级技术。

我们首先介绍Databricks 及其关键组件，解释它如何简化数据工程任务。您将了解创新的 Databricks Lakehouse 架构，它融合了数据湖和数据仓库的优势，提供统一的数据管理和分析方法。

随着我们深入研究数据处理，您将探索数据提取和 ETL（提取、转换、加载）流程，掌握准备和处理数据的最佳实践。您将获得 Delta Lake 的实践经验，这是一个强大的存储层，可增强 Databricks 中的数据可靠性和性能。我们将介绍各种数据格式和来源，确保您精通处理 Parquet、CSV 和 JSON 等格式，以及使用 Hive Metastore 和Databricks Catalog管理元数据。

本课程的一个关键部分重点介绍Databricks 背后的引擎Apache Spark。您将了解 Spark 如何简化数据处理，实现快速且可扩展的转换。您将使用 DataFrames 进行数据操作，探索用于查询和转换数据的 Spark SQL，并学习确保高效数据处理的优化技术，例如谓词下推和矢量化 I/O。

接下来是管道管理，本课程涵盖了数据工程工作流等基本概念，您将学习如何使用 Databricks Jobs 自动化这些工作流。我们将介绍 Databricks 的工作流编排工具，教您如何设置任务依赖关系和触发器以确保无缝执行管道。

数据管理和治理在任何数据工程项目中都至关重要。本课程将教您数据治理的基础知识，包括实施基于角色的访问控制 (RBAC) 来管理权限。您还将学习如何使用 Delta Lake 监控和审核数据管道的性能、维护数据版本控制和跟踪沿袭，从而确保整个生命周期内的数据完整性。

性能优化是我们将要探索的另一个重要领域。您将学习如何为不同的工作负载配置集群，使用缓存和数据跳过来增强查询性能，以及解决常见的性能问题。高级 Delta Lake 优化技术（例如 OPTIMIZE 和 ZORDER）将帮助您进一步提高数据操作的性能。

最后，我们将深入探讨高级主题，例如使用Databricks 中的结构化流进行流数据处理、处理迟到数据以及通过验证和期望确保数据质量。这可确保您为当今快节奏的数据环境中的实时数据挑战做好充分准备。

在本课程结束时，您将掌握构建、优化和管理可扩展数据管道、掌握 Databricks 和 Apache Spark 以及实施数据治理、性能调整和流媒体方面的最佳实践的技能。

无论您是准备从事数据工程职业还是寻求提高您的专业知识，本课程都将引导您走上成功之路。

谢谢

本课程适合哪些人：

• 数据工程师希望提高使用 Databricks 构建可扩展、高效数据管道的技能。
• 想要扩展数据工程和处理大规模数据集知识的数据分析师。
• 使用大数据平台的开发人员需要了解 Databricks 内的工具和工作流程。
• 商业智能专业人士寻求利用 Databricks 实现更高级的分析和 ETL 流程。
• 任何对 Databricks 感兴趣并想要了解如何管理数据管道、优化性能和实施数据治理的人。
• 无论您是 Databricks 新手还是希望加深您的专业知识，本课程都将为您提供在数据工程中脱颖而出的工具和技术。