【Udemy中英字幕】Best Hands-on Big Data Practices with PySpark & Spark Tuning

PySpark 和 Spark 调优的最佳实践大数据实践

使用 Spark 和 Python 进行半结构化 (JSON)、结构化和非结构化数据分析以及 Spark 性能调优

讲师：Amin Karami

双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

你将学到什么

• 了解 Apache Spark 用于开发大数据系统的框架、执行和编程模型
• 使用 RDD、DataFrame 和 SQL 逐步学习结构化、非结构化和半结构化数据的 PySpark 实践实践
• 了解如何使用免费的基于云的计算机和台式计算机进行 Spark 设置和配置
• 通过真实案例研究，为不同类型的数据（数量、种类、准确性）构建简单到高级的大数据应用程序
• 研究并应用优化和性能调整方法来管理数据偏度并防止溢出
• 研究并应用自适应查询执行 (AQE) 以在运行时优化 Spark SQL 查询执行
• 研究并能够解释 Spark 的惰性评估（窄与宽转换）和内部工作
• 使用 JDBC（Java 数据库连接）构建和学习 Spark SQL 应用程序

要求

• 非常基础的 Python 和 SQL
• 如果你是Python编程新手，完全不用担心，你可以通过我的YouTube频道免费学习。订阅我的 YouTube 频道并继续学习，没有任何麻烦

描述

在本课程中，将使用学术界和工业界的真实案例研究为学生提供 PySpark 实践实践，以便能够与海量数据进行交互工作。此外，学生还将考虑分布式处理挑战，例如大数据处理中的数据倾斜和溢出。我们为任何想要掌握 Spark 和 PySpark 并使用真实且具有挑战性的用例传播大数据分析知识的人设计了本课程。

我们将与Spark RDD、DF和SQL一起处理半结构化、结构化和非结构化数据格式的海量数据。本课程的学习成果和教学方法将通过确定行业中最关键的所需技能并了解大数据分析内容的需求来加速学习。

我们不仅会介绍用于大规模数据处理的 Spark 引擎的细节，还会深入研究大数据问题，使用户能够立即从大规模数据的概览转变为使用 RDD 的更详细和粒度的视图、DF 和 SQL 的实际示例。我们将逐步完成大数据案例研究，以实现本课程的目标。

在课程结束时，您将能够为不同类型的数据（数量、多样性、准确性）构建大数据应用程序，并且您将熟悉使用 PySpark 解决大数据问题的一流示例。

本课程适合谁：

• 想要掌握 Spark/PySpark 并传播大数据分析知识的初级/初级/高级数据开发人员
• 如果你是Python编程新手，完全不用担心，你可以通过我的YouTube频道免费学习。订阅我的 YouTube 频道并继续学习，没有任何麻烦