【Udemy中英字幕】Python for Effect: Apache Airflow, Visualize & Analyze Data

Python 效果：Apache Airflow、可视化和分析数据

通过实际应用程序和可扩展解决方案培养 Python、大数据和机器学习方面的专业知识

讲师：Thomas Trebacz

双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

您将学到什么

• 从头开始设置一个专为成功而设计的功能齐全的环境。
• 学习 Python 基础知识，使您能够轻松编写动态、用户驱动的程序。
• 妥善处理运行时异常，保持程序的健壮性和用户友好性。
• 使用打印语句和 Python 的内置调试器来有效地识别和解决问题。
• 实施系统的方法来监控程序行为，确保可维护性和透明度。
• 使用 Melt 和 Pivot 函数重塑数据，以获得整洁、宽阔的格式。
• 管理复杂数据集的多索引和分层数据。
• 使用矢量化操作和 Pandas 的内部评估引擎优化性能。
• 解析日期并重新采样数据以进行趋势分析。
• 分析金融、气候等领域的时间模式
• 利用 Eval 和 Query 函数实现更快的计算
• 实现矢量化操作以有效处理大型数据集。
• 使用零、一和随机等函数创建数组。
• 掌握切片、索引和布尔过滤，实现精确的数据处理
• 广播加速计算
• 简化不同形状数组的计算
• 执行高效的逐元素操作。
• 简化不同形状数组的计算。
• 矩阵乘法和特征值计算。
• 物理学、优化和数据科学中的实际应用。
• 将 NumPy 数组转换为 Pandas DataFrames 以进行结构化数据分析。
• 利用 NumPy 的数值能力来实现 Scikit-learn 等库中的机器学习管道。
• 线图：展示连续数据中的趋势和关系。
• 定制技术：添加标题、标签、网格线和图例，使您的图表信息丰富且具有视觉吸引力。
• 突出显示关键数据点：使用散点和注释来强调关键见解
• 散点图：使用自定义色调和标记来可视化变量之间的关系。
• 配对图：探索跨多个维度的成对相关性和分布。
• 小提琴图：优雅而精确地比较不同类别的数据分布。
• 自定义主题和样式：应用 Seaborn 的主题、调色板和注释来创建精美、专业品质的视觉效果。
• 根据分类变量将数据集划分为子集。
• 使用直方图和核密度估计（KDE）来揭示分布和趋势。
• 自定义网格布局以提高清晰度和影响力。
• 从头开始设置和配置 Spark 环境。
• 使用弹性分布式数据集 (RDD) 和 DataFrames 实现高效的数据处理。
• 为提取、转换、加载 (ETL) 任务构建数据管道。
• 使用 Kafka 处理实时流数据。
• 优化 Spark 作业的内存使用、分区和执行。
• 使用其 Web UI 监控和排除 Spark 性能故障。
• 配置 Jupyter Notebook 以与 PySpark 一起使用。
• 在笔记本中创建和操作 Spark DataFrames。
• 以交互方式运行转换、操作和数据查询。
• 在 Pythonic 环境中处理错误并有效地排除故障。
• 使用 Spark DataFrames 选择、过滤和排序数据。
• 添加计算列并执行聚合。
• 轻松地对数据进行分组和汇总。
• 无缝地从 CSV 文件导入和导出数据。
• 在 Windows Subsystem for Linux (WSL) 上设置 Airflow。
• 使用 Docker 容器构建和管理生产级工作流程。
• 将 Airflow 与 Jupyter Notebooks 集成，实现从探索到生产的转变
• 利用行业最佳实践设计可扩展的自动化数据管道
• 在 Jupyter 中对数据工作流程进行原型设计并可视化。
• 自动化机器学习、ETL 和实时处理的管道。
• 利用跨平台开发技能在不同的技术环境中脱颖而出。
• 连接探索性编程和生产级自动化
• 结合 Python 工具应对现实世界的财务挑战
• 容器化应用程序以实现工作流编排
• 使用 Docker 实现可重复性和可扩展性的好处
• 组织文件和目录以实现简洁的工作流程设计
• 关键文件夹：Dags、Logs、Plugins 和 Notebooks
• 使用 venv 隔离项目依赖关系
• 激活和管理虚拟环境
• 避免与项目特定的依赖项发生冲突
• 确保所需的软件包：Airflow、Pandas、Papermill 等
• 在单个文件中定义多服务环境
• 核心组件及其配置概述
• Airflow Web 服务器和调度程序的作用
• 使用 PostgreSQL 管理元数据
• Jupyter Notebook 作为交互式开发游乐场
• 验证 Docker 和 Docker Compose 安装
• 解决安装问题
• 在 requirements.txt 中指定 Python 库
• 管理依赖关系以实现跨环境的一致性
• 首次启动 Airflow
• 设置 Airflow 的数据库和初始配置
• 设计用于股票市场分析的 ETL 管道
• 利用 Airflow 实现数据处理自动化
• 有向无环图（DAG）的剖析
• 使用 Airflow Operators 构建工作流程
• 重复使用任务级设置以简化 DAG 配置
• 定义重试、电子邮件警报和依赖关系
• 创建提取、转换和加载数据的工作流
• 添加可自定义参数以实现灵活性
• 在 Python 任务函数中封装逻辑
• 模块化设计的可重用性和可维护性
• 将任务与上游和下游依赖关系链接起来
• 执行工作流程顺序并防止错误
• 使用 Papermill 参数化和自动化笔记本
• 构建模块化、可重复使用的笔记本工作流程
• 探索仪表板并监控任务进度
• 启用、触发和管理 DAG
• 查看日志并识别瓶颈
• 调试失败或跳过的任务
• 了解每个任务的日志输出
• 解决笔记本执行错误
• 从 Airflow Web UI 手动启动工作流
• 使用计划自动运行 DAG
• 自动化股票市场分析工作流程
• 将原始数据转化为可操作的见解
• 使用 airflow dags list import_errors 进行诊断
• 解决 DAG 解析的常见问题
• 设计可扩展的数据管道以进行市场分析
• 利用自动化工作流程增强决策能力
• 将数据输出合并为专业的 PDF 报告
• 为利益相关者呈现关键财务指标
• 通过工作流自动化简化日常更新
• 针对不同投资组合提供定制见解
• 利用 Airflow 的 Python Operator 生成任务
• 根据动态输入文件实现工作流程自动化
• 同时运行多个任务以节省时间
• 配置并行性以优化资源利用率
• 为可扩展的工作流动态生成任务
• 使用 LSTM 模型处理财务数据
• 利用 Airflow 的并行功能
• 动态工作流设计的最佳实践
• 从顺序任务执行迁移到并行任务执行
• 使用动态 DAG 模式减少执行时间
• 设计动态适应输入数据的 DAG
• 扩展管道以处理实际数据量
• 确保上下游任务的逻辑流程
• 动态工作流的调试技巧
• 将 Airflow 技能应用于专业用例
• 构建可扩展且强大的自动化管道
• 探索长短期记忆 (LSTM) 模型如何处理序列数据以实现准确的时间序列预测。
• 了解门（输入、忘记和输出）在管理长期依赖关系中的作用。
• 了解如何规范化时间序列数据以实现模型稳定性和提高性能。
• 探索序列生成技术来构建数据以进行 LSTM 训练和预测。
• 构建 LSTM 层来处理序列模式并提炼见解。
• 整合 dropout 层和密集输出层以实现稳健的预测。
• 使用基于时期的优化和批处理训练 LSTM 模型。
• 使用动态阈值将预测分类为可操作的信号（买入、卖出、持有）。
• 保留验证数据以确保模型有效推广。
• 通过标准化评分量化模型置信度，以提高决策清晰度。
• 将标准化的预测转换回真实世界的尺度以供实际应用。
• 为股票市场分析及其他领域创建数据驱动的策略。
• 动态生成多个股票代码或数据集的时间序列分析任务。
• 在 Airflow 的 DAG 中协调基于 LSTM 的预测以进行自动时间序列分析。
• 利用 Airflow 的并行任务执行有效地扩展工作流程。
• 管理依赖关系以确保从数据准备到报告的无缝执行。
• 使用 LSTM 自动化数百个时间序列数据集的预测管道。
• 利用 Airflow 协调跨多个资源的可扩展、分布式预测。
• 将先进的机器学习技术与高效的管道设计相融合，以用于实际应用。
• 为生产环境准备管道，大规模提供见解。

探索相关主题

要求

• 无需编程经验，你将学到你需要的一切

描述

Python for Effect是您在当今数据驱动的世界中茁壮成长所需的工具和技术的综合指南。无论您是刚开始学习 Python 的初学者，还是希望提高专业知识的经验丰富的专业人士，本课程旨在让您充满信心和知识来应对现实世界的挑战。

主要特点：

• 免费访问广受好评的电子书：Python for Effect：主数据可视化和分析。

• 旨在反映现实世界挑战的实践练习和项目。

• 有关构建可扩展、自动化工作流程的分步指导。

• 将原始数据转化为跨金融、技术和分析等行业的可操作见解的技术。

您将学到的内容：

• 打下坚实的 Python 编程基础，包括变量、数据结构、控制流和可重用代码。

• 利用 Pandas 和 NumPy 等库的强大功能来有效地清理、组织和分析数据。

• 使用 Matplotlib 和 Seaborn 创建引人注目的视觉叙述，以有效地传达见解。

• 使用 Apache Spark 处理和分析大规模数据集，构建 ETL 管道并处理实时数据流。

• 掌握使用 Docker 和 Apache Airflow 的自动化和编排，并扩展财务和业务数据的工作流程。

• 应用先进的机器学习技术，包括使用长短期记忆 (LSTM) 模型进行时间序列预测。

在本课程结束时，您将：

• 成为一名熟练的 Python 开发人员和数据分析师，能够分析、可视化和自动化工作流程。

• 掌握 Pandas、NumPy、Matplotlib、Spark、Docker 和 Apache Airflow 等工具。

• 为大数据挑战创建可扩展的解决方案，并通过机器学习模型提供可操作的见解。

• 获得信心去解决复杂的项目并在职业生涯中脱颖而出。

本课程适合哪些人：

• 想要建立强大的 Python 编程基础的初学者。

• 数据分析师希望提高他们的数据处理、可视化和机器学习技能。

• 对自动化工作流程和扩展数据解决方案感兴趣的软件开发人员。

• 需要在数据驱动的世界中保持领先地位的金融、技术和分析专业人士。

立即加入Python for Effect，释放您在快速发展的数据分析和软件开发领域的领导潜力！

本课程适合哪些人：

• 学生：这些人是热切的学习者，通常会攻读数据科学、计算机科学或相关领域的学位。他们寻求能够为 Python 打下坚实基础的资源，使他们能够在学业上取得优异成绩并为未来的职业生涯做好准备。他们欣赏那些简化复杂概念并提供实践练习来强化学习的内容。
• 教育者：作为教师或教授，他们的目标是将实用的 Python 技能融入课程。他们需要提供结构化、引人入胜的课程和案例研究的书籍来说明现实世界的应用，以便更容易向学生传达概念。
• 研究人员：社会科学、生物学或经济学等领域的研究人员热衷于利用 Python 获得数据驱动的见解。他们看重能够展示 Python 如何处理大型数据集、执行统计分析和有效可视化结果的内容。
• 商业专业人士：这些读者包括希望利用 Python 的数据分析功能为决策提供依据的分析师和经理。他们希望了解 Python 如何优化运营、预测趋势和促进战略规划的示例。
• 科学家：不同学科的科学家都使用 Python 来建模数据并进行实验。他们从深入研究科学计算并展示 Python 与其他科学工具集成的书籍中受益匪浅。
• 对数据科学感兴趣的 Python 初级开发人员