【Udemy中英字幕】Advanced Web Scraping with Python using Scrapy & Splash

使用 Scrapy 和 Splash 使用 Python 进行高级 Web 抓取

使用 Scrapy 和 Splash 使用 Python 进行高级 Web 抓取

讲师：Ahmed Rafik

双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

你将会学到的

• 先进的网页抓取技术
• 在抓取网站之前分析网站的最佳技术
• 编写干净的蜘蛛
• 优化 Splash 脚本
• 绕过 504 HTTP 错误
• 构建 Splash 集群
• 绕过 Google ReCaptcha（不解决它）
• 为 Scrapy Spiders (Tkinter) 构建桌面应用程序
• ScrapyRT
• 使用 ScrapyRT 和 Flask 展示抓取的数据
• 繁重的数据处理
• 输入和输出处理器

本课程包括：

• 5.5 小时 长的随选视频
• 8 篇文章
• 1 个可下载资源
• 在移动设备和电视上观看
• 结业证书

要求

• 具有互联网访问权限的 PC 或 Mac。
• 使用 SCRAPY 和 SPLASH 完成了几个项目是非常需要的。
• 使用 XPATH 进行元素选择的基础知识也是非常必要的。

说明

您好，欢迎来到使用 Scrapy & Splash 使用 Python 进行 Web Scraping 的最先进的在线资源。本课程完全基于项目，这意味着几乎每个部分我们都将抓取不同的网站并解决不同的网络抓取困境，而不是专注于 Scrapy 和 Splash 的基础知识，我们将直接进入现实世界的项目，这也是意味着本课程绝对不适合没有网页抓取、Scrapy、Splash 和 XPath 表达式背景的初学者。

—本课程涵盖各种主题，例如：—

1. 请求链接，例如必须如何按特定顺序发送请求，否则它们根本不会被执行。
2. 如何在抓取网站之前对其进行分析，这是一个重要的步骤，因为它有助于选择正确的工具来抓取网站，并且对最终产品的性能产生巨大影响。
3. 如何通过减少/中止所有与您要抓取的数据点无关的不必要请求来优化 Splash 脚本，如果您关心 Splash 的性能，这是一件很重要的事情，因为它是关键绕过 Splash 中的 504 Gateway Timeout HTTP 错误。
4. 我们还将介绍如何使用负载均衡器 ( HAProxy ) 构建Splash 实例集群，而不是使用一个完全过载的 Splash 实例，这也有助于绕过 504 Gateway Timeout 错误。
5. 大量数据处理，您将了解输入和输出处理器的工作原理，以便您能够使用它们来清理抓取的数据点，因为这将确保您的提要的质量。
6. 我们将使用ScrapyRT  (Scrapy RealTime) 来构建可以实时获取数据的蜘蛛。
7. 使用 ScrapyRT 和 Flask在极简的网络应用程序中展示抓取的数据点，这对网络抓取自由职业者非常有帮助。
8. 绕过 Google ReCaptcha，请不要误解我的意思，我并不是说我们会使用 Scrapy 来解决它，相反，我将向您展示一种我经常用来欺骗网站并让他们认为的技术该请求是使用浏览器发送的，并且是由人类执行的！
9. 构建干净且结构良好的蜘蛛
10. 最后，我们将使用 Tkinter 构建一个桌面应用程序，该应用程序将获取并执行您的 Scrapy 项目中所有可用的蜘蛛，您还可以选择提要类型、提要位置和名称，如果您是作为一名网络抓取自由职业者，向您的客户提供桌面应用程序总是一个好主意，而不是在他的机器上安装 Scrapy 之类的东西。

本课程直截了当，没有“foobar”或“引用 dot com”作为其他课程这样做，以确保您有良好的专注度和大量的决心和动力。

在本课程结束时，您将提高使用 Scrapy & Splash 进行网页抓取的技能，您将能够编写干净且高性能的蜘蛛，让您与众不同，这也意味着如果您是一名网页抓取自由职业者您将获得更多优惠，因为您可以使用图形用户界面 (GUI)或实时获取数据的 Web 应用程序提供“用户友好”蜘蛛。

所以和我一起参加这个课程，让我们一起收获网络！

此课程面向哪些人：

• 任何人都想学习先进的网络抓取技术
• 任何人都想学习如何将 Scrapy 项目变成桌面/网络应用程序
• 网络抓取自由职业者