【Udemy中英字幕】Data Science: Transformers for Natural Language Processing

数据科学:用于自然语言处理的变形器

BERT、GPT、深度学习、机器学习和 NLP 与拥抱脸、Python 中的注意力、Tensorflow、PyTorch 和 Keras

讲师：Lazy Programmer Team

双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

你将会学到的

• 只需几行代码即可将转换器应用于实际任务
• 通过迁移学习在你自己的数据集上微调转换器
• 情感分析、垃圾邮件检测、文本分类
• NER（命名实体识别），词性标注
• 为 SEO 构建你自己的文章微调器
• 生成可信的类人文本
• 神经机器翻译和文本摘要
• 问答（例如 SQuAD）
• 零样本分类
• 了解变压器背后的自我关注和深入理论
• 从头开始实施变压器
• 将转换器与 TensorFlow 和 PyTorch 一起使用
• 了解 BERT、GPT、GPT-2 和 GPT-3 以及应用它们的位置
• 了解编码器、解码器和 seq2seq 架构
• 掌握拥抱脸 Python 库

要求

• 安装 Python，它是免费的！
• 初级和中级内容：良好的 Python 编程技能
• 专家级内容：对 CNN 和 RNN 有很好的理解，以及在 PyTorch 或 Tensorflow 中编码的能力

说明

大家好！

欢迎来到数据科学：自然语言处理的变形金刚。

自从变形金刚出现以来，深度学习就不一样了。

• 机器学习能够生成与人类创建的文本基本无法区分的文本
• 我们在许多 NLP 任务（例如机器翻译、问答、蕴涵、命名实体识别等）中达到了新的最先进性能
• 我们创建了多模式（文本和图像）模型，仅使用文本提示即可生成令人惊叹的艺术
• 我们已经解决了分子生物学中一个长期存在的问题，即“蛋白质结构预测”

在本课程中，你将学习应用变形金刚的非常实用的技能，如果你愿意，还将学习变形金刚和注意力如何工作的详细理论。

这与大多数其他资源不同，后者仅涵盖前者。

课程分为3个主要部分：

1. 使用变形金刚
2. 微调变压器
3. 变形金刚深入

第 1 部分：使用变压器

在本节中，你将学习如何使用为你训练的转换器。这需要花费数百万美元才能完成，所以这不是你想自己尝试的事情！

我们将看到这些预建模型如何用于广泛的任务，包括：

• 文本分类（例如垃圾邮件检测、情绪分析、文档分类）
• 命名实体识别
• 文本摘要
• 机器翻译
• 问答
• 生成（可信的）文本
• 蒙面语言建模（文章旋转）
• 零样本分类

这已经很实用了。

如果你需要在工作场所或为你的客户对文档进行情感分析、文档分类、实体识别、翻译、摘要等 – 你已经拥有触手可及的最强大的最先进模型代码行。

最令人惊奇的应用之一是“零样本分类”，你将观察到预训练模型可以对你的文档进行分类，即使根本没有任何训练。

第 2 部分：微调变压器

在本节中，你将学习如何在你自己的自定义数据集上提高转换器的性能。通过使用“迁移学习”，你可以利用已经投入的数百万美元的培训，使 Transformer 能够很好地工作。

你会发现你可以用相对较少的工作（和很少的成本）微调变压器。

我们将介绍如何针对现实世界中最实际的任务微调转换器，例如文本分类（情感分析、垃圾邮件检测）、实体识别和机器翻译。

第 3 部分：深入了解变形金刚

在本节中，你将了解变压器的实际工作原理。前面的部分很好，但有点太漂亮了。对于只想完成工作的人来说，图书馆是可以的，但如果你想做任何新的或有趣的事情，它们就不起作用。

让我们明确一点：这是非常实用的。

你可能会问，这有多实用？

好吧，这就是大钱的地方。

那些对这些模式有深刻理解，并且能够做到以前没有人做过的事情的人，能够获得更高的薪水和有声望的头衔。机器学习是一个竞争激烈的领域，深入了解事物的运作方式可能是你脱颖而出所需的优势。

我们还将研究如何从头开始实现转换器。

正如伟大的理查德·费曼曾经说过的那样，“我不能创造的东西，我不明白”。

建议的先决条件：

• 体面的 Python 编码技能
• 使用 CNN 和 RNN 进行深度学习有用但不是必需的
• 使用 Seq2Seq 模型进行深度学习有用但不是必需的
• 对于深入部分：了解 CNNs、RNNs 和 seq2seq 背后的理论非常有用

期待更新：

• 更多微调应用
• 更深入的概念讲座
• 从头开始实施的变形金刚

感谢你的阅读，希望很快能见到你！

此课程面向哪些人：

• 任何想要掌握自然语言处理 (NLP) 的人
• 任何热爱深度学习并想了解最强大的神经网络（变压器）的人
• 任何想要超越 Udemy 上典型的仅限初学者的课程的人