【Udemy中英字幕】2024 Fine Tuning LLM with Hugging Face Transformers for NLP

2024 使用 Hugging Face Transformers 进行 NLP 微调的 LLM

掌握 Phi2、LLAMA 等 Transformer 模型；BERT 变体，以及针对自定义数据的高级 NLP 应用程序的蒸馏

讲师：Laxmi Kant | KGP Talkie

双语IT资源独家Udemy付费课程，独家中英文字幕，配套资料齐全！

用不到1/10的价格，即可享受同样的高品质课程，且可以完全拥有，随时随地都可以任意观看和分享。

您将学到什么

了解变压器及其在 NLP 中的作用。
获得 Hugging Face Transformers 的实践经验。
了解相关数据集和评估指标。
对变换器进行微调，用于文本分类、问答、自然语言推理、文本摘要和机器翻译。
了解变压器微调的原理。
将变压器微调应用于现实世界的 NLP 问题。
了解不同类型的变压器，例如 BERT、GPT-2 和 T5。
亲身体验 Hugging Face Transformers 库

探索相关主题

自然语言处理 (NLP)
数据科学
发展

要求

对自然语言处理 (NLP) 的基本了解
基本编程技能
熟悉机器学习概念
访问带有 GPU 的计算机

描述

如果您是 ML 初学者，请不要参加本课程。本课程专为对纯编码感兴趣并希望微调 LLM 而不是专注于快速工程的人而设计。否则，您可能会发现很难理解。

欢迎来到“精通 Transformer 模型和 LLM 微调”，这是一门全面而实用的课程，适合从初学者到自然语言处理 (NLP) 高级从业者的各个级别。本课程深入探讨了 Transformer 模型、微调技术和知识提炼的世界，特别关注流行的 BERT 变体，如 Phi2、LLAMA、T5、BERT、DistilBERT、MobileBERT 和 TinyBERT。

课程概述：

第 1 部分：简介

了解课程概况并理解学习成果。
介绍您在整个课程中需要的资源和代码文件。

第 2 部分：使用 Hugging Face 理解 Transformer

了解 Hugging Face Transformers 的基础知识。
探索 Hugging Face 管道、检查点、模型和数据集。
深入了解 Hugging Face Spaces 和 Auto-Classes，实现无缝模型管理。

第 3 节：Transformer 和 LLM 的核心概念

深入研究 Transformers 背后的架构和关键概念。
了解Transformers在各种NLP任务中的应用。
使用 Transformers 进行迁移学习的介绍。

第 4 部分：BERT 架构深入探究

详细探索 BERT 的架构及其在上下文理解中的重要性。
了解 BERT 中的掩蔽语言建模 (MLM) 和下一句预测 (NSP)。
了解 BERT 微调和评估技术。

第 5 节：使用 BERT 进行实用微调

通过实践课程来微调 BERT 以对 Twitter 数据进行情绪分类。
有关数据加载、标记化和模型训练的分步指南。
实际应用微调技术构建 BERT 分类器。

第 6 节：BERT 的知识提炼技术

介绍知识提炼及其在模型优化中的意义。
DistilBERT 的详细研究，包括损失函数和论文演练。
探索 MobileBERT 和 TinyBERT，重点关注其独特的蒸馏技术和实际实现。

第 7 节：将精简后的 BERT 模型应用于虚假新闻检测等实际任务

使用 DistilBERT、MobileBERT 和 TinyBERT 进行假新闻检测。
用于构建和评估模型的实际例子和实践练习。
与 BERT-Base 对比测试提炼模型的性能。

第 8 节：使用 DistilBERT 进行命名实体识别 (NER)

在餐厅搜索应用中对 DistilBERT 进行微调以实现 NER 的技术。
有关数据准备、标记化和模型训练的详细指南。
实践课程，构建、评估和部署 NER 模型。

第 9 节：使用 T5 Transformer 进行自定义汇总

对摘要任务的 T5 模型进行微调的实用指南。
数据集分析、标记化和模型微调的详细演练。
对自定义数据实现摘要预测。

第 10 节：用于图像分类的 Vision Transformer

视觉转换器 (ViT) 及其应用简介。
使用 ViT 对印度食品进行分类的分步指南。
图像预处理、模型训练和评估的实践练习。

第 11 节：在自定义数据集上微调大型语言模型

微调大型语言模型（LLM）的理论见解和实践步骤。
探索各种微调技术，包括 PEFT、LORA 和 QLORA。
实践编码会话以实现 LLM 的自定义数据集微调。

第 12 节：Transformer 微调的专题

了解 8 位量化和基于适配器的微调等高级主题。
审查并实施优化 Transformer 模型的最先进的技术。
使用微调模型生成产品描述的实践课程。

第 13 节：使用 LLAMA 构建聊天和指令模型

了解 4 位量化和基于适配器的微调等高级主题。
用于对聊天和基于指令的任务的 LLAMA 基础模型进行微调的技术。
构建、训练和部署聊天模型的实际示例和实践指导。
探索聊天格式数据集和模型配置对PEFT微调的意义。

立即报名参加“掌握 Transformer 模型和自定义数据集上的 LLM 微调”，掌握利用最先进 NLP 模型的技能。无论您是刚入门还是希望提高专业知识，本课程都能提供宝贵的知识和实践经验，以提高您在自然语言处理领域的熟练程度。

通过我们的综合课程释放 Transformer 模型的全部潜力。掌握 BERT 变体的微调技术，探索使用 DistilBERT、MobileBERT 和 TinyBERT 进行知识提炼，并将 RoBERTa、ALBERT、XLNet 和 Vision Transformers 等高级模型应用于现实世界的 NLP 应用。使用 Hugging Face 工具、T5 进行总结，深入研究实际示例，并学习使用 LLAMA 构建自定义聊天模型。

关键词： Transformer 模型、微调 BERT、DistilBERT、MobileBERT、TinyBERT、RoBERTa、ALBERT、XLNet、ELECTRA、ConvBERT、DeBERTa、Vision Transformer、T5、BART、Pegasus、GPT-3、DeiT、Swin Transformer、Hugging Face、NLP 应用、知识提炼、自定义聊天模型、LLAMA。