【快班】Transformer从自然语言到计算机..
人工智能
6周
6人
此课程所属【人工智能职业方向】专业，专业内有不少于15门推荐课程，目前平台推出【专业课程0元学】活动，只需0元即可在所有的专业课程中任选5门学习，超值优惠，助您快速成长！点击这里了解
- tracy1616
ChatGPT掀起的AGI革命如火如荼。但可能鲜有人知GPT背后的基石模型transformer。这项集各种神经网络大成的结构，里面包含了MLP前馈层，残差网络，自注意力机制（可以认为是卷积网络的一种推广），本身就是一种变体的循环神经网络。这种设计使其能学习极其复杂的数据逻辑，无论在自然语言处理，计算机视觉，金融数据分析，游戏AI设计，基因序列分析，音频生成和合成等各个领域都取得了匪夷所思的跃进。一位能手撕transformer的技术人员，必定成为团队中众星捧月般的核心存在，面试官也不得不对你流露出滔滔不绝的敬仰之情。
你是否想要深入解拆、实现当下最火热的深度学习模型——Transformer？你是否想要了解它是如何在自然语言处理和计算机视觉等领域创造奇迹的？你是否想要使用它来完成你的项目和任务，甚至创造出你自己的场景模型？
如果你的答案是肯定的，那么这门课程就是为你量身定制的！本课程将带你从零开始，一步一步地学习和实现Transformer模型，让你不仅能够理解它的原理和工作机制，还能够熟练地使用它来解决实际问题。
本课程将采用理论+实践的方式，通过代码示例和案例分析，让你深入掌握Transformer模型的内部结构和核心组件，如自注意力机制、多头注意力、位置编码、编码器-解码器架构等。本课程还将教你如何使用Hugging Face的Transformers包，这是一个功能强大的Python库，它可以让你快速地调用、训练、应用和分享各种预训练的Transformer模型，如BERT、GPT、XLNet等，以及它们的中文版本，如BERT-wwm、GPT-3-zh等。你将学习如何使用Transformers包来完成各种自然语言处理任务，如文本分类、文本生成、命名实体识别、情感分析等，以及如何对Transformer模型进行微调和优化，以适应不同的数据集和任务需求，提高模型的性能和泛化能力。本课程还将介绍ViT模型，这是一种将Transformer应用于计算机视觉的创新模型，它可以在图像分类等任务上达到与卷积神经网络相媲美甚至超越的效果。
本课程适合有一定的Python编程基础和深度学习基础的学习者，希望进一步学习和掌握Transformer模型的原理和应用的学习者，以及对Transformer模型在计算机视觉领域的应用感兴趣的学习者。
- 第1课 Transformer基础
- 1-1 Transformer模型的前世今生，Transformer与LLM的密切关系
- 1-2 代码级详细解析Encoder和Decoder的结构和工作原理
- 1-3 实战：使用PyTorch实现一个简单的Transformer模型
- 第2课 Hugging Face的Transformers包介绍
- 2-1 了解和使用Transformers库，探索Hugging Face社区的资源和贡献
- 2-2 掌握Transformers库的基本用法：pipeline，model等；使用Transformer库调用本地LLM
- 2-3 利用Transformers库快速搭建和运行机器翻译、文本分类等任务的模型和代码介绍
- 2-4 实战：基于Transformers库使用不同模型完成评论情感分析
- 第3课 Transformer模型训练与调用1
- 3-1 介绍Hugging Face的数据集库和常见的数据集：GLUE、SQuAD、CNN/Daily Mail等
- 3-2 介绍Hugging Face的训练器和训练参数
- 3-3 使用Hugging Face的Transformers包训练和微调模型的方法和步骤掌握
- 3-4 BERT的下游任务介绍
- 3-5 实践：利用BERT系列模型进行下游任务的迁移学习和微调：文本分类
- 第4课 Transformer模型训练与调用2
- 4-1 BERT模型与LLM的异同分析
- 4-2 实践：利用BERT系列模型进行下游任务的迁移学习和微调：机器翻译、文本摘要、抽取式问答等
- 4-3 实践：使用LLM完成BERT下游任务：文本分类、机器翻译、文本摘要、抽取式问答等
- 第5课 Transformer模型分享与部署
- 5-1 如何将训练好的模型上传到Hugging Face平台进行分享
- 5-2 利用Hugging Face平台进行模型部署和推理
- 5-3 探讨如何将Transformer模型集成到Web应用程序中，构建自己的LLM应用
- 第6课 Transformer在计算机视觉中的应用 - ViT模型解析
- 6-1 ViT模型的背景和动机：将Transformer模型从自然语言处理扩展到计算机视觉领域
- 6-2 ViT模型的原理和实现：将图像切分为多个块，将每个块视为一个标记，使用Transformer模型进行编码和分类
- 6-3 ViT在计算机视觉领域的应用场景
- 6-4 实战：使用PyTorch实现ViT模型并进行简单的图像分类任务
- 6-5 探讨：ViT模型与多模态大模型密不可分的关系
Python 3.8+
PyTorch 1.8+
Transformers 4.6+
Jupyter Notebook 或 Google Colab
具有编程基础，对自然语言处理、计算机视觉、大语言模型、多模态大语言模型感兴趣的同学
想深入理解Transformer模型的原理和应用的同学
希望使用HuggingFace的Transformers包进行模型训练和调优的同学
通过本课程的学习，学习者可以：
理解Transformer模型的原理和实现，掌握自注意力机制、多头注意力、位置编码、编码器-解码器架构等核心概念。
熟练使用PyTorch实现Transformer模型的基本组件、编码器、解码器和完整结构，以及训练和测试Transformer模型的过程，还能够使用PyTorch实现Transformer模型的可视化和分析。
熟练使用Hugging Face的Transformers包，调用、训练、应用和分享各种Transformer模型，完成各种自然语言处理任务，以及对Transformer模型进行微调和优化，以适应不同的数据集和任务需求，提高模型的性能和泛化能力。
了解ViT模型的原理和实现，以及它的优点和局限性，能够使用Transformers包调用ViT模型，以及在自己的图像数据上训练和测试ViT模型，体验Transformer模型在计算机视觉领域的强大能力。
熟练掌握基于Transformers库的AI应用开发流程，快速上手大语言模型的应用
学费: ￥400 ( 固定学费: ￥300， 逆向学费: ￥100 )
新颖的课程收费形式：“逆向收费”约等于免费学习，仅收取300元固定收费+100元逆向学费，学习圆满则逆向学费全额返还给学员！