从零开始的大语言模型原理与实践教程，培养学习者在LLM领域的实战能力

项目收获

• • 免费学习：Datawhale开源免费，可学习项目所有内容。
• • 深入理解：掌握Transformer架构和注意力机制。
• • 原理掌握：理解预训练语言模型的基本原理。
• • 结构了解：熟悉现有大模型的基本结构。
• • 动手实践：实现LLaMA2模型，训练Tokenizer，预训练小型LLM。
• • 训练流程：掌握从预训练到微调的全流程。
• • 实战应用：学习RAG、Agent等前沿技术的应用。

内容

• • 前言：介绍项目缘起、背景及读者建议。
• • 第一章：NLP基础概念，包括发展历程、任务分类、文本表示演进。
• • 第二章：Transformer架构，涵盖注意力机制、Encoder-Decoder架构及搭建方法。
• • 第三章：预训练语言模型，对比Encoder-only、Encoder-Decoder、Decoder-Only模型。
• • 第四章：大语言模型，分析LLM定义、训练策略、涌现能力。
• • 第五章：动手搭建大模型，实现LLaMA2，训练Tokenizer，预训练小型LLM。
• • 第六章：大模型训练实践，包括预训练、有监督微调、LoRA/QLoRA高效微调（建设中）。
• • 第七章：大模型应用，如模型评测、RAG检索增强、Agent智能体。
• • Extra Chapter LLM Blog：收录优秀学习笔记和Blog，欢迎贡献内容。

直达链接【点击前往】