2023-08-21从零训练大模型教程
2023-08-21从零训练大模型教程
2023年9月11日修改
包包算法笔记 2023-08-21 08:01 发表于 北京
以下文章来源于深度学习自然语言处理 ，作者何枝
深度学习自然语言处理 .
一个热衷于深度学习与NLP前沿技术的平台，期待在知识的殿堂与你相遇~
在这篇文章中，我们将尽可能详细地梳理一个完整的 LLM 训练流程。包括模型预训练（Pretrain）、Tokenizer 训练、指令微调（Instruction Tuning）等环节。
1.预训练阶段（Pretraining Stage）
工欲善其事，必先利其器。
当前，不少工作选择在一个较强的基座模型上进行微调，且通常效果不错（如：[alpaca]、[vicuna] 等）。
这种成功的前提在于：预训练模型和下游任务的差距不大，预训练模型中通常已经包含微调任务中所需要的知识。
但在实际情况中，我们通常会遇到一些问题，使得我们无法直接使用一些开源 backbone：
1.
语言不匹配： 大多数开源基座对中文的支持都不太友好，例如：[Llama]、[mpt]、[falcon] 等，这些模型在英文上效果都很优秀，但在中文上却差强人意。
附件不支持打印
1.
专业知识不足： 当我们需要一个专业领域的 LLM 时，预训练模型中的知识就尤为重要。由于大多数预训练模型都是在通用训练语料上进行学习，对于一些特殊领域（金融、法律等）中的概念和名词无法具备很好的理解。我们通常需要在训练语料中加入一些领域数据（如：[xuanyuan 2.0]），以帮助模型在指定领域内获得更好的效果。
附件不支持打印