输入“/”快速插入内容

从原理到代码理解语言模型训练和推理

飞书用户2749

从原理到代码理解语言模型训练和推理

💾

要理解大语言模型（LLM），首先要理解它的本质，无论预训练、微调还是在推理阶段，核心都是next token prediction，也就是以自回归的方式从左到右逐步生成文本。​

什么是token？

token是指文本中的一个词或者子词，给定一句文本，送入语言模型前首先要做的是对原始文本进行tokenize，也就是把一个文本序列拆分为离散的token序列​

•
其中，tokenize是在无标签的语料上训练得到的一个token数量固定且唯一的分词器，这里的token数量就是大家常说的词表，也就是语言模型知道的所有tokens。​

•
当我们对文本进行分词后，每个token可以对应一个embedding，这也就是语言模型中的embedding层，获得某个token的embedding就类似一个查表的过程​

💾

我们知道文本序列是有顺序的，而常见的语言模型都是基于注意力机制的transformer结构，无法自动考虑文本的前后顺序，因此需要手动加上位置编码，也就是每个位置有一个位置embedding，然后和对应位置的token embedding进行相加​

40%

60%

💾

在模型训练或推理阶段大家经常会听到上下文长度这个词，它指的是模型训练时接收的token训练的最大长度，如果在训练阶段只学习了一个较短长度的位置embedding，那模型在推理阶段就不能够适用于较长文本（因为它没见过长文本的位置编码）​

语言模型的预训练

💾

当我们有了token embedding和位置embedding后，将它们送入一个decoder-only的transofrmer模型，它会在每个token的位置输出一个对应的embedding（可以理解为就像是做了个特征加工）​

有了每个token的一个输出embedding后，我们就可以拿它来做next token prediction了，其实就是当作一个分类问题来看待：​

💾

•
首先我们把输出embedding送入一个线性层，输出的维度是词表的大小，就是让预测这个token的下一个token属于词表的“哪一类”​

•
为了将输出概率归一化，需要再进行一个softmax变换​

•
训练时就是最大化这个概率使得它能够预测真实的下一个token​

•
推理时就是从这个概率分布中采样下一个token​

从原理到代码理解语言模型训练和推理​