- 预训练语言模型之GPT-1，GPT-2和GPT-3
- 前言
- 1. GPT-1：无监督学习
- 1.1 GPT-1的训练
- 1.1.1 无监督预训练
- 1.1.2 有监督微调
- 1.1.3 任务相关的输入变换
- 1.2 GPT-1的数据集
- 1.3 网络结构的细节
- 1.3.1 无监督训练
- 1.3.2 有监督微调
- 1.4 GPT-1的性能
- 2. GPT-2：多任务学习
- 2.1 GPT-2的核心思想
- 2.2 GPT-2的数据集
- 2.3 模型参数
- 2.4 GPT-2的性能
- 2.4 总结
- 3. GPT-3：海量参数
- 3.1 In-context learning
- 3.2 Few-shot，one-shot，zero-shot learning
- 3.3 数据集
- 3.4 模型
- 3.5 GPT-3的性能
- 4. 总结
- Reference
预训练语言模型之GPT-1，GPT-2和GPT-3
预训练语言模型之GPT-1，GPT-2和GPT-3
2024年5月19日修改
前言
Generative Pre-trained Transformer（GPT）系列是由OpenAI提出的非常强大的预训练语言模型，这一系列的模型可以在非常复杂的NLP任务中取得非常惊艳的效果，例如文章生成，代码生成，机器翻译，Q&A等，而完成这些任务并不需要有监督学习进行模型微调。而对于一个新的任务，GPT仅仅需要非常少的数据便可以理解这个任务的需求并达到接近或者超过state-of-the-art的方法。
当然，如此强大的功能并不是一个简单的模型能搞定的，GPT模型的训练需要超大的训练语料，超多的模型参数以及超强的计算资源。GPT系列的模型结构秉承了不断堆叠transformer的思想，通过不断的提升训练语料的规模和质量，提升网络的参数数量来完成GPT系列的迭代更新的。GPT也证明了，通过不断的提升模型容量和语料规模，模型的能力是可以不断提升的。
模型 | 发布时间 | 参数量 | 预训练数据量 |
GPT | 2018 年 6 月 | 1.17 亿 | 约 5GB |
GPT-2 | 2019 年 2 月 | 15 亿 | 40GB |
GPT-3 | 2020 年 5 月 | 1,750 亿 | 45TB |
这篇文章会依次介绍GPT-1[1]，GPT-2[2]，GPT-3[3]，并介绍它们基于上个版本的改进点，文章主要的介绍的包括四个主要方向：算法的思想和目标，使用的数据集和预处理方式，模型结构以及算法的性能。
1. GPT-1：无监督学习
在GPT-1之前（和ELMo同一年），传统的NLP模型往往使用大量的数据对有监督的模型进行任务相关的模型训练，但是这种有监督学习的任务存在两个缺点：
1.
需要大量的标注数据，高质量的标注数据往往很难获得，因为在很多任务中，图像的标签并不是唯一的或者实例标签并不存在明确的边界；
2.
根据一个任务训练的模型很难泛化到其它任务中，这个模型只能叫做“领域专家”而不是真正的理解了NLP。
这里介绍的GPT-1的思想是先通过在无标签的数据上学习一个生成式的语言模型，然后再根据特定热任务进行微调，处理的有监督任务包括
•
自然语言推理（Natural Language Inference 或者 Textual Entailment）：判断两个句子是包含关系（entailment），矛盾关系（contradiction），或者中立关系（neutral）；
•
问答和常识推理（Question answering and commonsense reasoning）：类似于多选题，输入一个文章，一个问题以及若干个候选答案，输出为每个答案的预测概率；
•
语义相似度（Semantic Similarity）：判断两个句子是否语义上市是相关的；
•
分类（Classification）：判断输入文本是指定的哪个类别。