输入“/”快速插入内容

Transformer 模型原理通俗解释（DeepLearning.AI+EasyAI）​

2024年8月23日修改
作者：王几行XING​
原文： https://zhuanlan.zhihu.com/p/645687...​
1 Attention Is All You Need​
•
《 Attention is All You Need 》是由Google的研究人员在2017年发表的一篇研究论文，它引入了Transformer模型，这是一种革命性的架构，彻底改变了自然语言处理（NLP）领域，并成为我们现在熟知的语言模型（LLMs）的基础，比如GPT、PaLM等等。该论文提出了一种 神经网络 架构，用完全基于 注意力机制 的方式取代了传统的循环神经网络（RNNs）和 卷积神经网络 （CNNs）。​
•
Transformer模型使用 自注意力机制 来计算输入序列的表示，从而允许它有效地捕捉长期依赖关系并 并行化 计算。作者证明了他们的模型在几个机器翻译任务上取得了最先进的性能，并且胜过了依赖于RNNs或CNNs的之前的模型。​
•
Transformer架构由一个编码器和一个 解码器 组成，每个部分都由多个层组成。每个层包含两个子层：一个多头自注意力机制和一个 前馈神经网络 。多头自注意力机制允许模型关注输入序列的不同部分，而 前馈网络 对每个位置分别应用点对点的 全连接层 。​
•
Transformer模型还使用 残差连接 和层归一化来促进训练并防止过拟合。此外，作者引入了一种 位置编码 方案，用于编码输入序列中每个标记的位置，使模型能够在不需要循环或卷积操作的情况下捕捉序列的顺序。​
2 Encoder/Decoder/Encoder+Decoder 模型分类​
3 Encoder/Decoder/Seq2seq 补充解释​
参考： 一文看懂 NLP 里的模型框架 Encoder-Decoder 和 Seq2Seq​