解读AI大模型，从了解token开始
解读AI大模型，从了解token开始
2024年8月27日修改
2024年7月10日创建
附件不支持打印
但是收到不少非技术背景的小伙伴反馈，相关的算法内容的解释技术性还是太强，很难完全理解。所以这次，题主从最基础的概念“token”着手，跳过了复杂的算法逻辑，这次一定让你建立起对AI大模型工作原理的清晰认知。
什么是token？最小的语义单元
你可能会好奇，大规模语言模型是如何工作的呢？它们是如何从数据中学习到语言的呢？它们是如何根据输入来生成合理的文本延续的呢？为了回答这些问题，我们需要从最基础的概念开始讲起：token。
在自然语言处理（NLP）中， token是指文本中最小的语义单元 。比如，一个句子可以被分割成若干个单词，每个单词就是一个token。例如，“I love you”这个句子可以被分割成三个token：“I”，“love”和“you”。token可以帮助我们把文本分解成更容易处理和分析的部分。
但是，并不是所有的语言都可以用空格来划分单词。有些语言，比如中文、日语等，没有明显的单词边界。在这种情况下，我们需要用一些更复杂的方法来进行tokenization（分词）。比如，我们可以用一些规则或者统计模型来判断哪些字或者字组合构成了一个有意义的token。例如，“我爱你”这个句子可以被分割成两个token：“我”和“爱你”。当然，这种方法并不完美，有时候会出现错误或者歧义。
除了单词之外，还有一些其他的符号也可以被视为token。比如，标点符号、数字、表情符号等等。这些符号也可以传达一些信息或者情感。例如，“I love you!”和“I love you?”就不同于“I love you”，因为感叹号和问号表达了不同的语气和态度。
总之，token就是文本中的最小有意义的单位，它们可以帮助我们把文本分解成更容易处理和分析的部分。不同的语言和场景可能需要不同的tokenization方法。接下来，我们要看看GPT系列采用了什么样的token类型？
GPT系列采用了什么样的token类型？
附件不支持打印