ChineseBERT：中文预训练增强通过字形和拼音信息​

摘要​
​
代码块​
最近预训练的模型关于中文的忽视了两个重要因素：字形和拼音。它们在语言理解上携带了重要的语法和语义信息。在本文的工作中，我们提出了ChineseBERT，结合汉字的字形和拼音信息。​
​
- 字形嵌入是基于不同字体，能够从视觉特征捕获字符语义​
- 拼音嵌入字符对汉字的发音进行了处理，处理了汉语中常见的同字异义现象（不同发音代表不同含义）​
​
在大规模未标记的中文语料库上进行预训练，所提出的ChineseBERT模型有显著的性能提升，能以更少的训练步骤提高baseline，在一系列中文NLP任务上产生了新的SOTA性能，包括：机器阅读理解、自然语言推断、文本分类、句对匹配、实体识别上的竞赛表现、分词等​
​
1 - 介绍​
​
代码块​
大规模预训练模型已经成为各种自然语言处理任务的支柱，例如自然语言理解、文本分类和问答，除了英语NLP任务，预训练模型也证明了它们对各种中文NLP任务的有效性​
最初的预训练模型被设计是用于英语的，两个重要方面的因素对于中文缺失大规模预训练：字形和拼音信息。对于字形来说，一个关键因素使得中文不同于其他语言（例如：英文、德文），中国是语标语言，字符编码的语标信息的语标，例如，“液(liquid)”、"河(river)"和“湖(lake)”都有"氵(water)"，表示它们都是语义上和水相关。直觉上，汉字字形背后的丰富语义应该增强中文NLP的表达能力，这个想法就哦了各种各样学习和融入中国字形到神经模型中，但还没有大规模预训练​
对于拼音来说，一个中文汉字的音标表示其发音，对于语义建模是至关重要的，无法通过上下文或字形嵌入捕获其语法信息，这主要涉及到了汉语中常见的同字异义现象，同一个字有多种读音，每种读音下都与特定的含义相关联。在语义层面上，例如，汉字“乐”有两个明显的不同发音：“乐”可以发音"yue"，意思是music；也可以发音"le"，意思是happy。同一字符的不同发音不能通过字形嵌入来区分，因为标识是相同的，指向相同的char-ID，但是可以用拼音来表征​
在这份工作中，我们提出了ChineseBERT,一个模型包含汉字的字形和拼音信息，进入大规模预训练的过程。字形嵌入是基于一个汉字的不同字体，能够从视觉表面捕获字符语义，拼音嵌入模型是具有相同字符形式却有不同语义，从而绕过了限制单个字符的交织语素。对于一个汉字，字形嵌入、拼音嵌入和字符嵌入结合起来形成一个融合嵌入，这个模型有独特的语义属性​
所提出的ChineseBERT模型有显著的性能提升，能以更少的训练步骤提高baseline，在一系列中文NLP任务上产生了新的SOTA性能，包括：机器阅读理解、自然语言推断、文本分类、句对匹配、实体识别上的竞赛表现、分词等​
​
2 - 相关工作​
大规模预训练在NLP上​
​
代码块​
近年来，已开展很多大规模预训练在NLP上，BERT建立于Transformer结构上，以Masked Language Model(MLM)和Next Sentenct Prediction(NSP)方式在大规模未标记文本语料库上预训练，顺应这一趋势，通过修改Mask策略取得了很大进展，预训练任务或模型主干，具体来说，RoBERTa提出移除NSP预训练任务，它被证明没有任何好处对于改善下游性能，GPT系列和其他BERT变体，调整了范式对机器翻译、文本摘要和对话生成等文本生成任务进行大规模无监督预训练，从而使生成模型可以享受大规模预训练的好处​
不同于英语，汉字有其独特特征在语法、词汇和发音上。因此，预训练中文模型应该与中国特色相对应。李等人建议使用中文字符作为基本单位，而不是英语中使用的单词或子词。ERNIE应用了三种类型的屏蔽策略：字符级屏蔽、短语级屏蔽和实体级屏蔽去增强捕获多粒度语义的能力。崔等人使用Whole Word Masking策略去预训练模型，一个汉字的所有字符均被屏蔽了，用了这个方法，该模型正在学习解决更具挑战性的任务而不是预测单词组件。最近，张等人开发了迄今为止最大的中文预训练语言模型 date-CPM,它在100GB中文数据和2.6B参数上进行预训练，可媲美“GPT3 2.7B”。徐等人发布了首个大规模汉语理解评估基准CLUE，主助力大规模汉语预训练研究​
​