自定义Graph Component：1.2-其它Tokenizer具体实现​

2023年12月5日修改
本文主要介绍了Rasa中相关Tokenizer的具体实现，包括默认Tokenizer和第三方Tokenizer。前者包括JiebaTokenizer、MitieTokenizer、SpacyTokenizer和WhitespaceTokenizer，后者包括BertTokenizer和AnotherWhitespaceTokenizer。​
​
一.JiebaTokenizer​
JiebaTokenizer类整体代码结构，如下所示：​
​

加载失败，

​