人工智能经常“看不懂”中文句子，让人哭笑不得。在2020年7月举行的自然语言处理领域（NLP）顶级学术会议ACL 2020上，来自创新工场大湾区人工智能研究院的两篇论文入选。这两篇论文均聚焦自然语言处理中文分词领域。

据研究人员介绍，分词及词性标注是中文自然语言处理的基本任务，但当前没有比较好的一体化解决方案，而且中文分词普遍存在歧义和未登录词的难题。

基于此，两篇论文各自提出了键-值记忆神经网络的中文分词模型和基于双通道注意力机制的分词及词性标注模型，将外部知识（信息）融入分词及词性标注模型，剔除了分词“噪音”误导，提升了分词及词性标注效果。

中文分词主要面临歧义和未登录词两大难点

据介绍，中文分词的目的是在中文的字序列中插入分隔符，将其切分为词。例如，“我喜欢音乐”将被切分为“我/喜欢/音乐”。

创新工场大湾区人工智能研究院执行院长宋彦分析，中文语言因其特殊性，在分词时面临着两个普遍的主要难点。

一是歧义问题，由于中文存在大量歧义，一般的分词工具在切分句子时可能会出错。例如，“部分居民生活水平”，其正确的切分应为“部分/居民/生活/水平”，但存在“分居”“民生”等歧义词。

二是未登录词问题。未登录词指的是不在词表，或者是模型在训练的过程中没有遇见过的词。这类问题在跨领域分词任务中尤其明显。宋彦介绍，这些未登录词，会非常影响分词和词性标注模型和系统的性能。……