李咏豪

摘 要：智能科学技术的重要研究方向包括机器是否具有智能的判断，以及自然语言的处理。本文分析了人类抽象推理方面的能力难以植入现阶段机器，以及判断一台机器是否智能的方法。另外，利用隐马尔可夫模型来解决自然语言中的许多问题，同时，基于规则以及基于统计的自然语言处理有着各自的优缺点，而从基于规则的方法逐步过渡到基于统计的方法有深层次的原因。

关键词：智能科学;自然语言处理;马尔可夫模型

智能科学技术是研究利用机器来模拟人类的智能，比如，让机器能像人类一样会听，说，读，写，甚至会思考，决策等。1950年，英国数学家图灵发表了一篇论文，宣告人工智能的正式出现。在智能科学技术中，如何判断一台机器是否有智能是其重要研究方向之一，另外，自然语言处理也是智能科学技术的一个重要方向，它在科技创新中起着较为重要的作用。

1 如何判断一台机器是否有智能

1.1 人类心智

一个人的“心智”指的是他各项思维能力的总和。根据乔治·博瑞博士的定义，心智主要包括以下三个方面的能力：获得知识;应用知识;抽象推理。而智能科学与技术的核心概念是“智能”，偏重于“能”字，强调心智机制的实现，跟学习、适应、感知、理解、推断、情感、判断、预想、创造、行为与意识等密切相关。

1.2 人类心智植入机器

现阶段机器难以植入人类心智抽象推理方面的能力，具体为情感、预想、创造与意识。

1.2.1 情感

移情的能力是人类特有的一种心智能力，使我们能够设身处地地站在别人的角度，理解和欣赏别人的感情。机器可以进行基本的人际互动，比如苹果公司开发的智能语音助手Siri支持自然语言输入，并且可以调用系统自带的天气预报、日程安排、搜索资料等应用，还能够不断学习新的声音和语调，提供对话式的应答。尽管Siri是目前最先进的智能技术之一，拥有极高的识别成功率与类似真人的语音语调，它依然无法设身处地地为用户着想，即在情感的层面上真正地理解用户。

1.2.2 预想与创造

机器也没有真正具备预测与创造的能力，真正创造颠覆原有的体系。举例而言，我们运用智能技术研究如何正确分配使能源利用效率达到最高，而智能技术却无法告诉我们一种新的能源以及相应的使用方法，从而彻底改变能源的体系结构。

1.2.3 意识

之所以难以植入人类的许多心智，与机器尚未具有意识有关。心智的产生从生物学角度是极其复杂的，目前对意识活动的脑定位、脑机理以及如何在心智活动中起作用等问题还有很多空白值得去探索研究。但已有的科学研究证据也普遍证实了意识活动与边缘系统、注意机制和短时记忆起码有着明确的联系。目前，人工智能的核心是依赖于大数据的增强学习机制，学习方式大体分为三种：监督式学习、非监督式学习和增强学习，其中，前两种需要大数据做支撑，最后一种虽然不需要大数据，但是需要一个评估者来评估人工智能每个一个行为。而心智，通常是没有标准的事物，主观性强。所以，很难通过构造增强学习机制来训练人工智能完全实现人类的心智，而要结合算法与自然机制。

1.3 判断机器是否具有智能

判断机器是否具有智能，绕不开图灵测试。图灵测试由图灵发明，指测试者与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。进行多次测试后，如果机器让平均每个参与者做出超过30%的误判，那么这台机器就通过了测试，并被认为具有人类智能。

然而，图灵测试存在缺陷。盖尔设计了“中文实验室”，该实验明确地说明了即使通过测试，机器最多具有人工智能，而非人的智能。2014年，一个聊天机器人就曾通过了图灵测试，然而它显然是不具有智能的，通过图灵测试只能说明该机器在文字的使用上近似于人类。

判断机器是否具有智能，可以在傳统的图灵测试基础上改进，解决图灵测试的问题。具体方法是让机器通过一份标准化的考试。这种方法结合了语义的理解（读懂题目）与解决各类问题的能力（答题），类似于图灵测试，但是具有更强的确定性，也涉及更多智能的方面。同时，这类考试原本目的不是为了测试机器的智能，考题非常灵活，包含许多阅读理解并给出观点的题目，文科强调言之有理，而理科需要精确的结果，综合性强。

2 隐马尔可夫模型

自然语言的处理（如语音识别、词性划分、词语切分、翻译等）本质上都是通信模型。比如在语音识别中，机器通过接受到的信息（O1，O2，O3，…）推测人要传递的信息（S1，S2，S3，…），这样，便从语法，语义的道路回归到了利用隐马尔可夫模型来解决自然语言处理问题。

隐马尔科夫模型有如下特点：状态St是不可见的;各状态St只与前一状态St-1有关（马尔科夫假设）;每个状态都输出一个符号Ot，且该符号只与一个状态St有关（独立输出假设）。可以发现，隐马尔科夫模型的性质与自然语言的性质具有关联性，以语音识别为例，对于机器而言人要传递的信息是不可见的，而接受到的音频信息是可见的;从发音和语义来看，人类语音单字的发音与句子中的单字都具有前后关系;将输入信息划分为各单位信息进行分析，形成一个状态序列，每一个状态都输出机器解码后的信息（即符号Ot）。

3 基于规则的自然语言处理

基于规则的自然语言处理可以分为基础层，认知层和应用层，其中，基础层包括句法分析和语义处理，认知层则包括自然语言理解，应用层包括语音识别、机器翻译、自动回答和自动摘要等。

3.1 基于规则的自然语言处理的优缺点

早在18、19世纪西方已有大量对于各种语法的形式化总结，形成十分完备的体系。构词法、语法规则与词性等现成的规则很容易用计算机算法描述。在句法分析方面，任何一个句子都可以被分析成一棵文法分析树。基于规则的自然语言处理方法可以有效地处理结构依赖性强的复杂句子，并可以双向使用，既可以应用于分析，也可以应用于生成，具有普适性，适用于许多不同语种。但是，在语义分析方面，相较于语法，语义难以在计算机中表达出来。在文法分析方面，文法分析树非常复杂，单纯基于文法规则的分析器无法处理复杂的句子;文法规则需要人工总结，现有规则数量不足且文法规则之间会出现矛盾。

3.2 基于统计的自然语言处理的优缺点

通过训练语言数据，可以获取语言数据中的统计知识，从而建立起语言统计模型，并使得在文字的自动处理中具有较高的准确率。依赖训练语言数据规模，随着用于训练的语言数据量增多，处理效果变好，所以可以通过扩充语料库加强基于统计的自然语言处理模型的性能。在一些细节性的语言处理上明显优于基于规则的自然语言处理，适合用来模拟那些有细微差别的模糊概念等。但是，数据质量对于模型效率的影响非常大。随着语料库规模的增大，可能出现“数据稀疏”，即语料库中许多数据缺失或者稀少的现象，导致在语音识别时无论音频多么清晰都无法给出正确的识别结果。

4 从基于规则的方法逐步过渡到基于统计的方法的原因分析

自然语言处理从基于规则的方法逐步过渡到基于统计的方法，其背后包含了理性主义和经验主义之争，以及惯性思维的巨大影响。

基于规则的方法体现了理性主义。理性主义认为，人的很大一部分知识是与生俱来的，由遗传决定，可以用“真理在心中，靠演绎获得”来概括。在自然语言问题中，理性主义主张人工建立语言知识处理体系，将自然语言理解为符号结构，通过词法分析器对输入的句子进行结构分析。基于统计的方法体现了经验主义。经验主义认为，人脑并不是一开始就具有语言成分的处理方法，而是通过其他能力掌握了具体的语言结构。

经验主义的崛起与20世纪70年代计算机硬件技术的飞速发展与统计学中重要概念的提出（如隐马尔可夫模型）息息相关，这些技术使得基于统计的自然语言处理方法具有可行性，从而表明在该领域，经验主义优于理想主义。

然而，理性主义与经验主义并不是绝对对立的。他们各具有优点与缺点，不可能彻底解决自然语言处理这一难题。事物总是在不断发展的，只有通过取长补短，相互结合，共同发展，才能更上一层楼。我们并不能说理性主义是过时的，而经验主义就更先进。

最初选择基于规则的方法的主要原因是惯性思维的后果。20世纪60年代时，对自然语言的研究已经十分深入，具有大量形式化的总结。此时科学家们会优先选择已有大量研究成果的基于规则的自然语言处理加以研究，而不是缺乏统计数据与数学模型的基于统计自然语言处理。人们习惯性地认为，随着自然语言的语法概括能力越来越强，计算机的计算能力的不断提高，基于规则的自然语言处理会逐步解决自然语言理解的问题，然而，由于惯性思维，基于規则的自然语言处理的一些根本性的问题被忽略了。可以看出，人们倾向于根据现有的资源多少以及固有理解来决定采用什么方法研究某个问题。20世纪70年代时，基于规则的研究几乎宣告失败，而计算机与统计领域的蓬勃发展加强了人们对经验主义方法的自信，自然而然使研究的思路从基于规则的方法逐步过渡到基于统计。

5 结语

本文分析了判断机器是否具有智能的方法，同时，针对自然语言处理中常用的隐马尔可夫模型作了介绍，并分析了基于规则和基于统计的自然语言处理各自的优缺点，同时，进一步分析了从基于规则的方法逐步过渡到基于统计的方法的深层次原因。

参考文献：

[1]王飞，陈立，易绵竹，等.新技术驱动的自然语言处理进展[J].武汉大学学报（工学版），2018，051（008）：669-678.

[2]李生.自然语言处理的研究与发展[J].燕山大学学报，2013（05）：4-11.

[3]姜倩盼.自然语言处理的挑战与未来[J].信息与电脑：理论版，2013，000（007）：219-221.

[4]王茵，周学广，陆健.基于条件随机场的中文情感分析方法比较研究[J].计算机与数字工程，2017，045（009）：1703-1707，1730.

[5]冯志伟.当前自然语言处理发展的几个特点[J].暨南大学华文学院学报，2006（01）：38-44.