吴伟豪

（中央民族大学 100081）

数学之美与熵在语言处理中的作用

吴伟豪

（中央民族大学 100081）

数学是解决信息检索和自然语言处理的最好工具。它能非常清晰地描述这些领域的实际问题并且给出漂亮的解决办法。每当人们应用数学工具解决一个语言问题时，总会感叹数学之美。简单的数学模型能解决复杂的语音识别、机器翻译等问题，它把一些复杂的问题变得如此的简单。经过模型的建立，复杂的语音识别问题居然能如此简单地被表述、解决，我们不得不由衷地感叹数学模型之妙。

数学之美 语言处理 熵

展现合理之美的黄金分割，彰显对称和谐之美的二次曲线，体现代数简洁之美的各种猜想定理，凸显优雅之美的几何立体图形。这些无一不使得这个世界更加自然或者更为便捷。

不管索引如何复杂，查找的基本操作仍然是布尔运算。布尔运算把逻辑和数学联系起来了。它的最大好处是容易实现，速度快，这对于海量的信息查找是至关重要的。它的不足是只能给出是与否的判断，而不能给出量化的度量。[1]

直到信息熵的出现才解决了对信息的量化度量问题。一条信息的信息量大小和它的不确定性有直接的关系。变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。因此，所有搜索引擎在内部检索完毕后，都要对符合要求的网页根据相关性排序，然后才返回给用户。

我们越来越意识到了在信息时代之中，信息对于我们日常生活的影响。……