张姗姗

（宝鸡文理学院，陕西 宝鸡 721013）

信息论的应用

张姗姗

（宝鸡文理学院，陕西 宝鸡 721013）

信息论是关于信息的本质和传送规律的科学理论，其主要特点是理论的成功应用。文章主要介绍信息论在数据压缩、密码学、统计及信号处理中的应用。

信息；信息论；数据压缩；密码学

信息是人类社会互通情报的实践过程中产生的，在当今信息社会中，常把它作为人们认识世界的向导与智慧的源泉，也是社会与社会生产力发展的动力与资源。信息作为一种资源，如何开发、利用、共享是人们普遍关注的问题。信息是信息论中最基本最重要的概念。信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学[1]。其基本任务是为设计有效而可靠的通信系统提供理论依据，主要特点是理论的成功应用。文章主要介绍信息论在数据压缩、密码学、统计及信号处理中的应用。

1 信息论在数据压缩理论中的应用

信息论之父香农在 1948年发表的论文《通信的数学理论》一文中指出，任何信息都有冗余，冗余大小和信息中每个符号的出现概率或者说不确定性有关[2]。香农把信息中排除了冗余后的平均信息量称为信息熵，并给出了计算信息熵的数学表达式，这为数据压缩奠定了理论基础。

数据压缩的主要目的是力求用最少的数据表示信源所发出的信号，使信号占用的存储空间尽可能小，以达到提高信息传输速度的目的。数据压缩在近代信息处理问题中有大量的应用，无论在数据存储或传送中，通过数据压缩不仅可以大大节省资源利用的成本，而且把一些原来无实用意义的技术，如多媒体技术中的一些问题，达到具有实用意义的标准。……