信息熵的介绍及应用
2013-09-03田源
中国信息化·学术版 2013年7期
关键词:信息
田源
【摘 要】以信息论的概念及其应用探讨为目的,首先通过提出想要对“信息”这一概念进行量化的想法,介绍了“信息量”概念的提出以及完善到“信息熵”的过程,进而介绍了“信息熵”的概念,简述了信息论这一学科的启蒙和发展。通过一个友谊赛比赛结果的例子贯穿了文章前半部文,并且运用信息量以及信息熵的计算方法对结果进行了计算和比较;在文章后半部分提出了一个经典问题,首先给出了一个信息熵极值定理的证明,之后运用信息熵的理论给出了这一问题的解决方法。
【关键词】信息 信息量 信息熵 不确定性 概率
【中图分类号】C931.6【文献标识码】A【文章编号】1672-5158(2013)07-0512-02
1、信息量化及信息熵的提出
1.1 信息的量化
通常情况下我们无法准确感知“信息”(Information)这个抽象词语。而能够被量化的事物永远比只能被抽象形容的事物更加容易被人们理解和接受。例如,“今天一场足球友谊赛的比分是巴西4:0德国”就比“今天巴西在决赛上大胜德国队”更加能引起听者的共鸣。由此可见,若“信息”这一抽象概念能够被量化,将十分有助于我们理解它的深刻含义。
1.2 信息熵的提出
依然以上述友谊赛为例,假设甲乙丙三人都是球迷,当天的球赛甲因为有事而没有看到,此时他向乙、丙二人询问结果。乙说:“球赛不是平局”。丙说:“巴西队赢了”。显然,乙所提供的信息只能帮助甲排除掉两队平局的情况,而丙提供的信息则帮助甲排除了“两队踢平”和“德国队胜”这两种情况,从而提供了比乙更多的信息。……
登录APP查看全文
