王康康， 宗德才， 李 芳， 黄辉林

(1.江苏科技大学 数理学院, 江苏 镇江 212003) (2.常熟理工学院 计算机科学与工程学院, 江苏 常熟 215500) (3.安徽师范大学 数学与计算科学学院, 安徽 芜湖 241000) (4.上海交通大学 数学系, 上海 200240)

设(Ω,F,P)为一概率空间,设{Xn,n≥0}是定义在该概率空间上并于字母集S={s1,s2,…}上取值的任意信源,其联合分布为

P(X0=x0,…,Xn=xn)=p(x0,…,xn)>0

xi∈S, 0≤i≤n

(1)

(2)

式中：log为自然对数,fn(ω)称为{Xi,0≤i≤n}的相对熵密度．

如果{Xn,n≥0}为非齐次马氏信源,其初始分布与转移概率分别为：

(q(s1),q(s2),…,q(sn),…),q(si)>0,si∈S

(3)

Pn=(pn(sj|si)),pn(sj|si)>0,si,sj∈S,n≥1

(4)

式中：pn(sj|si)=P(Xn=sj|Xn-1=si)n≥1

(5)

则非齐次马氏信源{Xn,n≥0}的相对熵密度为：

(6)

式中：log 为自然对数,fn(ω)称为{Xi,0≤i≤n}的相对熵密度．

定义1我们给出广义随机选择的概念,先给出一组定义在Sn+1(n=0,1,2,…)上的非负实值函数列fn(x0,…,xn)．

令Y0=y(y为任意实数),Yn+1=fn(X0,…,Xn),n≥0;fn(x0,…,xn)称为选择函数.如果{Yn,n≥0}在区间[0,b]取值,{Yn,n≥0}称为广义赌博系统或广义随机选择系统．而传统的赌博系统或随机选择系统在两点集{0,1}中取值．

(7)

定义2设{Xn,n≥0}为如上定义的非齐次马氏信源,{Yn,n≥0}为随机选择系统,称

(8)

为非齐次马氏信源{Xn,n≥0}关于随机选择系统的相对熵密度,也称其为广义相对熵密度．显然,当Yk≡1,0≤k≤n时,该广义相对熵密度Sn(ω)即为一般的相对熵密度fn(ω)．

关于fn(ω)的极限性质是信息论中的重要问题,在信息论中称为Shannon-Mcmillan定理或信源的渐近均匀分割性(简称S-M定理),它是信息论中编码的基础．文献[1]中首先证明了齐次遍历马氏信源的S-M定理．文献[2-3]则证明了平稳遍历信源的S-M定理．文献[4]考虑了字母集为可列集的情况．以后又有许多作者将上述结果推广到一般的随机过程[5-6]．文献[7]中通过任意信源与无记忆信源比较,用特有的分析方法给出了……