朱成莲

0 引言

1951年,统计学家Kullback和Leibler提出了相对熵的概念，用来度量两个分布之间的差异程度，也称为Kullback-Leibler距离。在数理统计中,统计推断的一个重要方面就是从已知样本去估计母体的分布,或者推断分布的特征,对于同样的母体分布，当用几种不同的统计方法获得了母体的不同估计分布后,人们往往要对所求得的分布进行比较，为此，统计学上引入了许多度量两个分布差异的方法，如相对熵，Pearson-χ2距离和全变差距离等，相对熵应用于许多领域，从相对熵的定义看出，它已经不满足传统的距离中对称性、三角不等式性等条款。尽管如此，由于它确实能够在某种程度上刻画两个密度函数的差异程度，近年来，概率密度函数的相对熵在学术界备受关注，人们在讨论极值分布的大样本问题、分布函数估计的收敛性、用不同算法借补有缺失数据的分布估计的收敛速度等问题时，都使用相对熵[1-5]。本文将相对熵定义进行了推广，定义了最小相对熵。从定义形式上看，并不难理解，最小相对熵是将两个概率密度函数间的相对熵求较小值，但它的意义在于克服了相对熵没有对称性的缺陷。本文计算了两个广义伽玛分布之间相对熵及最小相对熵。作为广义伽玛分布的特例，推导出两个伽玛分布、Weibull分布、Rayleigh分布、正态分布、指数分布之间的相对熵及最小相对熵。

1 相关定义及其性质

则称随机变量X服从广义伽玛分布,记为GΓ()α，β，λ。

由定义1可知，当α，β取一些特殊值时，得到以下一些特例：