李 静，富中华

(山西大同大学物理与电子科学学院，山西大同 037009；2.山西大同大学综合分析与测试中心，山西大同037009)

SOFM网络在矢量量化的应用

李 静1，富中华2

(山西大同大学物理与电子科学学院，山西大同 037009；2.山西大同大学综合分析与测试中心，山西大同037009)

矢量量化作为一种高效的数据压缩技术，在语音和图像的编码、传输中都有广泛的应用，其关键在于码书设计。码书的好坏直接影响语音、图像的编码质量。本文针对经典LBG算法对初始码书敏感及整体训练时间较长这两个缺陷，着重研究SOFM算法在这两方面的性质和特点，结果证实SOFM算法相对于LBG算法训练时间较短，且利用SOFM网络设计的码书受初始码书的影响小，具有很强的自适应性，很好的改善了LBG算法在这两方面的缺陷。

矢量量化；SOFM神经网络；初始码书；训练时间

矢量量化[1]作为一种高效的数据压缩技术，它能更好地去除信号的相关性，取得更好的压缩效果，因此在语音和图像的编码、传输中都有广泛的使用。矢量量化中的一个关键问题，就是码书的设计，一个好的码书能直接提升语音和图像的编码质量。矢量量化中经典的是LBG算法，该算法以其充分的理论依据，严谨的推导过程，清晰的物理概念，较强的通用性和可实现性，在矢量量化初期得到了广泛的认可。但在应用中也逐渐发现了一些缺陷[1]，比如：若要从码书中搜索最近码字，则需要预留大量的存储空间，搜索过程中所涉及的计算也相对比较繁琐。其次，码书的训练依赖于初始码书的选择，选择的好坏直接影响码书的收敛速度。另外，该码书不能自适应跟踪信源统计特性，且训练时间比较长。为了克服这些缺陷，人们不断研究和改进，之后开始广泛使用神经网络的方法。

在神经网络模型中，有一种竞争学习分类网络，简称SOFM神经网络，也称Kohonen网络，在这个网络中任意时刻只有一个神经元处于激活状态，它是一个模仿了发生在大脑中映射的人工系统。SOFM神经网络结构简单、自组织学习能力强、学习速度快、受初始码书影响小、抗信道误码能力强、生成的码书适应性强，因此被广泛应用于码书设计。本文通过实验研究SOFM算法，实验表明SOFM算法应用于码书设计中训练时间较短，生成的码书受初始码书影响小，且可以自组织地进行学习训练，具有很强的自适应性。

1 SOFM算法

1.1 简述SOFM运行原理

SOFM神经网络[2,4]运行时要经历训练、工作两个阶段，整个过程是自发地一种竞争，无需外界的监督。在训练阶段，当随机输入的训练集样本确定时，在输出层中总有一个获胜节点会对某个特定模式产生最大响应，而在训练开始前，我们对该获胜节点的位置并不确定，对于不同的输入模式，获胜节点所处的位置也不同。确定了获胜节点之后，由于侧向相互兴奋的影响，导致其周围的节点响应也较为强烈，于是获胜节点及其邻域内的所有节点所连接的权值向量均向输入矢量的方向调整，调整的力度决定于邻域内各节点与获胜节点之间的距离，一般情况下，距离越近，调整力度越大，反之，调整力度减弱。以上是对训练集中一个样本学习的过程。在实际应用过程中，要调整SOFM网络的权值需要使用大量训练样本，最后使输出层节点对特定模式类敏感，相应的权值向量也就成为该模式类的中心向量，在输出层形成一个有序特征图，来反映样本的分布情况，形成一个模式分类器供工作阶段使用。训练结束后，即可进入工作阶段，在工作阶段，就是用已经训练好的连接关系来做模式分类。若输入的模式在训练阶段未出现过，SOFM网络会将它归入最接近模式类。

1.2 利用SOFM算法实现码书设计

假设输出层采用二维平面阵的形式，网络的几个基本参数为：输入训练矢量集为{X1,X2,…,Xn}，矢量维数k，连接权矢量为W={W1,W2,…Wm}，网络有k个输入节点，m个输出节点，输入节点到输出节点的权值为wjl，l∈[1,k]，j∈[1,m]，即权矢量Wj的第l个分量。则输入矢量Xi与权矢量Wj之间的失真测度d(Xi,Wj)常采用欧式距离的平方来表示，其表达式如下：

在如上假设基础上，画出SOFM网络学习流程，如图1所示。

图1 SOFM算法流程图

据此流程图，可以将SOFM算法步骤描述如下：

第一步：权值初始化。

一般将权值向量设置为一些较小的非零随机数，通常取[0,1]区间内的随机值，并将其记作wjl(0)，对于不同的神经元j(j=1,2,...m)，权值向量的值wjl(0)是不相等的。另外，定义学习速率初始值为η(0)，邻域初始值为Nc(0)，总迭代次数为T。

第二步：输入训练矢量。

将训练集中的矢量Xi={Xi1,Xi2,…,Xik}并行输入到神经元中，其中i∈[1,n]。注意每次只训练矢量集中的一个矢量，待第四步结束后再训练下一个矢量。

第三步：计算失真测度，找出获胜神经元。

按照式（1）计算输入矢量与输出节点矢量之间失真测度dj，选择使dj最小的节点（神经元）j*作为获胜节点（神经元）。

第四步：调整权值向量。

对节点j*及其邻域内的节点的连接权值按下式进行更新：

其中，η(t)（0≤η(t)≤1）为第t次迭代的学习速率，Nc(t)为j*的一个欧式邻域，它们均按时间单调递减。

第五步：重复进行第二步到第四步，依次将剩余的训练矢量提供给网络输入层，直至训练矢量集中的n个矢量全部输入并训练一次之后，进行第六步。

第六步：更新学习速率η(t)及邻域Nc(t)。学习速率和邻域的选择及更新无固定的理论公式，只要两者的形式保持一致即可。

第七步：令t=t+1，返回第二步进行再次训练，直至t=T为止。

至此，自组织学习结束。

整个过程就是要寻找与输入训练矢量Xi最接近的连接权矢量Wc，邻域Nc(t)不断减小，Wc一步步向输入矢量Xi接近的方向调整，最终找到最合适的码书。

2 实验结果与分析

2.1 步长对输出结果的影响

本实验在训练矢量集和初始码书不作改变的前提下选取不同步长进行观察实验，实验结果如图2～图10所示。

图2 输入训练矢量集合

图3 初始随机码书

图4 训练步长20时的训练结果

图5 训练步长180时的训练结果

图6 训练步长340时的训练结果

图8 训练步长1000时的训练结果

图9 训练步长1500时的训练结果

图10 训练步长2000时训练结果

这里选择的初始码书为一组分布在[0,0.1]之间的随机值，与输入训练样本无关。由图4～图11可以看出，在训练20步、180步时，根本无法反映输入模式的分布信息，甚至25个码字都不能完全直观地显示在图中；随着训练步长的增大，能够清晰显示在图中的码字数目增多，但是仍未能有效地反映输入模式信息；到340步、500步时，码字分布变得清楚明了，对比训练矢量集图形，可以看出输出码书的分布与输入矢量集的分布越来越接近；继续增加步长数进行训练，到1000步、1500步时输出码书分布基本能完全反映输入模式的聚类信息了，并且不再变化。

可见，SOFM神经网络能够通过自组织学习方式，用各神经元之间的连接权向量分布来反映输入矢量集的空间概率分布。通过步长的改变所体现的结果还可以说明，对于复杂的网络及样本，若给定较小的迭代次数，则迭代往往还没有收敛，学习就结束了，无法反映聚类信息；若给定太大的迭代次数，又会造成过拟合，这样在样本数目庞大时，是极大的浪费，如本实验中的1500步、2000步等大步长训练结果，反映信息与1000步完全相同，却延迟了网络收敛时间；所以，应用过程中，应结合输入模式样本数目选择合适的迭代次数，在不造成浪费的情况下，迭代次数越大，网络收敛效果越好，越能体现输入模式的信息。

2.2 初始码书对输出结果的影响

本实验在输入训练矢量集不变，迭代次数一定的情况下，共选取10组不同的初始码书进行训练，并记录输出结果，意在考察输出码书的性能是否受到初始码书选取的影响，随机抽取4组实验结果如图11所示。

图11左侧是4个不同的初始码书分布图，右侧是与它们逐一对应的训练后输出码书分布图。观察发现，左侧初始码书具有不同的数据，不同的分布，而它们训练后得到的输出权值矢量分布几乎完全相同。

可见，SOFM网络对初始码书的选择不太敏感，对同一个输入模式，选择确定的SOFM网络，无论初始码书如何，得到的SOFM收敛性能都是相近的。所以，初始码书的选择对SOFM算法的收敛效果影响不大。

图11 不同初始码书对应的输出码书分布

3 结束语

通过实验分析可以看出，SOFM算法对于不同的初始码书能够产生相同或相似的权值矢量，所以初始码书的选取不影响SOFM网络的收敛效果。另外，由于在SOFM算法中神经元的权值是实时更新的，因而当样本集的尺寸和码书的尺寸都很大时，采用SOFM算法可以加快更新的速度。所以，只要选择适当的学习速率η(t)和邻域函数Nc(t)，SOFM算法生成码书的性能优于LBG算法，可以在语音、图像编码中进行广泛的使用。

[1]谭建豪,章兢.基于SOFM神经网络的IP电话语音压缩编码设计[J].计算机与现代化，2006(1)：1-4.

[2]赵群群.基于SOFM的直接矢量量化方法在LD-CELP语音编码算法中的应用[D].太原理工大学，2008：6.

[3]谌德荣,陶鹏,宫久路,等.一种基于SOFM神经网络的高光谱图像快速分类方法[J].兵工学报,2009(2)：165-169.

[4]樊劲辉,陆薇,李争.一种改进的SOFM聚类算法研究[J].河北科技大学学报,2012(6)：514-518.

Application of the SOFM Neural Network in Vector Quantization

LI Jing1,FU Zhong-hua2
（1.School of Physics and Electronic Science,Shanxi Datong University,Datong Shanxi,037009;2.Comprehensive Analysis and Test Center,Shanxi Datong University,Datong Shanxi,037009）

Vector quantization as a highly efficient data compression technology has been widely used in voice and image compression coding and transmission.The key problem of VQ is codebook design,because codebook has direct impacts on voice and video encoding quality.There are two serious shortcomings about the classic method LBG algorithm.It is sensitive to the initial codebook and training time is long.To solve these two problems,the text mainly research SOFM algorithm property and point of these two aspects,the result confirms that the codebook designed by SOFM network suffers small impact from the initial code book,and it can self-organized proceed study discipline,and have very strong adaptability.So we can see it well improved LBG algorithm's shortcomings in these two aspects.

vector quantization;self-organizing feature maps;initial codebook;training time

TN912.3

A

1674-0874(2015)04-0029-04

2014-12-16

李静(1986-)，女，山西大同人，硕士，助教，研究方向：语音编码。

〔责任编辑 高彩云〕