王 哲，张立毅,2，陈 雷,2,3+，李 锵

1.天津大学 电子信息工程学院，天津 300072

2.天津商业大学 信息工程学院，天津 300134

3.天津大学 精密仪器与光电子工程学院，天津 300072

改进粒子群优化的分段在线盲信号分离算法*

王 哲1，张立毅1,2，陈 雷1,2,3+，李 锵1

1.天津大学 电子信息工程学院，天津 300072

2.天津商业大学 信息工程学院，天津 300134

3.天津大学 精密仪器与光电子工程学院，天津 300072

盲源分离（blind source separation，BSS）是指在混合系数未知的情况下，从混合信号中恢复出源信号的过程。在实时盲源分离问题中，学习速率的选择对于算法的性能有着至关重要的作用。为了得到合适的学习速率，提出了如下盲源分离的步长选择算法：通过衡量当前时刻输出信号的依赖程度，将整个信号分离过程分为快速分离和精细分离两个阶段。在快速分离阶段，应用粒子群优化算法确定学习速率，而在精细分离阶段，采用分段函数来确定学习速率。仿真结果证实，新算法比使用固定或其他自适应学习速率的算法有更快的收敛速度和更好的稳态性能。

盲源分离（BSS）；学习速率；分阶段学习；粒子群优化

1 引言

盲信号分离是指仅根据观测到的混合数据向量来恢复原始信号或信源，而在这一过程中混合矩阵未知。它在生物医学信号处理[1]、图像处理[2]与语音识别[3]等领域都有着广阔的应用前景。

盲信号的分离算法分为离线和在线两种。其中离线方法[4]收敛快，稳定性好，但是不适用于实时处理，因而在许多场合并不适用。而在线方法[5-9]虽然具体的形式不同，但是都属于最小均方差（least mean square，LMS）算法，存在一个学习速率参数的优选问题。本文的主要研究内容是在线方法中学习速率参数的优选问题。

在LMS算法中，学习速率通常取常数，但这存在收敛速度与稳态性能之间的矛盾。当学习速率较大时，收敛速度较快，但是稳态性能差；而当学习速率较小时，稳态性能相对较好，但是收敛速度较慢。解决上述矛盾最简单的方法是使学习速率随时间而变化，如指数递减等方法。但此类方法涉及一些参数选择的问题，当参数选择不当时，分离结果并不理想。

在上述方法中，学习速率是提前确定的，称之为非自适应的学习速率。此外，还有另一类方法称之为自适应的学习速率。自适应学习速率的思想最早由Amari[10]提出。随后人们提出了各种适用于LMS算法的自适应学习速率算法[11-12]。此外，由于BSS（blind source separation）的特殊性和重要性，人们又提出了一系列针对BSS的自适应学习速率算法[13-14]。

除此之外，还有一些基于当前分离状态来确定学习速率的方法。Zhang等人[15]提出了分阶段学习的方法。这种方法有着很好的稳态性能，但是如果想要获得很快的收敛速度，函数的选择十分困难。Lou等人[16]用一个模糊系统去决定学习速率。这种方法可以达到较好的分离效果，但是需要建立隶属函数和模糊推断系统。Hsieh等人[17]利用改进的粒子群优化方法来确定学习速率。这种方法获得了很快的收敛速度，但是在分离后期存在较大的波动性。Ou等人[18]提出利用滑动参数组合两个不同步长的分离系统。该方法在一定程度上缓解了系统收敛速度与稳态性能的矛盾，然而在组合两个分离系统的过程中，引入了一系列参数，这些参数的选择需要一定的经验，且在不同环境下的参数选择不同。

为了进一步加快算法的收敛速度并保持更好的稳态性能，受分阶段学习方法[15]和改进粒子群优化方法[17]的启发，本文提出了一个更为高效的方法来兼顾收敛速度和稳态性能。将整个信号分离过程分为两个阶段：快速分离阶段和精细分离阶段。快速分离阶段希望通过尽可能少的数据来达到较好的分离结果。考虑到粒子群优化方法有着很快的收敛速度，因而将粒子群优化方法用于快速分离阶段确定学习速率。而对于精细分离阶段，希望选择较小的学习速率来保证好的稳态性能，因此选择较为平缓的函数来确定学习速率。

本文组织结构如下：第2章简要回顾了盲源分离和粒子群优化的基本原理；第3章提出了改进粒子群优化的分段在线盲信号分离算法；第4章进行仿真实验并分析实验结果；第5章总结全文。

2 基本理论

2.1 盲源分离问题

盲源分离的混合模型可以表示如下：

式中，X(t)=[x1(t),x2(t),…,xm(t)]T是m路混合信号；S(t)= [s1(t),s2(t),…,sn(t)]T是n路源信号；A是m×n的未知混合矩阵。

盲源分离的目的是从混合信号x1(t),x2(t),…,xm(t)中恢复出源信号s1(t),s2(t),…,sn(t)，而在这一过程中，并不知道混合矩阵A的值。为了简化问题，此处假设m=n，即源信号数目与混合信号数目相同。令分离矩阵为W，维数为n×m，则解混系统定义如下：

式中，Y(t)=[y1(t),y2(t),…,yn(t)]T，它是对源信号的估计。

根据文献[19]，把互信息I(W)作为目标函数，则有：

式中，Λ是非奇异对角阵；P是置换矩阵。典型ICA（independent component analysis）算法可以写为如下形式：

式中，η(t)表示学习速率，它的选择直接影响系统的性能。针对不同的算法，F(Y(t))的选择不同。

2.2 粒子群优化

粒子群优化（particle swarm optimization，PSO）算法最早是在1995年由Kennedy和Eberhart[20]提出的。粒子群优化属于智能优化方法的一种，相比于传统优化方法，它具有更快的计算效率和寻找全局最优的能力。

一个粒子群中包括许多粒子，每个粒子都是优化问题的一个潜在解。假设粒子数目为s，维数为D。针对单个粒子，一般有3个特征：当前位置xi，当前速度vi以及单个粒子的历史最优位置pbesti；而考虑整个粒子群，则还有另一个特征为所有粒子的历史最优位置gbest。每个粒子的移动是根据以上特征确定的。每个粒子的速度更新公式如下：

式中，i∈1,2,…,s表示粒子的数目；j∈1,2,…,D表示粒子的维数；vi,j表示第i个粒子在第j维上的速度；c1、c2称为学习因子或加速系数，一般为正常数；ζ、ξ是在[0,1]上均匀分布的伪随机数；k表示运动的代数。新的粒子位置计算如下：

在每一代变化后，需要考虑pbesti和gbest的更新问题：

式中，f表示代价函数。

Shi等人[21]将惯性权重w引入到PSO，很好地平衡了全局搜索能力与局部搜索能力。新的速度更新公式如下：

式中，w可以是一个正常数或是随时间变化的函数。

Hsieh等人[17]将反转因子T引入到PSO，扩大了粒子群的搜索空间。速度更新公式如下：

式中，T表示反转因子。对于随机选取一半粒子，T=1；而对于剩余粒子，T=-1。

3 基于改进粒子群的分段在线盲信号分离

本文把粒子群算法用于分阶段学习中，从而提出了一种有效的方法来选择合适的学习速率η(t)。

3.1 分阶段分离

将整个信号的分离过程分为两个阶段：快速分离阶段和精细分离阶段。

在快速分离阶段，主要希望通过尽可能少的迭代次数来使分离结果达到一个可接受的程度。在信号的实时分离过程中，因为存储量有限，无法对所有的信号进行存储，所以在训练过程中损失的数据就无法再得到恢复。因此在快速分离阶段，收敛速度是衡量算法性能的一个关键因素。

在精细分离阶段，已经有了相对较好的分离结果，因此收敛速度在此时对整体性能影响并不大。而这一阶段的主要任务有两个：一是选择合适的学习速率，进一步提高分离精度；另一方面则是保证分离过程中较小的波动。

接下来需要找到一个指标将整个分离过程进行分段。根据文献[16]，知道yi(t)和yj(t)的依赖程度可以由它们的二阶相关度与高阶相关度来衡量。其中二阶相关性rij(t)及高阶相关性hrij(t)定义如下：

式中，i,j=1,2,…,m且i≠j；ρ(yi(t))为非线性函数。

为了实现实时盲信号分离，需要递归地计算rij(t)和hrij(t)。假设输出信号是广义平稳的，则在任意时刻t，信号x(t)的均值计算如下：

式中，λ为遗忘因子，其取值在0到1之间。记Pij(t)=cov[ρ(yi(t)),yj(t)]，Rij(t)=cov[yi(t),yj(t)]，Qi(t)=cov[ρ(yi(t))]，则有如下递归公式：

通过递归计算得到Rij(t)、Pij(t)和Qi(t)后，根据式（11）、（12），可以得到rij(t)和hrij(t)。

为了进一步衡量系统的总体分离状态，又定义了如下函数[15]：

式中，Dij(t)表示第i路信号与第j路信号的依赖性。

式中，Di(t)表示第i路信号的分离程度。

式中，D(t)表示所有信号的整体分离程度。根据D(t)可以对整个分离过程进行分段。当D(t)＞0.25时，认为分离过程处于快速分离阶段；而当D(t)≤0.25时，认为分离过程处于精细分离阶段。

3.2 改进粒子群算法确定学习速率

对于快速分离阶段，本文利用粒子群算法在每次迭代中选择合适的步长，在保证系统稳定的前提下使得收敛速度尽可能快。

本文采用式（10）作为改进粒子群算法速度的更新公式。代价函数是粒子群算法中另一个重要的成分。Di(t)表示第i路信号的分离程度，人们希望Di(t)在学习过程中快速减小。根据极小极大原理，定义粒子群的代价函数如下：

粒子群算法的计算量通常较大，如果把每个时刻视为相互独立，并在每一时刻都使用一次粒子群算法来确定当前时刻的学习速率，则很难满足实时性要求。事实上，对于相邻时刻而言，输出信号的分离状况是十分相似的。因此，不同时刻下的最优学习速率也是缓慢变化的。为了在分离性能和计算量之间取得平衡，在整个分离过程中，利用改进的粒子群优化算法来确定学习速率，而在每个时刻粒子群仅仅移动一代，并选择当前的全局最优解作为当前时刻的学习速率。相邻时刻的最优速率通常是相似的，因此将前一时刻的pbesti和gbest保留至下一时刻，用于影响新的时刻中粒子群的运动。

在文献[17]中，为了保证在分离后期的学习速率维持稳定，将上一时刻的所有粒子位置都直接传递到新的时刻。然而，这种方法很容易使得整个粒子群过早地收敛。如果声源位置发生变化，很难快速找到新的最优学习速率。由于仅仅将粒子群用于快速分离阶段，而无须考虑分离后期的波动程度，对于每个新的时刻，都对粒子群的粒子位置进行重新初始化，只保留上一时刻的pbesti和gbest。通过在每个时刻最小化式（24）中的目标函数f，即可实现在保证系统稳定的前提下使得收敛速度尽可能快。

3.3 非线性函数确定多维学习速率

对于精细分离阶段，人们希望学习速率的变化是平滑的。此外，在这一阶段，可能有些信号已经先分离出来，而还有一些信号分离结果并不好，此时，不同的输出成分需要不同的学习速率。因此，用Λ(t)来代替η(t)，从而迭代公式（4）变为如下形式：

式中，Λ(t)=diag(η1(t),η2(t),…,ηm(t))。ηi(t)的取值取决于第i路信号的分离程度。当第i路信号的分离效果较好时，ηi(t)的取值较小，从而保证波动较小。而当第i路信号的分离效果较差时，ηi(t)的取值较大，从而提高算法的分离精度。而第i路的分离效果可以由Di(t)来衡量，ηi(t)是关于Di(t)的非线性函数[15]：

这类非线性函数保证了算法在精细分离阶段有着较高的分离精度和很小的波动。

4 实验分析

在本文的实验过程中，4路信号如下：

式中，noise(t)服从[-1,1]的均匀分布。用于衡量高阶相关性的非线性函数为。粒子数目为10，w=0.24，c1=c2=0.5。在快速分离过程中，步长为标量，因此粒子群的维数为1。相比文献[17]，本文粒子群的应用中不需要考虑分离后期的波动稳定，因此为了得到更快的收敛速度，粒子位置的取值在0.01～0.04间。

为了证实本文算法的有效性，对所有算法采用相同的迭代公式[22]：

式中，η(t)是由本文算法所确定的学习速率，ϕ(Y(t))=Y2(t)sign(Y(t))，ψ(Y(t))=3tanh(10Y(t))。

为了评价算法的性能，引入串音误差[23]crosstalking error）来评价算法性能：

式中，P=(pij)=WA；W表示计算得到的分离矩阵；A表示源信号混合过程中真实的混合矩阵。

4.1 声源位置固定的实时盲信号分离

当声源位置固定时，混合矩阵A是4×4的固定矩阵，即在混合过程中A不会发生变化。令A内元素服从[-1,1]的均匀分布，每次实验中通过随机确定混合矩阵A来得到混合信号。本文以10 kHz的速率对信号采样，信号长度为3 000采样点。将本文算法与定步长0.010、0.005、分阶段算法[15]、改进粒子群算法[17]、组合系统[18]进行比较。

Fig.1 Cross-talking errors for fixed source locations图1 声源位置固定的串音误差曲线

图1表示了对于6种步长选择算法的30次独立运行得到的串音误差均值的收敛曲线。从图1中可以看出，在分离早期，本文算法具有较快的分离速度，从而保证了利用最少的数据集得到了较好的分离结果。同时，在分离后期，本文算法稳态性能较好，保证了分离系统的高精度。

表1列出了对于5种步长选择算法的30次独立运行得到的均值和标准差的平均值。为了能公平地比较系统在平稳阶段的性能，取3 000个采样点中最后100个点进行计算。串音误差均值越小，则说明分离的精度越高。串音误差标准差越小，则说明平稳阶段的波动越小。从表1中可以看出，相比其他算法，本文算法有着更高的精度和更小的波动。

Table 1 Mean and standard deviation of cross-talking error for fixed source locations表1 声源位置固定的串音误差的均值和标准差

4.2 声源位置可变的实时盲信号分离

在实际应用中，通常无法保证声源的位置在混合过程中始终固定不变。对于线下的盲信号分离算法，很难处理源信号位置发生变化的情况。而对于实时盲信号分离算法而言，通过选择恰当的学习速率，可以处理源信号位置可变的情况。

在实验中，令A内元素仍服从[-1,1]的均匀分布。但在每次实验过程中，在3 000采样点时刻重新随机选择混合矩阵A的元素改变信号的混合方式，从而得到在混合过程中声源位置发生变化的混合信号。信号的采样频率为10 kHz，信号长度为6 000采样点。图2为4路源信号经过两种不同随机混合方式后得到的混合信号。

图3为对声源位置发生变化的混合信号进行处理得到的分离信号。从图3中可以看出，本文算法在3 000点时刻混合方式发生变化后，在经过大约500个采样点后可以恢复较高的分离精度。

Fig.2 4 mixed signals for changed source locations图2 声源位置发生变化的4路混合信号

Fig.3 Separated signals from mixed signals for changed source locations图3 从声源位置发生变化的混合信号中得到的分离信号

图4表示了对于6种步长选择算法在声源位置发生变化时得到的串音误差均值的收敛曲线。从图4中可以看出，本文步长选择算法避免了改进粒子群算法[17]中的最优值过早收敛现象。在声源位置发生变化后，保证了较快的分离速度和较高的分离精度。

5 总结

本文提出了一种高效的方法来选择实时信号分离中的学习速率。将粒子群方法应用于分阶段学习的快速分离过程中，一方面充分利用了粒子群算法在学习过程早期的快速收敛性；另一方面也克服了它在后期的不稳定性。实验结果表明，本文步长选择算法可以使在线实时分离具有更快的收敛速度与更高的分离精度。同时，此算法可以适用于混合过程发生变化的混合信号，在混合方式发生变化后，能在很短的时间内恢复出较高精度的分离信号。

[1]Acharjee P,Kalogeropoulou D,Douvis J.Independent vector analysis for gradient artifact removal in concurrent EEG-fMRI data[J].IEEE Transactions on Biomedical Engineering, 2015,62(7):1750-1758.

[2]Minh H Q,Wiskott L.Multivariate slow feature analysis and decorrelation filtering for blind source separation[J].IEEE Transactions on Image Processing,2013,22(7):2737-2750.

[3]Jun S,Kim M,Oh M,et al.Robust speech recognition based on independent vector analysis using harmonic frequency dependency[J].Neural Computing&Applications,2013,22 (7/8):1321-1327.

[4]Marchetti F,Pampaloni G.Efficient variant of algorithm fastICA for independent component analysis attaining the CramÉr-Rao lower bound[J].IEEE Transactions on Neural Networks,2006,17(5):1265-1277.

[5]Riccardo B,Hong P,Roychowdhury V P.Independent component analysis based on nonparametric density estimation [J].IEEE Transactions on Neural Networks,2004,15(1): 55-65.

[6]Vrins F,Verleysen M.On the entropy minimization of a linear mixture of variables for source separation[J].Signal Processing,2005,85(5):1029-1044.

[7]Pham D T.Blind separation of instantaneous mixture of sources via an independent component analysis[J].IEEE Transactions on Signal Processing,2015,44(11):2768-2779.

[8]Cheng Hao,Yu Na,Liu Jun.Improved natural gradient algorithms for multi-channel signal separation[J].Applied Mechanics and Materials,2014,651-653:2326-2330.

[9]Fu G S,Phlypo R,Anderson M,et al.Blind source separation by entropy rate minimization[J].IEEE Transactions on Signal Processing,2014,62(16):4245-4255.

[10]Amari S.A theory of adaptive pattern classifiers[J].IEEE Transactions on Electronic Computers,1967,EC-16(3):299-307.

[11]Lee H S,Kim S E,Lee J W,et al.A variable step-size diffusion LMS algorithm for distributed estimation[J].IEEE Transactions on Signal Processing,2015,63(7):1808-1820.

[12]Sang M J,Seo J H,Park P G.Efficient variable step-size diffusion normalised least-mean-square algorithm[J].Electronics Letters,2015,51(5):395-397.

[13]Chambers J A,Jafari M G,Mclaughlin S.Variable step-size EASI algorithm for sequential blind source separation[J]. Electronics Letters,2004,40(6):393-394.

[14]Xu Pengcheng,Yuan Zhigang,Jian Wei,et al.Variable stepsize method based on a reference separation system for source separation[J].Journal of Sensors,2015(5):1-7.

[15]Zhang Xianda,Zhu Xiaolong,Bao Zheng.Grading learning for blind source separation[J].Science in China,2003,46 (1):31-44.

[16]Lou Shuntian,Zhang xianda.Fuzzy-based learning rate determination for blind source separation[J].IEEE Transactions on Fuzzy Systems,2003,11(3):375-383.

[17]Hsieh S T,Sun T Y,Lin C L,et al.Effective learning rate adjustment of blind source separation based on an improved particle swarm optimizer[J].IEEE Transactions on Evolutionary Computation,2008,12(2):242-251.

[18]Ou Shifeng,Gao Ying,Zhao Xiaohui.Adaptive combination algorithm and modified scheme for blind source separation [J].Journal of Electronics and Information Technology,2011, 33(5):1243-1247.

[19]Comon P.Independent component analysis,a new concept[J]. Signal Processing,1994,36(3):287-314.

[20]Eberhart R,Kennedy J.A new optimizer using particle swarm theory[C]//Proceedings of the 6th International Symposium on Micro Machine and Human Science,Nogoya,Japan, Oct 4-6,1995.Piscataway,USA:IEEE,1995:39-43.

[21]Shi Y H,Eberhart R.A modified particle swarm optimizer [C]//Proceedings of the 1998 IEEE World Congress on Computational Intelligence Evolutionary Computation,Anchorage,USA,May 4-9,1998.Piscataway,USA:IEEE,1998: 69-73.

[22]Cichocki A,Rummert E,Unbehauen R,et al.A new on-line adaptive algorithm for blind separation of source signals [C]//Proceedings of the 1994 International Symposium on Artificial Neural Networks,Tainan,China,Oct 15-18,1994: 406-411.

[23]Yang H H,Amari S I,Cichocki A.Information-theoretic approach to blind separation of sources in non-linear mixture[J].Signal Processing,1998,64(3):291-300.

附中文参考文献：

[18]欧世峰,高颖,赵晓晖.自适应组合型盲源分离算法及其优化方案[J].电子与信息学报,2011,33(5):1243-1247.

WANG Zhe was born in 1992.He is an M.S.candidate at Tianjin University.His research interests include computational intelligence and blind source separation,etc.

王哲（1992—），男，山西太原人，天津大学人工智能实验室硕士研究生，主要研究领域为智能计算，盲源分离等。

ZHANG Liyi was born in 1963.He received the Ph.D.degree from Beijing Institute of Technology in 2003.Now he is a professor at Tianjin University of Commerce and Ph.D.supervisor at Tianjin University.His research interests include signal detecting and processing,intelligence computation and information processing,etc.

张立毅（1963—），男，山西忻州人，2003年于北京理工大学获得博士学位，现为天津商业大学教授，天津大学博士生导师，主要研究领域为信号检测与处理，智能计算，信息处理等。

CHEN Lei was born in 1980.He received the Ph.D.degree from Tianjin University in 2011.Now he is an associate professor at Tianjin University of Commerce.His research interests include blind signal processing and hyper spectral imagery processing,etc.

陈雷（1980—），男，河北唐山人，2011年于天津大学获得博士学位，现为天津商业大学副教授，主要研究领域为盲信号处理，高光谱图像处理等。

LI Qiang was born in 1974.He received the Ph.D.degree in signal and information processing from Tianjin University in 2003.Now he is a professor and Ph.D.supervisor at Tianjin University.His research interests include intelligence information processing,filter design,digital system and micro-system design,etc.

李锵（1974—），男，山西太原人，2003年于天津大学获得博士学位，现为天津大学教授、博士生导师，主要研究领域为智能信息处理，滤波器设计，数字系统，微系统设计等。

Grading Learning Based on Improved Particle Swarm Optimization Blind Source Separation*

WANG Zhe1,ZHANG Liyi1,2,CHEN Lei1,2,3+,LI Qiang1
1.School of Electronic and Information Engineering,Tianjin University,Tianjin 300072,China
2.School of Information Engineering,Tianjin University of Commerce,Tianjin 300134,China
3.School of Precision Instrument and Opto-electronics Engineering,Tianjin University,Tianjin 300072,China
+Corresponding author:E-mail:chenleitjcu@126.com

The purpose of blind source separation(BSS)is to recover the unknown source signals from their linear mixtures without the knowledge of the mixing coefficients.For real-time BSS,the learning rate has an important influence on the algorithm performance.In order to select an appropriate learning rate,this paper proposes an efficient algorithm.According to the dependence between separating signals in current timeslot,the whole signal separation process is divided into two stages:the rapid separation stage and the precise separation stage.A particle swarm optimization method is applied to the rapid separation stage to determine the learning rate,and the learning rate in the precise separation stage is decided by a piecewise function.Simulation experiments demonstrate that significant improvements of convergence speed and stability are achieved by the proposed algorithm when compared to fixed or other adaptivelearning rate methods.

blind source separation(BSS);learning rate;grading learning;particle swarm optimization

10.3778/j.issn.1673-9418.1604055

A

：TN911.7

*The National Natural Science Foundation of China under Grant No.61401307(国家自然科学基金);the Postdoctoral Science Foundation of China under Grant No.2014M561184(国家博士后科学基金);the Application Infrastructure and Cutting-Edge Technology Research Projects of Tianjin under Grant No.15JCYBJC17100(天津市应用基础与尖端技术研究项目).

Received 2016-04,Accepted 2016-06.

CNKI网络优先出版:2016-06-23,http://www.cnki.net/kcms/detail/11.5602.TP.20160623.1139.002.html

WANG Zhe,ZHANG Liyi,CHEN Lei,et al.Grading learning based on improved particle swarm optimization blind source separation.Journal of Frontiers of Computer Science and Technology,2017,11(3)：365-372.