面向5G网络的信息论与编码课程教学探讨
2019-11-28刘建刚胡桔洲
刘建刚 胡桔洲
摘 要： 5G网络时代已经来临，文章从面向5G通信网络的角度对与之关系密切的信息论与编码课程的教学提出了新要求。探讨了信息论与编码课程与概率论与数理统计、线性代数等课程之间的内在联系，介绍了在信息论与编码课程实践教学中的体会。总结得出，该课程须不断更新教学内容，特别是要将涉及5G通信网络的低密度奇偶校验码（LDPC）、极化码（Polar Code）等编码方法引入到课程教学中来。
关键词： 5G网络; 信息论与编码; 教学; 变革; 低密度奇偶校验码与极化码
中图分类号：TN911.2;G642.4 文献标志码：A 文章编号：1006-8228（2019）11-102-04
Abstract： With the advent of 5G network era， this paper puts forward new requirements for the teaching of information theory and coding course which are closely related to 5G communication network. This paper probes into the internal relations between the information theory and coding course and the courses of probability theory and mathematical statistics， linear algebra and the others， and introduces the experience in the practical teaching of information theory and coding course. It is concluded that the teaching content of this course should be updated continuously， especially the 5G communication network related coding methods LDPC and Polar Code should be introduced into the teaching of this course.
Key words： 5G network; information theory and coding; teaching; change; LDPC and Polar Code
0 引言
5G是指第五代移动通信网络，其峰值理论传输速度可达每秒数十Gb，其比4G网络的传输速度快数百倍。5G网络的主要目标是让终端用户始终处于联网状态，在不久的将来，其不仅支持智能手机，而且还要支持智能手表、健身腕带、智能家庭设备等[1]。
2014年5月13日，三星电子宣布，其已率先开发出了首个基于5G核心技术的移动传输网络，并表示将在2020年之前进行5G网络的商业推广。2018年6月14日，3GPP全会批准了第五代移动通信技术标准独立组网功能冻结，加之去年12月完成的非独立组网NR标准，5G已经完成了第一阶段全功能标准化工作，进入了产业全面冲刺新阶段，也充分表明5G时代很快就要到来。
信息论与编码是信息、通信、电子工程类等专业的核心主干课程，内容主要包括信息的定义和度量，离散信源和连续信源的信息熵，信道和信道容量，平均失真度和信息率失真函数、信源编码、信道编码、加密编码、网络信息理论等，课程传统的核心内容围绕无失真信源编码定理、信道编码定理、限失真信源编码定理为主要脉络的香农三大极限定理以及香农公式展开[2]。
5G网络涉及的编码方法将区别于4G时代下的Turbo编码方法，因此，有必要将信息论与编码课程内容进行革新。随着5G移动通信时代的即将来临，本文拟从面向5G网络的角度，对与之紧密联系的信息论与编码课程重新定位，探讨信息论与编码课程的教学。
1 面向5G的信息论与编码课程定位与变革
⑴ 5G时代背景下信息论与编码课程重新定位
信息论与编码作为信息、通信、电子工程类等专业的核心主干课程，面临着5G时代的来临，更能凸显该课程的重要性及其突出地位，有必要重新审视该课程的定位。要将其放在突出重要的地位，以期培养出能够跟上5G時代步伐的信息类专门人才[3-4]。
⑵ 将5G的变革与信息论与编码的发展紧密联系起来
1948年，香农发表了现代信息论的开创性权威论文A mathematical theory of communication（通信的数学理论），为信息论的创立作出了独特的贡献，其本人也因此成为了信息论的奠基人。1959年，香农发表Coding theorems for a discrete source with a fidelity criterion（保真度准则下的离散信源编码定理），为各种信源编码的研究奠定了基础[5]。
5G时代面临巨大的变革，其中主要包括5G网络需要远超过4G网络的传输速率，目前5G网络已成功在28千兆赫（GHz）波段下达到了1Gbps，相比之下，当前的第四代长期演进（4G LTE）服务的传输速率仅为75Mbps;5G网络需要能够灵活地支持各种不同的设备，除了支持手机和平板电脑外，5G网络将还需要支持可佩戴式设备，例如健身跟踪器和智能手表、智能家庭设备如鸟巢式室内恒温器等;5G网络不仅要支持更多的数据，而且要支持更多的使用率，改善端到端性能将是5G时代面对的一个重大的课题;5G网络将会带来智能手机和移动设备电池寿命的大幅提升[6]。
因此，急需将这些面临的变革与信息论与编码的发展紧密联系起来。
⑶ 将涉及5G时代的编码方法引入课堂教学
2016年10月14日，由美国主推的LDPC战胜由中国支持的Polar码和欧洲主推的Turbo 2.0，被3GPP RAN1确定为5G标准New Radio （NR）长码编码方案，这标志着3G、4G下使用的Turbo码结束了其长达十几年的统治地位，其辉煌时代也由此落幕。
LDPC码即低密度奇偶校验码（Low Density Parity Check Code），是由Robert G. Gallager博士于1963年提出的一类具有稀疏校验矩阵的线性分组码，限于当时技术条件的局限性，缺乏可行的译码算法，在此后的35年间，LDPC码基本上被人们忽略，其间由Tanner在1981年推广了LDPC码，并给出了称为Tanner图的该码的图表示。1993年Berrou等人发现了Turbo码，在此基础之上，1995年前后MacKay和Neal等人对LDPC码重新进行了研究，提出了可行的译码算法，从而进一步发现LDPC码不仅有逼近香农极限的良好性能，而且译码复杂度较低， 结构灵活。目前该码已广泛应用于深空通信、光纤通信、卫星数字视频和音频广播等领域，其被确定为5G标准长码编码方案，将在国内外掀起对其研究的热潮[7]。
2016年11月17凌晨，在3GPP RAN1 87次会议关于5G短码方案讨论中，华为推荐的极化码 （Polar Code）方案成为5G控制信道eMBB场景编码的最终解决方案，美国高通公司主导的LDPC码作为数据信道的编码方案。
Polar Code是由土耳其毕尔肯大学Erdal Arikan教授于2008年首次提出，其论文从理论上第一次严格证明了在二进制输入对称离散无记忆信道下，极化码可以“达到”香农极限，且有着低的编码和译码复杂度。从某种意义上说，极化码“理论上”解决了近60年来信息论和编码领域一直想要解决的问题，更凑巧的是，LDPC码的发明人Robert Gallager就是Erdal Arikan的MIT导师，而Gallager的导师恰恰就是现代信息论的奠基人香农。
因此，有必要将LDPC、Polar Code等5G时代下的编码方法引入到信息论与编码的课堂教学中，以期望学生增强对该课程的重视程度及兴趣。
⑷ 基于国家网络安全的需要，加大密码学的重视力度
香农在1949年发表的“保密通信的信息理论”论文中首先用信息论的观点对信息保密问题作了全面的论述，直到1976年迪弗和海尔曼发表论文“密码学的新方向”，提出公钥密码体制之后，保密通信问题才得到公开、广泛的研究。特别是现在，网络信息安全已成为一个关系到信息产业发展的重大问题，已经上升到国家战略高度，成立了以习近平总书记为主任的中央网络安全和信息化委员会，可见国家对网络信息安全的重视程度。
因此，有必要在5G时代背景下，进一步加大对密码学的学习及重视力度。
⑸ 将凸优化、博弈论、变分不等式、分布式算法等内容引入课堂教学
功率约束下的高斯白噪声干扰信道下的速率最大化问题、QoS约束下的网络能量最小化问题、认知无线电（CR）的速率最小化问题、多跳通讯网中的拥塞问题等问题的求解，均对凸优化、博弈论、变分不等式等内容有所涉及[8]。基于“注水算法”的并联高斯加性信道的功率分配问题，近年来也演化发展到采用涉及多智能体系统一致性的分布式算法求解[9]。因此，有必要采用讲座形式，结合5G时代背景下的最新研究前沿，将凸优化、博弈论、变分不等式、分布式算法等内容引入课堂教学中来。
2 信息论与编码实践教学体会
2.1 信息论与编码与其他课程之间的联系
⑴ 信息论与编码与概率论与数理统计
首先，信源熵是在概率的基础上定义起来的。基于符号[xi]的概率[p（xi）]定义其自信息量[I（xi）=-logp（xi）]，将信源所有符号的自信息量在其概率空间上作统计平均，可得信源熵[H（X）=-ip（xi）logp（xi）];在信源输出前，信息熵[H（X）]表示信源的平均不确定性;在信源输出后，信息熵[H（X）]表示每个符号提供的平均信息量。
进而，结合联合概率，得到联合熵[HX，Y=-ijp（xi，yj）logp（xi，yj）]，其是聯合符号集合[（X，Y）]的每个元素对[（xi，yj）]的自信息量的概率加权统计平均值，它表示[X]和[Y]同时发生的不确定度。结合条件概率，得到条件熵[HXY=-ijp（xi，yj）logp（xi yj）]，其是在联合符号集合[（X，Y）]上的条件自信息量的联合概率加权统计平均值。
此外，信源的有无记忆特性与条件概率密切相关，若信源在不同时刻发出的符号之间是相互依赖的，则此信源是有记忆的;当记忆长度为[m+1]时，也就是信源所发出的符号只与前[m]个符号有关，而与更前面的符号无关，称这种有记忆信源为[m]阶马尔可夫信源，可以用马尔可夫链来描述。
类似离散信源，借助概率密度函数，可以定义连续信源的熵[Hc（X）=-Rp（x）logp（x）dx]，若信源输出的幅度被限定在[[a，b]]区域内，则当输出信号的概率密度是均匀分布时，信源具有最大熵。若一个连续信源输出符号的平均功率被限定为[σ2]，则当其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 [12log2πeσ2]。
⑵ 信息论与编码与线性代数
在信息论与编码领域，多项式与编码紧密的结合在了一起，把码字[C=cn-1 cn-2 … c1 c0]与一个不大于[n-1]次的码多项式[C（x）]对应起来，循环码将生成矩阵简化为生成多项式，在构造循环码过程中可用多项式运算来表达循环移位[1]。
矩阵在信息编码中也有着深入的应用，解密、加密都可以类似地转化为逆矩阵的运算。n个BSC信道的串联，涉及到信道转移概率矩阵[P]的幂运算，借助正交变换通过分析[Pn]的收敛性，可以度量串联信道容量的大小。
在编码领域，线性分组码C是由k个线性无关的基底张成的k维n重子空间，所有码字都可以写成k个基底的线性组合，即[c=mk-1gk-1+… m1g1+m0g0]，其中生成矩阵[G=gk-1 … g1 g0T]，也就是说当信息元确定后，线性分组码的码字由生成矩阵[G]确定。码空间C的基底与其对偶空间D的基底正交，空间C和空间D也正交，它们互为零空间[1]。在信道编码方面，可以通过解伴随式线性方程组[He=s]来得到差错图案[e]。马尔可夫信源的稳态分布[w]，可以通过求解线性方程组[wP=w]来获得。
信息论与编码课程内容除了与概率论与数理统计、线性代数等课程密切相关外，其还与高等数学有着紧密的联系，例如：一般离散无记忆信道容量的计算、并联高斯加性信道的功率分配“注水算法”等内容均涉及拉格朗日乘子法。
2.2 教学心得
⑴ 第一章 绪论，部分学生消息、信息、信号的定义不易区分;通信系统的构成及各模块的作用难以理解;信息论的研究内容比较含糊。
⑵ 第二章 信源与信息熵，要灵活的掌握信源的分类;信息熵是一个不容易理解的概念，各种熵的公式尤其是条件熵的计算公式记忆容易出错;互信息是一个非常重要的概念，其与信源熵、疑义度、信宿熵、噪声熵之间的关系式需要牢记。
⑶ 第三章 信道与信道容量，可以将信道看成水管，将信道容量看成管道水容量来理解;对于固定的信道，可以选择最佳信源分布，使得互信息达到最大值，即为信道容量;类似地，可以理解成，对于确定的水管，可以选择功率最合适的水泵将管道充满;随着串联信道数目的增加（趋于无穷），互信息会趋近于零;类似地，可以理解成，当水泵功率确定的情况下，随着水管管道长度的增加（趋于无穷），在水管的尽頭就没有水了;著名的功率分配算法，简称为“注水算法”，再一次印证了信息与水之间的关系。
⑷ 第四章 信息率失真函数，将信源编码器视为假想信道，在信源分布确定的条件下，选择编码方式（即从允许试验信道中，选取合适的假想信道转移概率矩阵），让其在满足保真度准则的前提下，使得假信道对应的互信息达到最小值。
⑸ 整个课程围绕香农三大定理和香农公式来进行展开，第一定理为无失真信源编码定理，要求[KLLlogm≥HL（X）+ε]，即编码长度大于平均符号熵，目的是使信源与信道匹配;第二定理为信道编码定理，要求[R
3 结论
本文从面向5G网络的角度，对与之紧密联系的信息论与编码课程重新定位，信息论与编码课程教学进行了探讨。提出要将信息论与编码的课程教学同5G网络时代的变革与发展紧密结合起来，不断更新教学内容，特别地要将涉及5G通信网络的LDPC码、Polar Code等编码方法引入到课程教学中来，进一步加大密码学的教学力度，以适应国家网络信息安全的需要。需瞄准学术研究国际前沿，在课程教学中对解决通信优化问题相关的凸优化、博弈论、变分不等式、分布式并行算法等内容进行介绍。
参考文献（References）：
[1] 王胡成，徐晖，程志密，5G网络技术研究现状和发展趋势[J].电信科学，2015.9：156-162
[2] 傅祖芸，赵建中.信息论与编码[M].北京，电子工业出版社， 2014：1-356
[3] 邓家先，信息论与编码课程教学改革探讨[J].电气电子教学学报，2007.29（2）：111-114
[4] 张秋闻，王晓，信息论与编码教学模式的研究与探索[J].计算机教育，2015.12：58-73
[5] 曹雪虹，张宗橙，信息论与编码[M].北京，清华大学出版社，2016：1-240.
[6] 陈山枝，发展5G的分析与建议[J].电信科学，2016.7：1-10
[7] 赵国锋，陈婧，韩远兵，5G 移动通信网络关键技术综述，重庆邮电大学学报（ 自然科学版），2015.27（4）：441-452
[8] Gesualdo Scutari，Daniel P.Palomar， Francisco Facchinei，and Jong-Shi Pang.Convex Optimization，Game Theory， and Variational Inequality Theory[J]. IEEE Signal Processing Mag，2010：35-49
[9] Raffaele Carli，Mariagrazia Dotoli，A Distributed Control Algorithm for Waterfilling of Networked Control Systems via Consensus[J].IEEE Control Systems Letters，2017.1（2）：334-339
