APP下载

基于迁移学习的超表面设计

2023-09-24骆文浩王宜颖莫锦军

现代计算机 2023年13期
关键词:残差梯度深度

骆文浩,王宜颖,莫锦军

(桂林电子科技大学信息与通信学院,桂林 541004)

0 引言

超表面由周期性的亚波长结构阵列组成,可以灵活地调控电磁波[1]。超表面对电磁波的调制不依赖于空间累积,而依赖于强共振或空间取向引起的突然相变。因此,超表面可用于控制反射或透射波的相位、振幅和偏振[2-4]。近年来,许多具有独特功能的超表面被用于控制电磁波。由于超表面在操纵电磁波方面具有很大的自由度,因此在工程中具有很大的应用价值,并因此引起了极大关注。文献[5]提出了“数字超材料”的概念,其单元图案被离散化并编码。文献[6]提出了不同的超表面单元编码序列,以实现不同的电磁响应。具有不同相位响应的元原子在设计具有聚焦、偏振转换等功能的超表面方面具有很大的应用价值[7]。希望能够快速预测不同编码序列的电磁特性,以便于快速设计超表面。然而,传统的超表面设计通常需要专业人员参与,并且非常耗时。需要确定基本结构、模拟扫描参数、寻找最优结构等步骤。这些步骤都非常复杂且耗时,设计周期也很长。对此,一种更有效且易于使用的设计方法是使用人工神经网络作为逆设计方法[8-9]。但是深度学习对数据和计算能力有很大要求,并且训练和部署模型也需要大量时间。

为了解决上述问题,本文使用ResNet34 作为预训练模型的迁移学习网络,快速完成超表面设计,并建立起超表面结构和相位之间关系。迁移学习是一种利用在其他任务上训练得到知识,在新任务上更快地收敛,并减少训练所需数据和计算能力的机器学习方法[10-13]。本文将该方法应用于最典型功能超表面——相位梯度超表面实现波束偏转能力,验证其可靠性,并展示该方法将其他领域知识转移到超表面设计中可能对学术研究人员具有启发意义。

1 超表面单元设计与收集处理

1.1 超表面单元设计

考虑到设计图案能更好地被计算机所理解,我们选择了数字超表面的编码模式,图案由10×10 正方型的离散格子组成,图1 表示了所设计的超表面的离散化编码。超表面的表面金属用编码序列所表示,其中“1”表示金属,“0”表示没有金属。中间层为间距介电层,底层为金属底板。金属的厚度为0.015 mm。顶层金属图案打印在商用介电衬底FR-4上,厚度h=1.0 mm,介电常数εr=4.4,损耗tanδ=0.025。

图1 超表面单元结构及图案编码

顶层的图案有不同的编码序列,采用均匀分布离散随机格作为编码序列。二维平面上的超表面单元尺寸均为L1 = 6.0 mm。为了减小相邻超表面单元之间的相互耦合,将超表面单元上的图案外尺寸设为L2= 5.0 mm。我们将内平面均匀划分为10×10 的格,每个格为边长u=0.5 mm 的正方形。为了设计超表面的多样性,采用10×10编码序列作为矩阵。

超表面单元的图案编码序列等于一个矩阵,我们可以计算出这个矩阵对应的相位,如图1所示。将矩阵和相对应的相位加入到训练数据集中。10×10 矩阵有210×10种可能的模式,约1.26 × 1030,在实践中相当巨大。

我们使用MatlabCST 联合仿真来准备20000个训练数据集。首先,利用Matlab 生成均匀分布离散随机格作为编码序列矩阵。其次,利用CST Microwave Studio 计算该编码序列的反射相位。然后,存储编码序列矩阵和相应相位,并加入到训练数据集中。反射相位可以在[1°,360°]范围内归一化。因此,这个问题可以简化为一个分类问题,数字超表面上的拓扑结构可以看作一个图像,超表面的相位预测也可以看作是一个360 类的分类问题。在这样的考虑下,我们将图像分类转化为相位预测。基于此,我们对ResNet 进行预训练,并使用更少的数据传输模型。超表面的特征提取可以类似于图像的特征提取。将不同类别的图像识别转化为[1°,360°]相位预测。这样,可以把图像分类的经验转化为相位预测。

1.2 双线性插值

双线性插值是图像预处理方法之一,常常应用于图像增强以提高深度学习算法的特征学习能力[14]。双线性插值法也称二次线性插值法,实质是在图像的相邻两个像素点行列方向各进行一次线性插值,通过利用已知像素产生未知像素的方法来引入不同的图像边缘效果,提高图像分辨率。

设图片像素位置在Q11=(x1,y1)、Q12=(x1,y2)、Q21=(x2,y1)以及Q22=(x2,y2)上,若想得到插值后的P=(x,y)上的位置。首先,在x轴方向上进行两次线性插值;然后,以R1和R2为已知数据,在y轴上进行一次线性插值,如图2所示。

图2 双线性插值过程

超表面单元的图案分辨率为10×10,对于预训练模型可能无法从中学习到足够多的有用信息,所以使用双线性插值进行数据增强。

2 模型介绍

ResNet 是一种深度神经网络架构,主要用于图像分类。它由He 等[15]于2015 年提出,主要用于解决深度神经网络中的梯度消失问题。ResNet 通过使用残差连接(residual connections)来解决这个问题,这使得较深层的训练变得容易。在ResNet 中,残差连接直接将较浅层的输出与较深层的输入相加,从而使得较深层的训练变得容易。

残差网络的核心思想是使用残差连接(residual connection)来解决深度神经网络训练时的梯度消失问题。如图3 所示,在残差网络中,每一层都是一个残差模块,它包含一些卷积层和激活函数层。残差模块的输入是上一层的输出,输出是残差模块中的输出加上上一层的输出。这样,如果残差模块中的输出是上一层输出的线性变换,那么残差模块的输出就是上一层的输出。这意味着,即使在多层深度网络中,梯度仍然能够流动,从而解决了梯度消失问题。

图3 残差块结构

ResNet34 架构由34 个卷积层组成,如图4所示,并在大型图像分类基准ImageNet 数据集上进行训练。ResNet34 被广泛应用于图像分类、目标检测和语义分割等计算机视觉任务。它能够有效地解决梯度消失问题和在图像识别任务中实现高准确率。

图4 ResNet34的整体架构

ResNet34 的表征能力和学习能力较高目模型参数较少,是图像分类领域研究的热点方同,所以我们采用ResNet34 作为迁移学习的预训练模型。在进行迁移学习时,通常会使用一个预训练的ResNet34模型作为初始化。这个模型可以在大型数据集(ImageNet)上训练好,然后解冻一部分参数,重新训练用于新的问题。ImageNet数据集包含1000 类约120 万张图片,使用在如此大的数据集上预训练好的网络模型,可以有效迁移到各种不同的图像分类任务中,如图5 所示。使用这种方法,可以大大减少训练新模型所需的时间和计算资源。此外,使用预训练的模型可以获得更好的性能,因为这个模型已经在大型数据集上进行了训练,从先前任务中学到了知识,并且可以为新的问题提供有用的特征,仅需要进行微小的改动即可应用到相关的任务中,对于一些基本的规则,模型无需重新学习,大大降低了时间成本。本研究使用在ImageNet数据集上训练好的ResNet34 残差网络进行超表面图像的特征提取。

图5 迁移学习与深度学习识别准确率

首先使用预训练模型作为特征提取器,冻结所有层并且更改最后一层,只训练最后一层,然后使用这些特征来训练一个新的分类器。因为这是一个分类问题,我们使用softmax 函数作为激活函数。然后计算输入数据的损失,并对网络参数进行调整。softmax 函数也是将每个类别的网络输出转换为概率值的分类器。而引入指数函数使得分类的概率更大,从而使得损失函数对网络输出更敏感,更有利于分类。

3 结果分析与实际设计

3.1 实验结果分析

我们将迁移学习网络与传统深度学习网络进行比较,深度学习网络模型也是ResNet34,经过200 个Epoch 训练后,比较结果如图5 所示。与传统深度学习相比,迁移学习有效地减少了训练数据,使得在样本较少的情况下表现更好。

为了探究深度学习在测试数据集上表现不佳的原因,图6 给出了深度学习模型训练过程中的损失曲线和准确率曲线。如图6(b)所示,因为深度学习模型对训练数据存在过拟合问题,在验证集上的损失上升,因此深度学习的性能较差。传统的深度学习模型由于样本数量太少,需要调整的参数较多,收敛速度较慢。因为在ImageNet 中有超过1400 万的样本,所以深度学习模型在ImageNet 数据集上具有很好的性能。因此,如果我们想要得到更好的结果,需要更大的数据量。

图6 深度学习训练准确率和损失值

在相同的条件下,迁移学习模型的性能远优于传统的深度学习模型。相比之下,迁移学习需要的数据更少,性能更好,因为迁移学习是基于大数据的ImageNet 训练的。迁移学习方法是一种实现超表面单元相位预测有效的方法,可以有效减少训练数据量。

如图7 所示,训练集的准确率达到99%左右。验证集的最高准确度达到90%左右。交叉熵计算的损失值收敛到0.03,相比于传统深度学习准确率提升了一倍,同时降低了对样本数量的依赖。

图7 迁移学习训练准确率和损失值

我们只使用了2 万个样本进行训练,但训练结果反映了该模型具有很高的预测精度和泛化能力。我们在测试集中随机选择100 个样本来验证模型的准确率,结果如图8 所示,模型有着较好的准确性。三角形表示预测超表面单元的相位,圆圈表示全波电磁计算得到超表面单元的相位。

图8 随机100个样本的预测和实际结果

此外,为了进一步证明迁移学习模型在训练超表面单元样本方面的有效性,我们额外测试了一些有代表性的网络,包括AlexNet 网络、VGG网络和MobileNet网络。

从表1 可以看出,由于提取的特征不匹配导致欠拟合的情况,AlexNet网络和VGG 网络在测试精度上远不及迁移学习模型。通过对比这两个简单模型,我们发现ImageNet 预训练模型的特征提取层能够有效地提取超表面单元图案的特征,并能更好地拟合数据集。我们也使用了一个轻量级网络MobileNet 模型作为训练的对比。在ImageNet 的源数据集上,MobileNet 的性能稍低于ResNet。因此,在超表面单元分类方面MobileNet 也略逊于ResNet。对比表明迁移学习框架可以有效地处理超表面单元分类问题。

表1 不同神经网络的性能

3.2 实际设计

为了进一步验证训练好的迁移学习模型,在针对复杂引用设计时,我们运用模型辅助设计了一个相位梯度超表面。利用CST Microwave Studio对超表面进行了全波电磁模拟和验证。

相位梯度超表面是一种非均匀周期结构。如图9 所示,当一束电磁波入射到一个不同介质的分界面(上方是空气,下方是介质)上时,波矢量为ki的电磁波以θi入射便会有一束反射角为θr的反射波(波矢量为kr)。当在分界面上放置相位梯度超表面时,相位梯度超表面的不同位置处的反射相位皆不相同,从而引入一个相位梯度ζ,假设该相位梯度超表面只在x方向上存在较大的相位梯度。相位梯度会产生一个附加波矢,使得入射波的波矢与反射波的波矢不再相同,从而改变反射波的反射方向,如图9所示,入射角为θi的入射波会产生一个反射角为θar的异常反射波,异常反射波的波矢为kar,且karx=karsinθar由广义Snell 定律:

图9 相位梯度超表面异常反射示意图

其中:Δφ为相位梯度超表面相邻单元之间的相位差,L为相邻单元的间距,在空气中电磁波的波矢,都为已知。

设计一个异常反射角为45°的相位梯度超表面,如图10所示。

图10 超表面设计目标

根据广义Snell 定律公式(1),电磁波垂直入射超表面θi= 0°,超表面的单元长度为L=6 mm,反射电磁波角度为θr= 45°,计算得Δφ=76°。所以超表面单元目标相位为0°,76°,152°,228°,304°,20°,96°,172°。随机生成一组数字超表面单元,利用训练好的分类网络寻找所需目标相位对应数字超表面单元结构,结果如图11所示。

图11 相位梯度超表面结构

在设计频率12 GHz 处,根据图12所示。

图12 相位梯度超表面方向图

所设计的超表面通过表面反射系数相位补偿对反射波前的调整,可在预定设计的45°观察角度上产生一个明显的散射波瓣。结果如图12所示,仿真在45°有明显的散射波瓣。因此,借助ResNet34 网络模型和超表面设计中反射系数相位梯度的调节灵活性,对于其他的入射与反射情形,轻易地实现所需的反射系数相位梯度,进而将主散射波瓣重定向于预定的观察角度上,由此达到雷达散射截面增强的设计目标。

4 结语

综上,本文提出了一种基于ResNet34 网络模型迁移学习的超表面逆设计方法。我们将ResNet34 模型应用于超表面设计,并成功地将图像识别的模型应用转移到相位预测,准确率约为90%,相比于传统深度学习模型准确率提升,同时降低了对样本数量的依赖。为了验证迁移学习模型,我们利用训练模型设计了梯度超表面,并通过全波仿真验证了该设计。在设计超表面方面提供了一种新的方法学习。

猜你喜欢

残差梯度深度
基于双向GRU与残差拟合的车辆跟驰建模
一个改进的WYL型三项共轭梯度法
深度理解一元一次方程
基于残差学习的自适应无人机目标跟踪算法
一种自适应Dai-Liao共轭梯度法
基于递归残差网络的图像超分辨率重建
深度观察
深度观察
一类扭积形式的梯度近Ricci孤立子
深度观察