雷嘉兴 王 伟*

（西安电子工程研究所，陕西 西安 710100）

傅里叶变换[1]是一种将时域信号变换变换为频域信号的方法，二维傅里叶变换是其在二维图像信号上的推广应用，可以将二维图像信号变换到频域进行分析。目前对傅里叶变换及二维傅里叶变换的原理研究已经很透彻了，信号分析领域当前主要的研究热点是傅里叶及二维傅里叶变换的应用研究。机器学习[3]是自1980 发展起来的计算机科学研究领域，目前最主流的机器学习研究分支是神经网络的研究。主要的神经网络结构有深度神经网络(DNN)[4]、卷积神经网络(CNN)、循环神经网络(RNN)、长短期记忆网络(LSTM)等。其中深度神经网络(DNN)、卷积神经网络(CNN)主要用于图像分类与识别、图像分割等用途；循环神经网络(RNN)、长短期记忆网络(LSTM)则主要用于处理带时序的一维或者二维信号。将傅里叶变换应用于神经网络领域是一个较新的研究方向和热点。例如文献[5]研究了对Fourier 基函数局部最优问题的优化问题[5]，文献[6]提出一种将一维水声信号转化为二维傅里叶时频信号进行特征提取的思路[6]。本文以DNN 网络为研究目标，研究了通过二维傅里叶变换对输入图片做预处理后，对DNN 网络的识别性能有何影响。并且本文提出了一种将原始图像与二维傅里叶图像加权联合的图像预处理算法，最终在公开数据集Fashion_mnist 上进行了对照验证。

1 DNN 网络结构

深度神经网络(DNN)也叫多层感知机，主要由输入层、若干个隐藏层、输出层构成。隐藏层中有若干个神经元，决定了该神经网络的拟合能力。

一个经典DNN 网络结构如图1 所示：

图1 经典DNN 网络结构

本实验中使用的DNN 网络结构为：含有一个输出层，一个隐藏层和一个输出层。其中输入层输入随训练集图像像素值而改变，例如一张5x5 图像，其输入单元就为25，隐藏层神经元根据不同的图像尺寸使用相同的神经元密度，即25.51%。输出层根据Fashion_mnist 数据集的固有标签数量，设置为10 个输出，分别对应如表1 所示。

表1 输出和图片类型的对应关系

2 二维傅里叶加权联合图像预处理算法

二维离散傅里叶变换是一维信号傅里叶变换的拓展，通过二维离散傅里叶变、换可以将图像从空间域变换到频域进行分析。

将一副M×N 的图像以M×N 的矩阵表示，其中第x 行y 列的图像像素灰度值记为f（x，y），则该图像的二维傅里叶变换为：

由于灰度值只能以实数的形式表示，对这个值取模：

将取模的值乘以加权系数，与原图像求并集：

预处理算法效果如图2 所示。

图2 二维傅里叶加权联合图像预处理算法效果图

3 对比实验过程

3.1 实验环境

本实验实验环境为：

CPU：Intel(R) Core(TM) i5-10200H

GPU：GTX 1050

CUDNN:8.1

CUDA:11.2

Tensorflow:2.4.1

Python: 3.8

3.2 实验数据集来源

实验数据集为德国公司Zalando 提供的公开数据集Fshion-mnist，它是一个28×28 像素缩略图的合集，共有60000 张训练集图像和10000 张测试集图像。

Fshion-mnist 包括十大类的服饰、鞋类等商品，并用数字0 到9 对每一张图像作了区分，对应关系如表1 所示。

Fashion-mnist 数据集图像示例如图3、图4。

图3 运动鞋

图4 T 恤

3.3 实验过程

首先，搭建好DNN 网络结构。使用Fashion-mnist 原始训练集与测试集对DNN 网络进行训练，训练epoch=50，batch_size=500。记录前十次重复训练完成后，在验证集上的准确率。

随后，将Fshion-mnist 的所有图像全部应用二维傅里叶加权联合图像预处理算法后，生成新的训练集与测试集（记为Fashion-mnist2），并且不改变相应的标签，使其仍为一一对应。将算法处理后的训练集，重新输入原DNN 网络中，进行十次训练。epoch=50，batch_size=500。记录前十次重复训练完成后，在现测试集上的准确率。

两次实验结果对比如表2 所示。

表2 对照实验结果

分 别 绘 制 出 val_acc 在 Fashion-mnist 和Fashion-mnist2 上随epoch 变化的平均值曲线如图5、图6 所示。

图5 Fashion-mnist（十次平均）

图6 Fashion-mnist2（十次平均）

4 结论

通过对比表2 中使用二维傅里叶加权联合图像预处理算法前后fashion-mnist 数据集在DNN 网络上准确率的表现可以发现，二维傅里叶加权联合图像预处理算法不会影响DNN 网络的分类准确率，甚至略有提升。

通过对比图5、图6 使用二维傅里叶加权联合图像预处理算法前后fashion-mnist 数据集在DNN 网络上收敛情况的结果可以发现：使用二维傅里叶加权联合图像预处理算法前，Fashion-mnist 数据集经50 个epoch 的训练，在训练集上的准确率才能达到97.5%。而使用二维傅里叶加权联合图像预处理算法后，只需34 个epoch 的训练，在训练集上的准确率就可达到97.5%，当经过50 个epoch 的训练后，在训练集上的准确率明显超过97.5%。

综上所述，可以得出结论：本文提出的二维傅里叶加权联合图像预处理算法对DNN 网络识别准确率无负面影响，并可以加快DNN 网络的收敛速度。