王胜杰 李焕云

摘要：传统的数据压缩方法在处理数据时负荷较大，响应频率较低，因此需要研究基于灰色GM模型进行数据压缩处理。首先对压缩数据接口模块进行设计，并运用GM模型进行数据压缩，最后对处理结果进行建模分析，由此完成数据压缩处理。为验证设计方法的有效性，进行对比实验，证明设计方法相较于传统方法具有更高的响应频率。

关键词：数据压缩;GM模型;响应频率

中图分类号：TB114      文献标识码：A

文章编号：1009-3044（2021）36-0151-02

开放科学（资源服务）标识码（OSID）：

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据冗余和存储空间的一种技术方法。数据压缩包括有损压缩和无损压缩[1]。在计算机科学和信息论中，数据压缩或者源编码是按照特定的编码机制用比未经编码少的数据位元（或者其他信息相关的单位）表示信息的过程。为提高数据压缩响应频率，将GM模型应用于数据压缩处理中，并进行实验分析，验证设计方法的有效性。

1 基于灰色GM模型的数据处理

1.1 压缩数据接口模块设计

运用灰色GM模型对数据进行处理，实现对数据的压缩以及异常检测。对数据压缩得到的结果进行异常分析，避免异常数据干扰采集数据系统运行，从而产生空值的情况。并根据数据异常的情况进行特征分类，调整异常数据的格式，对异常数据的值域区间进行计算。由于异常数据对矩阵压缩的结果影响很大，因此，需要对压缩数据接口模块进行构建，利用异常数据的值域区间重新调整数据异常值。首先针对接口模块在数理统计中的残差进行计算，提供有关接口模块的重要信息，对数据信息所产生的残差进行判断，检测处理数据接口模块，重新规划数据检测处理规范[2]。对应数据监测的要求进行接口模块的观测，对比实际观测值与原数据观测结果样本，采用平方预测误差来实现数据的监测，进行数据的异常检测[3]。

为了在灰色GM模型中实现对实时数据的高效处理，整合数据计算优势模型，利用灰色GM模型对数据矩阵进行处理。利用灰色GM模型与借口模块进行连接，并应用机器学习算法处理数据。在出现复杂的数据整合情况时，在基于灰色GM模型的数据处理模式下，利用机器学习算法进行数据处理模块的选择。该接口利用了灰色GM模型的显著优势，通过并行处理分析训练模块，完成对数据的离线整合。并以离线分析作为应用基础，建立离线分析整合的应用层。按需向借口模块提供实时分析算法，保证借口模块检测的时效性。利用监测数据在接口模块中的应用效果，随时进行接口模块连接。对数据分析的时延进行计算，在保证数据分析准确的同时提升分析效率。处理离线分析数据实时检测窗口，输入分析接口模块系统实时数据。降低异常数据矩阵维度，进行异常数据的检测处理。利用训练模型处理小批量数据，并根据分析结果实现数据矩阵整合，得到压缩数据接口模块分析架构，如图1所示。

通过分析图中接口模块，针对压缩数据接口模块的实时流数据进行统计，利用感知系统处理分析模块，通过分析数据处理模型整合压缩数据。对分析模型的系统匹配度进行检验，并匹配最新的分析模型计算数据处理效果。根据最新数据集规划离线学习模型，并将数据處理特征进行数据存储，并基于此数据集进行数据压缩。压缩数据接口模块处理得到的分析结果可以直接输出到数据存储层中。

1.2 基于灰色GM模型的数据压缩

通过数据挖掘研究数据压缩，对数据样本进行处理，观测分析数据序列，总结数据规律并将其应用于观测数据中，通过对数据序列进行维度处理，完成压缩采集数据。在数据规律图像处理中，通过变换处理场景采集数据变量，通过数据存储负荷的增加进行数据分析。因此针对图像以及多维度数据进行压缩，通过主成分分析，对数据的规模进行降维，降低后续算法处理的复杂度，针对不同的需求，主成分分析也应用了大量的改进算法[4]。对整体数据趋势的维度进行整合，并从数据集合中选择代表样本，在新的数据空间中转移数据集合，并通过维度性质确定数据空间维度数据的下降趋势。

分析样本数据集的性质，根据样本集数据进行PCA算法存储。将数据矩阵应用于多维度数据集，对比一般情况分析矩阵排列规律。利用算法将数据矩阵转化为多维度的数据集，记录数据集中的矩阵集合，并针对每条记录结果进行特征筛选，将数据向量对应记录结果，将每一个特征看作矩阵每一列集中的代表数据，对应数据中的特征筛选代表数据集中的行列。据此，行程矩阵记录的集合，公式如下：

[X=x11…x1k???xn1…xnk=X1，X2，X3，…Xk]        （1）

调整矩阵数据的投影，利用向量A和B的内积，计算向量投影的具体长度。通过内积确定向量的具体位置，对内积上的向量坐标进行计算，转换数据坐标，并将该坐标向矩阵数列中扩展，对数据向量的集合进行矩阵处理，将矩阵与基矩阵相对应。并做乘积处理，得到基矩阵与数据矩阵的乘积结果，以此达到转换数据矩阵维度的目的，也使得数据矩阵维度降低。在保留相关性较弱维度的前提下，对数据矩阵进行转换[5]。通过非相关矩阵维度特性，进行数据维度与基矩阵维度的对比，对高于基矩阵维度的数据矩阵，不能进行降维处理。对数据矩阵的形式进行处理，将基矩阵设定为：[a1，a2，a3，…]，重新组合元数据矩阵，转化数据矩阵的排列类型，并根据线性组合调整数据矩阵序列。在保证数据方差不受转化干扰的同时，利用基数据矩阵，对当前特征数的均值h进行设定。将特征数列的均值带入数据矩阵中，利用变量m计算矩阵数据，规避均值对矩阵计算结果的干扰。再对二维数据进行降维，转换向量此原则显然是不适用的，此时方差最大原则是适用的。对矩阵数据的区间进行拓展，计算数据矩阵方差的应用区间，利用矩阵数据的相关性调转数据矩阵向量，同时测量矩阵存储信息的数据冗余度。在矩阵数据存储信息过多时，通过转化数据结果降低数据冗余度，以此保留矩阵数据中的信息丰富度。尽可能选择不相关冗余矩阵，对数据向量进行调整，保证不同数据向量之间互不干扰。采用协方差计算数据矩阵变量的大小，分解方差矩阵中的特征值，针对原数据矩阵中的特征性质，从P矩阵维度上进行数据降维。按照从大到小的顺序对向量单位进行分析，通过前几个矩阵向量进行数据选取，利用矩阵特点呈现出的非相关性，对数据降低维度所需要的数据进行采集。通过对矩阵中的p值求解，得到采集数据的压缩降维维度，完成对采集数据的压缩。

1.3 数据压缩结果建模分析

考虑到建模分析，对分析模型X进行压缩整理。假设数据均值为[μ]，则模型标准差为a。当新数据到达时，依据新的数据需要对压缩数据进行分析。通过监测压缩数据处理结果，得到压缩数据集合[Y]：

[Y=y1，y2，…yk]                        （2）

结合[X]、[Y]，基于灰色GM构件灰微分方程：

[Yk+aZk=bXk]                         （3）

其中

[k=1，2，...，n]，[Zk=0.5Yk+0.5Yk+1]    （4）

由此得出GM模型方程为：

[dYdt+aY=μX]                                     （5）

由此得出数据处理结果，通过数据汇聚节点对数据进行接收和上传，完成数据压缩以及数据处理通道的建立，至此完成对基于灰色GM模型的数据处理方法设计。

2 实验分析

应用对比试验，比较基于灰色GM模型的数据压缩方法与传统方法1、传统方法2的数据处理响应次数，通过实验分析验证更优的试验方法。

2.1 实验准备

为了从协调器中读取采集的数据，完成对串口的读取。利用模块串口扩展服务器传输通道，通过CH340模块进行服务器协调，根据串口通信转换USB，保证模块串口传输速率的同时进行串口信息传递。通过服务器的Linux内核驱动CH340模块，在USB通信接口中植入协调器，分析模块串口数据响应频率，利用协调器的特性对数据进行处理，筛选数据处理结果，选择测试区间，并针对测试区间进行响应频率统计。利用硬件串口進行模块的串口连接，对数据处理响应次数进行计算，通过测量3组实验的节点，统计数据处理响应结果，以2s作为响应频率统计区间单位，实现数据处理响应的频率的对比。

2.2 对比数据处理响应次数

测量传统方法1、传统方法2和基于灰色GM模型的数据处理方法处理数据的响应次数，如图2。

图中p1为基于灰色GM模型的数据处理方法处理数据的响应次数曲线，p2为传统方法1处理数据的响应次数曲线，p3为传统方法2处理数据的响应次数曲线。分析图中信息可知，传统方法1处理数据响应次数最高为32次，数据处理响应次数最低为8次。传统方法2处理数据响应次数最高为29次，数据处理响应次数最低为8次。基于灰色GM模型的数据处理方法处理数据的响应次数最高为35次，数据处理响应次数最低为10次。因此，基于灰色GM模型的数据处理方法更佳。

3 结束语

基于灰色GM模型的数据压缩方法，可以实现数据的精准处理，能够合理规避压缩数据产生的数据处理误差。未来应当对数据的压缩以及异常检测进行研究，在实现了主成分更新的基础上，尽量避免对方差矩阵进行重复计算，通过降低资源能耗进行方法计算。在此基础上可以进一步对方法实现改进，使得数据处理过程更加简洁。

参考文献：

[1] 刘永利，刘云鹏.实时数据处理系统自主闭环测试验证技术研究[J].软件工程，2021，24（3）：2-7.

[2] 潘璇，徐思涵，蔡祥睿，等.基于深度学习的数据库自然语言接口综述[J].计算机研究与发展，2021，58（9）：1925-1950.

[3] 王英.基于OECD个人数据分类的“通知——同意”原则的有效性困境与出路[J].现代情报，2021，41（3）：168-177.

[4] 解明阳，陈新军.基于不同阶数灰色系统模型的北太平洋柔鱼资源丰度预测[J].上海海洋大学学报，2021，30（4）：755-762.

[5] 刘智禄，王慧丽.基于GM模型和BP神经网络的西安市房价分析与预测[J].西安石油大学学报（社会科学版），2019，28（5）：9-14.

【通联编辑：张薇】