数据筛选技术在并行IO中的应用探析

2019-07-20沈琳

数字通信世界 2019年6期

沈琳

（云南机电职业技术学院，昆明 650000）

1 引言

数据处理速度作为网络筛选技术的重要指标，反映了互联网数据筛选技术的发展水平。为了能够提供更佳性能带宽的I/O，通常会采取在网络硬件体系中添加虚拟磁盘的考虑方案。但是在添加虚拟磁盘的操作过程之中，有两个至关重要的因素需要考虑：一个是I/O子系统的实现方式，二是关于体量较大的文件储存问题。为了能够保障I/O中文件的浏览和访问的速率，一般并列文件体系都是借助了文件分片的方法，具体指的是将体量较大的数据文件分成若干个分片文件。综观所有高性能的I/0案例，基本上满足高带宽的解决措施都是采取循环分片的措施，通过将体量巨大的数据文件进行分割，并且分割后的文件安排在工作网点的相关节点之上，保证了文件的浏览和访问，提高了数据的运算和处理速度。工作站网络中的结点是平等的关系，循环分片十分的方便，利用CollectiveI/O就是为了提高磁盘的存取效率，这也是充分利用了工作站的网络特点，本文就对数据筛选技术在并行I/O中的应用进行分析。

2 数据筛选技术在并行IO中的应用分析

随着科技的不断发展，并行处理技术也在日益成熟，基于并行计算机系统的并行数据库系统能够解决数据系统的I/O瓶颈，近些年来，国内外掀起了系统研究的热潮，国内外的研究水平也在不断的提高，具有高性能、高扩充性的并行数据库系统还需要做更多的工作，为以后的工作打下坚实基础。

2.1 数据筛选

I/O技术将程序所产生的大的小的I/O请求合并成少量大的I/O请求，这样就能够提高磁盘读写的速度，这也是该技术中最关键的部分，通过信息筛选工具，将时间跨度相对较小的浏览命令，计算机内部系统只执行唯一的磁盘处理，将体量较为庞大的文件夹，开始于字节位置最低的部分，在字节处理达到接近闭环的阶段，文件数据被导向到计算机内部的缓冲区域之中，然后继续对该数据块进行进一步的处理和筛选，与此同时通过减少操作指令的执行频次来提高数据处理的整体速度。数据筛选技术写操作的过程与一般的方式不同，可以采用先读再修改的方法，然后将要写入的数据进行覆盖，这时的操作并不是直接写回，而是需要考虑到文件共享的问题，在写操作的过程中当前进程将原来的数据写入，从而导致数据的丢失，因此要对所有的数据进行加锁。另一方面，因为存在数据矩阵读取的状况，例如在一个磁盘储存了一个数据矩阵，那么在矩阵中的数据读取过程之中，由于类似[3，1][3，4][3，6][3，9]这些矩阵数据并非是连续的有序排列，因此无法根据指令进行相关的复合处理，I/O技术也不能适用，于是只能借助四个I/O整合调用，但调取的数据体量较小，执行指令加上其间的间隔空隙可以形成一个数据模块，通过将操作者所需文件数据移交给执行程序，应用程序工作过程之中又会多处读取一些数据，但总体来看数据存取的模式处理下，执行请求的间隔很小，浏览巨大数据体量的时间超过了数据处理的运行成本，这就是数据筛选的运用思想。在数据筛选的过程之中，宏观下可分为两个阶段，一是首先将间隔不连续的执行命令进行整合，二是来筛选最终选定的数据。

2.2 CION并行I/O系统

在多处理机的环境下，根据I/O请求来计算结点，最早采用CollectiveI/O的并行文件系统都是采用的Two-PhaseI/O，CION的体系结构如图1所示，图中粗线就是系统中的物理实体，其中虚线部分代表着运算体系中的实体部分，逻辑实体又可以进一步划分为A，B，C三个部分，A是应用程序的表征，B是由内部节点所组的CollectiveI/O的子系统，C是磁盘阵列。B部分作为整个系统的核心机制，起着连接应用和磁盘的过渡作用。I/O代理可以分为应用代理和服务代理两大种类，其中应用代理指的是为所属应用程序负责的交互进程，而服务代理指的是对计算机内部磁盘管理的进程，也负责对小型指令进行合并，分析以及过程控制，数据筛选主要是由服务代理所完成的，能够产生少量的连续请求，在读出磁盘数据之后，然后找出其中最关键的数据，从而发送给相应结点的代理。

2.3 性能评测

数据筛选技术工具的性能评测主要是对数据筛选的功效评测，通常采用对比实验的方法来进行比较。在实验中，借助数据向量的读取比对，以byte类型为例，如果在磁盘上为连续存储表征，数据显示为（1，7432，3）则表示从读取的数据文件第一个字节，每隔两个个读取一个，一直持续读取到文件的7432，同时测试8K和1M之间的情况，从测试数据中可以看出，数据筛选技术对于数据处理的性能要求很高，哪怕测试后数据性能的数据值差距不大，性能上的差异却是失之毫厘，差之千里。例如Passion采用的就是Two-phaseI/O的方式，文件的逻辑分片管理与文件的物理存储不同，都是利用了数据筛选的优势，这样造成的网络负载比较大，这里面应用了文件在磁盘的分布信息，能够优化磁盘的控制。