刘翠玲， 徐莹莹， 孙晓荣， 李天瑞

(北京工商大学 计算机与信息工程学院/食品安全大数据技术北京市重点实验室， 北京 100048)

如今随着经济全球化不断发展，人们生活水平日益提高，大众对食品的要求不仅限于温饱，更注重其安全和品质问题。世界各国都在积极探索和采取措施，希望能够加强食品安全质量的监测预控工作[1]。近年来，国外许多国家已经建立了较为完善的食品安全质量监测预控体制，除了对食品实行从农田到餐桌的链条式监控模式，强调有关部门的信息交流之外，每种食品每次的抽检信息都会详细地被记录在信息管理系统中，并且对公众开放，大众可从系统中了解到最新的食品检测信息，构建了一个较安全、健康的食品监测预控环境[2]。

与国外相比，经过近些年的快速发展，我国也已经建立了负责质量监管的农业、卫生、商业、食品、进口以及出口等相关行业的主管部门，以及与其相关的食品检验和测试实验室。在食品安全检测中，常用的检测方法包括传统国标法以及色谱法、质谱法、光谱法和生物检测法等，由于数据量小，得出的结论往往缺乏代表性，得不到广泛应用。 而各个研究机构之间又都是相互独立的，缺乏信息的交流，未能做到资源、数据的共享，使得研究效率低，进展周期长[3]。

对海量数据进行存储和分析是目前大数据最主要的价值所在。本文结合大数据优化、廉价、迅速等优点，提出设计开发一个多源大数据食品安全监测预控系统，用于接收、处理、分析来自光谱、理化、图像信息等多源、多手段、多途径的食品检测数据，构建原始检测数据库，建立数据转换统一标准模块、分析模块、算法库等，实现数据汇集、数据信息快速分析、实时监控、信息共享等功能，为政府部门提供预警，也将为解决我国复杂的食品监测问题发挥积极作用。

1 大数据及其特点

“互联网+”时代的到来使大数据逐渐成为数据分析的前沿技术。大数据( Big Data)也被称为海量数据，指的是大量、高增长和多样化的信息资产，它们需要新的处理模型，以获得更大的决策、洞察力和流程优化。大数据的应用不是简单的数据计算，其真正的核心在于挖掘数据中蕴藏的信息价值。就食品行业而言，通过数据挖掘和信息采集技术，大数据的应用为研究者提供了足够的样本含量和数据， 以及基于大数据的模型去预测未来的市场，避免了通过传统数据分析方法引起的时间滞后和低精度及样本量不足等问题。大数据可以通过数据收集和统计分析，充分了解市场信息，把握市场动态趋势，了解产品定位在市场竞争中的位置。大数据有4个特点：1)大量。数据量巨大，从TB级可以跳到PB级。各种食品安全检验机构、食品公司和许多相关的食品安全研究实验室在长期的食品检验工作中积累了大量的数据，并且仍在不断增加和更新。2)高速。处理速度非常快。随着数据处理技术的发展，食品安全领域的研究要想提高信息的处理速度，不可避免地要运用大数据技术。3)多样化。多种数据类型，如各种样本数据、测试数据、光谱分析的测试报告、现场实验和其他的照片。4)价值。价值密度低，只要对数据进行合理使用和准确分析，它会带来高的价值回报[3]。目前的光谱分析检测数据主要以测试报告或统计报表等简单形式报出，无法带来高价值回报。 因此，如何利用大数据技术来分析这些海量的数据，为各食品安全研究机构提供有效的信息参考，将会是一个很值得研究的课题[4-8]。 除此之外，食品安全监测预控领域也整合、分析与挖掘这些积累的大量数据，向包括政府监管机构、企业和消费者在内的公众提供全面准确的食品安全信息，确保信息的及时性、完整性和权威性，促进食品安全监控行业更快发展。

2 多源大数据食品安全监测预控系统的设计思想

传统的食品安全监测预控未能形成统一的模式，主要是因为参与食品安全监测的企业、研究机构、政府相关部门之间都是相互独立的，在检测过程中，不同研究机构不免会先后对相同食品样品进行光谱分析或理化试验，相当于对同一性质的样品进行了重复实验，可能会增加在硬件和软件方面的投入成本，降低仪器设备的使用率，造成资源浪费，在一定程度上延长研究周期[4]。以光谱分析为例，常见的食品检测流程如图1。

图1 常见的食品检测流程Fig.1 Flow chart of common food testing

从图1可以得出，整个光谱分析过程中，在不同研究机构的实验室之间，采集来的样品及其具体数据参数可进行共享、整合；不同光谱扫描仪器得出的光谱数据也可共享；除此之外，光谱分析中所使用的相关软件、算法及最后所建立的模型也可以尝试在不同样品的光谱分析中实现算法移植和共享[3]。但是，从目前食品安全监测模式来看，这些可以共享的资源并没有得到充分利用，仍然独立存在。基于此想法，建立一个基于大数据的食品安全监测预控系统，实现食品安全监测过程中硬件及软件资源上的共享是非常必要的。

大数据食品安全监控系统设计的核心思想是：基于Java EE的开发平台，搭建一个食品安全监测预控的管理平台，改变人工手动记录的管理模式，在本地可以实时进行数据的上传、保存，并利用已存储的光谱模型进行预处理，使数据管理变得更加自动化、信息化和网络化。除此之外，利用大数据技术，此管理平台更是一个公共、开放、共享的监控系统，使得系统管理员、老师、学生、访客等各级用户通过网页即可注册，并在管理员的许可下登录网站使用系统，上传样品的光谱数据，利用系统已有的光谱模型进行分析处理，从而得到用户想要的结果。此系统的开发不仅能克服时间、地域的限制，还可以降低科研管理人员的劳动强度，在很大程度上能实现资源共享，节约研究成本，有效地提高科研效率。

3 多源大数据食品安全监测预控系统的架构

以大数据技术为核心，在Eclipse的开发环境下，基于Java EE的开发平台，采用My SQL的后台关系数据库，构建一个公共、开放、共享的基于大数据的食品安全监测预控系统[9-12]，如图2。

图2 食品安全监测预控系统架构Fig.2 Food safety monitoring and control system architecture

本次设计的大数据食品安全监测预控系统利用的是应用广泛的Java技术、数据库技术和实验室管理思想，将包括实验室的业务流程、操作人员、仪器设备、实验标准、基础算法、样品管理在内的一些影响数据分析的因素有机地结合起来，力求组成一个全面的、科学的、规范化的管理体系。系统共包括实验信息管理、多源实验管理、原始数据管理和基础信息管理在内的四大主要模块。

1) 实验信息管理模块：主要是查询、操作实验基本信息(实验名称、起始时间、实验状态、实验操作人等)和查看实验报告。

2) 多源实验管理模块：体现了平台的扩展性和通用性，不只食品安全监测领域，其他领域的数据也可以保存在平台上，进行基本的传输和运算处理。

3) 原始数据管理模块：主要是对实验数据进行导入保存，并从基础信息管理模块的算法管理中调取算法，对其进行初步预处理。

4) 基础信息管理模块：包含关于实验的多项基础信息，有样品基本信息及其所属分类、实验所用设备、实验相关行业标准、实验调用的算法等基础信息。

远程用户可以通过专属账号经外网连接登录进此系统，上传样品的光谱和理化数据，在系统中选择相应的功能模块输入其基本信息，即可调用系统中预存的算法，进行样品的远程分析，并可将分析结果保存至系统中或者下载到本地。用户也可以上传新的光谱模型，让其他的研究机构共享，进而扩大和丰富本系统的内容，真正实现数据资源共享。

食品安全监控系统主要功能如图3。

图3 食品安全监测预控系统功能Fig.3 Functional diagram of food safety monitoring and control system

从图3可以看出，系统的主要功能除了对实验相关信息进行保存，并对数据进行预处理外，系统的后续开发还留有仪器数据接口，用于连接采集光谱信息的硬件设备；留有手机客户端接口，方便对数据的实时观测和分析，使操作变得灵活；留有算法接口，使各种算法、模型能够及时上传到系统，方便调用和共享；而实时数据接口则方便光谱数据及其他理化信息能够实时上传到系统，减少人工操作的麻烦和错误率[9-13]。

4 多源大数据食品安全监测预控系统的设计

4.1 设计方案

从系统的设计思想和功能需求可以看出，开发设计多源大数据食品安全监控系统需要6个步骤[5]，如图4。

1) 对构建的系统进行需求分析，包括开发需求分析和用户功能需求分析。

2) 搭建系统所需服务器，采用2 GHz的四核处理器，数据存储器的容量为300 GB，最大可扩展至16 T，系统可运行于包括Windows 7、Windows 8和Linux等多个操作系统平台。

3) 以Matlab为开发工具，编写各种预处理及建模算法程序，以便导入系统进行调用。

4) 安装系统开发工具Eclipse，系统采用Java语言进行编写，Java 8进行编译，运行于APCHE TOMCAT 8，数据库采用MYSQL 5.7.10。

5) 系统初步搭建好以后，采集数据进行软件功能测试，根据用户需求，不断完善系统功能。

6) 用户通过网页登录，访问服务器主机和大数据食品安全监控系统。

图4 食品安全检测预控系统实现步骤Fig.4 Food safety testing pre-control system steps

4.2 关键技术分析

4.2.1数据库

数据库系统在服务器端使用MySQL，实现了食品安全监测数据处理的所有功能，包括使用SQL语言添加、删除和更新数据等。MySQL是当前市场上运行最快的数据库系统，是一个免费的开源数据库，体积小、速度快、总成本低，可以实现同时访问无限用户，并且可以存储超过5 000万条记录。MySQL的这些数据库功能适用于系统的设计和开发[12]。

4.2.2代码设计

系统基于Java EE的基本技术体系，表现层采用JSP页面、静态HTML、AJAX等多种表现形式，系统架构由Spring MVC和MyBatis组成，前端技术由Bootstrap和jQuery支持，开发工具采用Eclipse。系统采用Java EE的企业应用级框架，主要分为3个层次，即Controller(控制层)、Service(业务逻辑层)、db(数据库支持层)。Controller就是控制器，在里面编写主要的功能逻辑与数据交互代码，当用户在页面上发送请求时，Controller就会处理请求，寻找相应的Service 层，Service层用来编写前后台交互的代码，并且处理业务逻辑，通过Mapper与数据库进行交互。db对数据进行存储，数据库根据不同的请求对数据库信息进行添加、删除、修改、查看等操作，最后再将结果返回到Service里面。代码设计的逻辑功能如图5。

图5 代码设计的逻辑功能Fig.5 Code design logic function chart

4.2.3多源数据异构模型的转换

随着食品安全监测领域的快速发展，根据自身的需要和研究方向，参与食品安全监测研究的企业、机构、政府相关部门都逐步形成了适合自身的数据管理系统或模式。而这些由不同核心技术、不同管理习惯构建的数据管理模式都是相互隔离的，就像一个个“信息孤岛”各自有着不同的处理对象、不同的操作方法、不同的数据管理格式。由于这些不同格式的数据源之间的信息和组织不一样，使其构成了巨大而复杂的异构数据库环境。那么，本食品安全监控系统的设计就恰好解决了这些异构数据的集成问题，将这些孤立的数据都集成起来，给用户提供了一个统一的视图，使用户及研究人员能够从这些巨大的数据资源中获取对其有价值的信息。

实现数据集成，首先要实现数据库转换。转换方式是通过数据库产品本身提供的数据转换工具进行转换的， 即设计使用MySQL数据库的Mysqldump，Sybase的Defncopy/Bcp，Informix的InfoMover等。这些数据转换工具对于数据库管理系统本身是快速的，但是，使用这些数据转换工具存在以下缺点：1)通用性不好，由于它们不是独立的软件产品，在运行相应的数据转换工具之前必须运行该数据产品的前端程序，使用户受制于某种特定的数据库；2)这些工具不灵活，不能满足用户的各种需求。这些缺点也恰恰是系统下一步设计开发要改进的地方。

4.3 系统的实现

已实现系统的主界面见图6。

图6 食品安全监测预控系统主界面Fig.6 Main interface of food safety monitoring and control system

5 多源大数据食品安全监测预控系统软件功能测试

5.1 光谱数据来源

系统测试数据选择不同种类不同规格的食用油、面粉及农药，分别在拉曼红外光谱仪和VERTEX 70 型傅立叶变换红外光谱仪下进行实验[14-17]。

以农药残留实验为例：首先取不同梯度浓度的马拉硫磷20份，每份均为7 g，然后分别把每一份都放在VERTEX 70型傅里叶变换红外光谱仪下进行实验检测，最后得出20份不同的光谱数据。

5.2 功能测试方法及结果

系统的软件测试方法主要是将真实的实验数据一一录入系统，通过生成的光谱数据与传统光谱分析软件分析出的数据结果进行对比，并且通过查看实际添加、修改、删除、导入、导出数据及上传、下载附件等各种性能指标是否符合预期的功能需求，来判断系统在性能方面是否符合实际实验情况。

图7与图8则是上述得到的20份农残的光谱数据分别导入Opus软件中的光谱显示与导入食品安全监测预控系统的对比图。

图7 Opus分析结果Fig.7 Opus analysis results

图8 软件分析结果Fig.8 Results of software analysis

从对比结果看，系统的分析光谱显示与Opus采集的光谱相差无几，证明基于大数据的食品安全监测预控系统的测试效果整体达标，具有以下优势：1)易于光谱建模，实现样品理化指标和光谱数据模型的一体化保存。2)易于用户访问。除去局域网内的操作人员，拥有访问权限的用户也可以实现远程在线操作，访问海量的光谱数据、现有的光谱模型及算法等信息。3)易于资源共享。拥有访问权限的任何人、在任何地方、任何时候，都可以通过自己的专属账号和密码使用食品安全监测预控系统，在硬件基础设备和软件算法上实现资源共享。

6 结 论

本文提出的以光谱实验室管理的多源大数据为基础，以Java技术为核心的多源食品安全监测预控平台的架构方案，极大地提升了对数据的把控能力，减轻了实验数据管理的负担，操作的便携也使科研人员摆脱了繁重的工作，实现了数据管理的自动化、信息化和网络化，在后续进行的研究中，该方案也能够提供强有力的辅助支持。一方面，建立了完整高效的科研平台，可供所有相关的科研小组成员共享、交流数据和经验等；另一方面，也缩减了不必要的耗时，使课题研究的进展更加快速，将更多精力投入到课题的策划、成果推广当中去，切实提高科研效率。

平台后续将会实现实时监控、基于网络的数据快速传输功能、平台内用户数据全共享等功能，为此将进行手机数据接入端口、相关仪器数据导入端口及配套软硬件的开发工作。平台的搭建将为政府相关部门在食品安全领域制定政策时提供可靠的参考信息，将有利于维护政府相关职能部门的监管力度。此外，在社会公共领域，本平台也致力于保障公众对食品安全的知情权与选择权，为社会媒体提供可靠的信息来源，保障公民所关心的食品安全权益。

参考文献：

[1] 李磊,周昇昇. 中国食品安全信息交流平台的建立现状分析[J]. 食品工业,2011,32(12):78-82.

LI L,ZHOU S S.Status of the establishment for China food safety information exchange platform[J]. Food Industry,2011,32(12):78-82.

[2] 姚水琼. 欧美国家食品安全检验检测与监管的特点与启示[J]. 食品与机械,2011(1):67-70.

YAO S Q.Characteristics of food safety inspection and supervision in western countries and their implications for China[J].Food & Machinery,2011(1):67-70.

[3] 刘彤,谭红,张经华. 基于大数据的食品安全与营养云平台服务模式研究[J]. 食品安全质量检测学报,2015(1):366-371.

LIU T,TAN H,ZHANG J H.Research on the big data-based government decision and public information service model of food safety and nutrition industry[J].Journal of Food Safety & Quality,2015(1):366-371.

[4] 万江中, 陈骥. 一种温度可控的便携式食品安全检测仪的设计[J]. 传感器与微系统, 2011, 30(12):87-90.

WAN J Z,CHEN J.Design of a temperature controllable portable foodsafety detector[J].Transducer and Microsystem Technologies, 2011, 30(12):87-90.

[5] 黄华,祝诗平,刘碧贞. 近红外光谱云计算分析系统构架与实现[J]. 农业机械学报,2014(8):294-298.

HUANG H,ZHU S P,LIU B Z.Framework and implementation of near infrared spectroscopy cloud computing and analysis system[J].Transactions of the Chinese Society for Agricultural Machinery,2014(8):294-298.

[6] MARX V. The big challenges of big data[J]. Nature, 2013, 498(7453):255-60.

[7] STRAWN L K, BROWN E W, DAVID J R D, et al. Big data in food safety and quality[J]. Food Technology, 2015, 69(2):42.

[8] 程学旗,靳小龙,王元卓，等.大数据系统和分析技术综述[J]. 软件学报,2014(9):1889-1908.

CHENG X Q,JIN X L,WANG Y Z, et al. Survey on big data system and analytic technology[J].Journal of Software,2014(9):1889-1908.

[9] 柳飞,丁筑红.食品安全信息监控系统的研究与设计[J]. 食品工业, 2014(11):282-285.

LIU F,DING Z H.Research on the design of food safety monitoring system[J]. Food Industry, 2014(11):282-285.

[10] 陈婷,刘清珺,张旭，等.食品安全检测实验室信息管理系统的应用架构[J]. 食品科学,2016(3):258-265.

CHEN T,LIU Q J,ZHANG X, et al. Application architecture of food safety testing laboratory information management system[J].Food Science,2016(3):258-265.

[11] 刘梦楠.基于JAVA的食品营销管理系统[D].长春：吉林大学,2014.

[12] 李君.巧用Jsp和Java连接Mysql数据库[J].现代商贸工业,2015, 36(7):93-93.

LI J.Use Jsp and Java to connect Mysql database[J].Modern Business Trade Industry,2015, 36(7):93-93.

[13] 刘翠玲,李天瑞,位丽娜,等.直接标准化算法在食用油酸值和过氧化值上的近红外光谱模型转移的研究[J].光谱学与光谱分析,2017,37(10):3042-3050.

LIU C L,LI T R,WEI L N, et al. Research on application of direct standardization algorithm in near-infrared spectrum calibration transfer of acid value and peroxide value of edible oil[J].Spectroscopy and Spectral Analysis,2017,37(10):3042-3050.

[14] 傅霞萍,应义斌.基于NIR和Raman光谱的果蔬质量检测研究进展与展望[J]. 农业机械学报,2013(8):148-164.

FU X P,YING Y B. Application of NIR and raman spectroscopy for quality and safety inspection of fruits and vegetables: a review[J]. Transactions of the Chinese Society for Agricultural Machinery,2013(8):148-164.

[15] 吴静珠,刘倩,陈岩，等. 基于近红外与高光谱技术的小麦种子多指标检测方法[J]. 传感器与微系统,2016(7):42-44.

WU J Z,LIU Q,CHEN Y, et al. Multi-index detection method of wheat seed based on NIR and hyperspectrum technology[J].Transducer and Microsystem Technologies,2016(7):42-44.

[16] 刘翠玲,邢瑞芯,孙晓荣,等.菠菜表面农残的SERS无损检测方法研究[J].食品工业科技,2017,38(17):245-249.

LIU C L,XING R X,SUN X R, et al. Research on nondestructive detection of pesticide residue in spinach by SERS[J].Science and Technology of Food Industry,2017,38(17):245-249.

[17] LIU B, HAN G, ZHANG Z, et al. Shell thickness-dependent Raman enhancement for rapid identification and detection of pesticide residues at fruit peels[J]. Analytical Chemistry, 2012, 84(1):255-261.