蔬菜精准管理与安全监控大数据平台总体框架设计

2021-07-16曾志康韦健李敏郭元元莫小香覃泽林

安徽农业科学 2021年11期

曾志康韦健李敏郭元元莫小香覃泽林

摘要以搭建蔬菜精准管理与安全监控大数据平台为目标，详细分析了蔬菜产业生产环节、加工环节、流通环节和消费环节数据采集需求，提出平台架构由表现层、服务层和持久层组成，设计了基于智能化数据接口和第三方监管的蔬菜精准管理与安全监控的多终端大数据平台总体框架，为监控广西蔬菜产业全流程信息、促进大数据落地应用和推动蔬菜产业健康发展提供了技术支撑。

关键词精准管理;质量溯源;产业大数据;信息平台;框架设计

中图分类号 S-126文献标识码 A文章编号 0517-6611（2021）11-0224-06

doi：10.3969/j.issn.0517-6611.2021.11.058

开放科学（资源服务）标识码（OSID）：

Overall Framework Design of Vegetable Precise Management and Safety Monitoring Big Data Platform

ZENG Zhi-kang，WEI Jian，LI Minet al

（1.Agricultural Science and Technology Information Research Institute，Guangxi Academy of Agricultural Sciences，Nanning，Guangxi 530007;2.Vegetable Research Institute，Guangxi Academy of Agricultural Sciences，Nanning，Guangxi 530007）

Abstract With the goal of building a big data platform for vegetable precision management and safety monitoring， the data collection requirements of the production， processing， circulation and consumption of the vegetable industry are analyzed in detail， and the platform architecture is proposed to consist a presentation layer， a service layer and a persistence layer. A multi-terminal big data platform for precise management and safety monitoring of vegetables based on intelligent data interface and third-party supervision was designed according to the overall framework of the platform， which provided technical support for monitoring the whole process information of Guangxi vegetable industry， and for promoting the application of big data and promoting the healthy development of vegetable industry.

Key words Precise management;Quality traceability;Industrial big data;Information platform;Framework design

當前，信息技术发展突飞猛进，与各个行业领域深度融合并对行业产生了深远的影响。“大数据”是继物联网、云计算之后信息技术产业又一次重要的技术变革[1]，农业大数据也应运而生，并不断运用到农业全产业链中。大数据的“5V”特点[1]决定了需要通过搭建相应的系统平台来实现其分析应用价值，系统平台一般由基础设备层、数据采集层、数据处理层和应用层组成[2-5]，主要通过数据标准化、交叉验证等处理，供用户进行深度定制、可视化应用和个性化定制等操作[6]。现有的农业大数据平台建设注重的是“大”和“全”，而非“专”，“专”即从农业某一行业或单品种的角度来设计和应用大数据平台。农业不同产业领域、单品种间对大数据应用需求不同，某一行业的产前、产中和产后环节需求又不尽相同，这就决定了单品种大数据是农业大数据落地应用的关键[7]。

广西是我国重要的秋冬菜蔬菜基地和“南菜北运”基地，2018年广西蔬菜（含菜瓜）种植面积达到143.97 hm2，居全区农作物总播种面积之首，总产量（含菌类）3 432.16万t[6]。广西蔬菜生产主要由外向型蔬菜、城郊型蔬菜和其他分散栽培的蔬菜组成[8]，仅贺州市2018年销往粤港澳地区的蔬菜就达到125万t[9]。广西对蔬菜质量安全一直保持高度重视，但蔬菜质量安全问题仍令人担忧，主要表现在农药使用和管理存在缺陷、蔬菜质量检测力度不够、蔬菜产品质量监控不足、蔬菜标准化体系不完善等，影响到蔬菜质量安全水平的提升和人们的餐桌安全，迫切需要改变蔬菜生产机制，坚持源头控制，建立质量安全管理体系，加强监控管理。大数据是蔬菜产业克服自然风险、市场风险，实现供给侧结构性改革的重要支撑[10]。鉴于此，笔者以广西外向型蔬菜产业精准管理与安全监控需求为导向，从蔬菜生产、加工、流通和消费4大环节为切入点探讨蔬菜精准管理与安全监控大数据平台总体框架设计，为监控广西外向型蔬菜产业全流程信息、促进产业健康发展提供大数据应用解决方案。

1 平台数据采集需求分析

平台的数据来源与功能分布在蔬菜产业的各个环节，其中生产记录、操作数据、环境数据、交易记录等数据，是平台的基础核心数据。需要对生产、加工、流通和销售环节所产生的数据中关注度高、影响力强的重点数据进行统计与分析，最终形成对蔬菜产业具有指导意义的数据分析报告。

1.1 生产环节需求

平台在生产环节中的数据采集对象包括农资信息、种植信息、农事信息、管理信息和生产环境信息，涉及蔬菜种植过程中土地利用、农资使用、种植过程技术需求、劳动力需求与一些特殊工作的外包需求等情况，数据来源以自然数据、农资数据与生产记录为主，需要对采集到的数据进行对比、统计、分析。数据具体分为以下几类：

①土地数据。采集土地使用情况、土地租赁需求、租赁与出让价格、土壤监测数据等信息，对数据进行同时期对比分析。

②农资数据。采集农资产品信息、农资交易信息、农资企业信息，对数据进行热度与市场走势分析。

③生产数据。采集生产过程中产生的环境信息、生产操作记录、农资使用记录，对数据进行趋势分析。

④技术数据。采集新品种和优势品种需求、栽培技术需求、病虫害防治技术需求，对数据进行热度与趋势分析。

⑤劳动力数据。采集基地建设与生产过程中，长期与短期的用工需求以及富余劳动力的流动数据，对劳动力数据进行趋势分析与劳动力走向分析。

⑥外包數据。采集基建、生产、植保、加工、销售和其他外包需求信息，对外包需求进行热点分析。

1.2 加工环节需求

加工环节中，平台数据采集主要来源于加工过程中的环境数据、加工操作记录与服务需求供给信息。具体包括以下数据：

①厂房数据。采集厂房环境数据、厂房场地租赁需求信息、厂房基建维护需求信息，可对数据进行市场走势分析。

②生产设备设施数据。生产设备设施需求数据、供应商分析与评价数据、设备使用与维护数据。

③加工数据。采集加工环境数据、加工过程操作记录信息、加工品研制需求信息、加工品包装设计需求信息。

④货源数据。采集基地直供、蔬菜企业专供、合作社推荐的蔬菜信息。

⑤劳动力数据。采集加工企业与工厂的长期与临时用工需求信息。

⑥外包数据。采集合作加工需求、委托加工需求、定向服务需求信息。

1.3 流通环节需求

流通环节中，以仓库储存、物流、交易数据为主，面向仓储企业、物流企业、配送企业、零售餐饮企业进行数据采集。包括以下几类数据：

①仓储数据。采集仓库与冷库环境数据、仓储租赁需求信息，可对仓储环境数据进行平均分析。

②物流数据。采集物流公司数据、运输车数据、运输过程记录数据，可对运输时间与运输质量进行平均分析。

③批发数据。采集批发需求数据、批发价格数据，可对数据进行趋势分析。

1.4 消费环节需求

消费环节中，平台以采集销售信息、提供蔬菜溯源信息、蔬菜产品信息服务和数据分析为主。

销售信息采集方面，平台对蔬菜产品的销售情况、销售渠道以及反馈意见等信息进行采集，分析产品的销售趋势与品质趋势。

蔬菜溯源信息方面，提供接入平台的蔬菜产品溯源查询服务与集成其他溯源系统数据的查询服务。

产品信息服务方面，平台提供蔬菜品种、种植技术、市场行情、科普知识、饮食健康等相关信息，为电商平台各类销售渠道提供蔬菜产品详细信息。

数据分析方面，对消费者关注的问题与产品做热度分析，并结合分析结论发布消费者关注度高的热点问题相关信息与优质蔬菜产品信息。

2 平台总体框架设计

2.1 平台设计原则

根据平台需求分析，平台设计遵循如下原则：

（1）先进性原则。平台设计实现蔬菜的大数据精准管理与安全监控，最重要就是实现数据的存储与交互。平台实现与农业高新技术结合，包括实现蔬菜生产基地数据、蔬菜加工流通数据、蔬菜产品质量安全监测数据与气象传感器等物联网信息化设备的数据交互。平台设计充分满足需求分析内容，并具备良好的前瞻性，满足相关设备更新换代产生的系统更新需求，使平台在长期使用过程不需进行频繁扩展。

（2）安全性原则。作为蔬菜产品精准管理与安全监控平台，对用户以及相关接入设备需要严格控制，平台应采用全面的安全保护措施，完全具备对重要数据、平台关键模块进行备份，遵循单一的职责原则，即一个类只负责一项职责，使平台拥有较强的容错力，确保平台长期运行的稳定性。

（3）开放性原则。平台接入的外部设备较多，涉及农业气象、物联网信息化、卫星导航等相关领域设备，平台设计时，需要充分考虑平台延展性，在相关接入设备进行更新换代时，方便系统进行延展开发、二次升级。平台对相关接入设备应具有较好的适应性，不依赖于某一特定型号设备，具备标准数据接口，能与其他系统进行数据交互。

（4）实用性原则。平台设计需考虑系统使用的用户性质，在确保功能满足需求的情况下，还应具有连接稳定、数据完整、操作简单、界面友好的特性;使得用户业务操作上能够高效完成任务，摆脱传统的业务处理方式。

（5）可扩展性原则。平台设计应有较好的外部接口，满足与各类外部设备数据的接入接出需求，如GIS电子地图、视频监控、RFID射频技术、BDS卫星定位等外部设备系统。

2.2 平台架构设计

平台将蔬菜产前、产中、产后加工到运输全过程进行监测管理，将生产过程涉及的所有信息进行存储管理，为蔬菜的质量安全溯源信息查询提供数据支撑。平台接入的外部系统较多，数据传输量庞大、数据类型较为复杂，运用动态控件加载、分布存储，并以此基于SOA架构开发分布式平台。平台架构如图5所示。

表现层整体应用功能将通过门户方式进行展现，只需要处理和页面的交互，业务逻辑都是调用服务层的服务来实现。架构设计外网和内网门户，平台用户可通过登录相关系统开展应用和浏览查询信息资源。支持Web浏览器、移动终端（手机、智能终端等）等多通道的访问，蔬菜基地生产用户可以对蔬菜种植过程相关信息进行记录管理，消费者可以使用质量安全溯源系统对蔬菜农产品进行质量安全溯源查询。

服务层包含了业务逻辑，负责对外提供服务。通过集群实现高可用机制，服务层的服务被表现层通过分布式架构调用。通常包括事务脚本、表模块、活动记录、领域模型等业务逻辑来实现数据交互。

持久层即数据库存储操作的数据层。平台集成了较多系统应用，各数据源部署在不同的服务器上，且各数据源存在异构性。分散在不同服务器中的数据源造成复杂、多样的访问难题，导致服务响应缓慢。平台通过数据库中间件法执行中间件分库分表算法，将数据操作发送到相应数据库节点，由对应的数据库服务器负责解析和获取数据，并通过中间件返回结果。

2.3 平台总体设计

根据平台需求分析，结合广西蔬菜产业发展的特点，针对性的设计开发广西蔬菜精准管理监控大数据与质量安全溯源平台。平台主要分为两大板块，一是蔬菜生产流通全程安全溯源信息化系统，其中包括：①农业投入品网络监管系统，实现农业投入品各类信息的可追溯化;②蔬菜生产全程智能管理系统，利用蔬菜生产的实时数据，结合专家知识库，实现生产全程智能化管理;③蔬菜加工流通智能管理系统，使用数据智能采集技术，如RFID、BDS等技术对蔬菜加工流通全程进行跟踪管理;④多终端的溯源查询系统，提供各类智能终端的溯源信息查询。二是蔬菜产品精准管理与安全监控大数据平台。集成蔬菜产销全程各类管理子系统，全方位监控蔬菜全流程安全信息，并提供数据的开放监管。平台总体框架设计如图6所示。

2.4 平台功能实现

根据平台设计功能，平台主要实现蔬菜生产管理与全产业链溯源服务。生产管理包含产前的农业投入品、生长过程中的农事和管理、产后的加工流通等信息的采集与分析;溯源服务主要利用二维码作为产品的身份ID进行蔬菜质量安全信息溯源，通过大数据平台进行全过程信息的综合展示。平台展示界面如图7所示。

（1）数据采集。

平台的数据采集根据蔬菜不同生产环节的操作需求，采用自动化、半自动化与手工采集等多种手段相结合的方式进行。针对可以使用传感器与自动化设备采集数据的环节，使用自动化与半自动化的采集方式来替代手工采集带来的大量繁杂操作，但在不可进行自动化操作的环节，仍然保留手工采集数据的功能，以填补自动化与半自动采集方式的功能盲区。具体各类数据采集方式如下：

市场需求类信息：包括农资需求信息、产品供求信息、土地需求信息、厂房需求信息、用工需求信息等需求或新闻类信息，此类信息可以通过运维人员进行统一采集后进行发布或导入，也可以由平台用户通过平台信息发布功能，在平台中发布企业或个人的需求信息。

作业数据：生产过程信息的采集利用传感器、RFID标签或二维码标签等方式，通过全自动或半自动的数据采集手段，对生产过程中的各个环节的信息数据进行采集。在蔬菜生产全过程中，可以通过使用平台配套的APP，对带有标记的RFID标签或二维码标签进行扫描，通过手工操作的方式记录相应的作业记录。在加工、包装、流通等环节中，可以通过使用生产设备上的传感器与识别器对生产加工过程产生的操作记录进行自动化记录。

环境数据：蔬菜生产的各个环节均可使用各类环境感知传感器進行实时监测。例如在种植环节，可针对土壤和气象数据进行持续监测;在加工、仓储、流通环节，可对厂房、仓库、物流等蔬菜的存储环境进行实时监测。

（2）数据处理。

数据转换：平台的数据转换通常出现在硬件与平台的通信环境中，在平台的使用过程中常常会涉及传感器、生产设备与平台之间进行数据的相互通信。在传感器进行数据采集以及设备控制器执行指令时，由于其硬件组成原理，通常采用模拟信号进行数据的回传与指令的下达，因此会对信号与数据进行大量繁杂的A/D与D/A转换处理。

数据清洗：在传感器回传的数据中，会存在一部分无效或异常数据，当这部分数据进入数据分析过程时，会导致分析结果的偏差。因此，在进行数据分析前，会将数据转入数据清洗模块中，将无效和异常的数据进行剔除。分析时所用数据均是二次处理的数据，无效或异常数据将作为原始数据进行存储。由于无效和异常的数据也有可能反映出生产过程中的问题，用户可以根据个人需要，选择是否进行数据清洗。

数据存储：数据的存储方式采用分库存储，不同的业务功能使用各自独立的数据库进行数据的存储，通过数据的管理单元进行数据的关联与读取。同时，由于传感器回传数据量级较大，为保证数据的完整性与快速读写，平台针对回传数据采用数据库表分区、数据分库等手段，基于数据库二维数据存储逻辑，根据水平或垂直拆分的原则，对数据进行多元化的拆分存储。

（3）数据分析。

热点分析：平台针对企业和各类需求方关注的土地租赁、厂房租赁、劳动力供求、农资供求、电商销售、物流记录、病虫害信息、农残检测信息等数据，以及在数据挖掘过程中出现的热门数据进行热点分析，根据发生热点的地域、产业、受众群体、产品等分类进行热点与冷点分析，为需求方提供对应的分析结果。

趋势分析：对市场需求信息、销售流通记录、生产环节记录、环境监测记录等具有时间连续性或空间连续性的数据，平台可进行数据的趋势分析，通过相关的关键指标，反映出市场需求、生产能力、气候气象对蔬菜市场的影响。

对比分析：平台以同期对比分析法为基础，采用同比结构组成、同比增长率、同比增长速度等指标对蔬菜市场的供需、生产、物流、销售等信息数据进行分析，可综合体现蔬菜市场的整体发展水平。

（4）數据可视化。

针对具有区域性的数据，结合电子地图进行区域化的数据展示。可对热点分析的数据使用电子地图的热力图展示;对销售记录采用电子地图的散点图展示;对流通记录采用的电子地图的流向图或航线图展示;对具有详细统计的数据内容采用条形图与电子地图进行综合展示。

针对具有趋势性与对比性的数据，平台采用折线图、曲线图进行展示。例如，每月蔬菜仓管数据统计出的出库与入库数据可采用不同颜色的折线代表年份，以数量为Y轴，月份为X轴，使用折线图对蔬菜仓管数据进行展示。

针对具有分类与构成性的数据，采用折线面积图、曲线面积图、饼图、扇形图、旭日图进行展示。例如，每个月生产的蔬菜品种可以按年份筛选，用多个不同颜色的折线面积表示蔬菜品种分类，以数量为Y轴，月份为X轴，使用折线面积图进行蔬菜品种每月组成结构数据的展示。

3 结论

蔬菜质量安全是全社会关注的民生重点事件[11]，建设蔬菜产业大数据平台[12]，利用大数据技术实现蔬菜产业全要素关联分析[13]，是促进蔬菜产业健康发展的重要手段。该研究针对外向型蔬菜的精准管理与安全监控需求，从“蔬菜生产投入品-播种-育苗-种植-采收-加工-包装-贮藏-运输-销售”等环节出发，利用物联网技术进行全程安全信息记录跟踪，通过构建基于智能化数据接口和第三方监管的蔬菜产品精准管理与安全监控的多终端大数据平台，实现蔬菜产品生产全周期智能化管理和溯源。平台实现多终端多用户的接入，可由第三方进行监管。通过农业投入品监管、生产全程智能管理、加工流通智能管理，实现蔬菜产品全流程质量安全信息的透明监管，并预留数据自动上传接口，自动采集上传属性不可修改的农资数据、环境数据、检测数据。避开人为干扰属性，避免蔬菜生产企业为了满足市场销售需求对数据进行改动甚至造假，造成产品质量安全问题。随着农业物联网技术的全面应用和人工智能技术的发展，蔬菜大数据服务将更加深入[12]。

参考文献

[1] 孙忠富，杜克明，郑飞翔，等.大数据在智慧农业中研究与应用展望[J].中国农业科技导报，2013，15（6）：63-71.

[2] 秦小立，叶露，李玉萍，等.热带农业大数据应用平台设计[J].热带农业科学，2018，38（1）：130-136.

[3] 李瑾，顾戈琦.基于“互联网+”的农业大数据平台构建[J].湖北农业科学，2017，56（10）：1947-1952.

[4] 陶忠良，管孝锋，刘彦妮.基于精细农业的大数据应用平台构建研究[J].科教导刊，2018（16）：145-147.

[5] 周湘超，陈义明，朱幸辉.1种农业物联网大数据平台架构[J].安徽农业科学，2019，47（2）：241-245.

[6] 广西壮族自治区统计局.广西统计年鉴2019[M].北京：中国统计出版社，2019.

[7] 杨绍功.王叁寿：单品种大数据是农业大数据的关键[EB/OL].（2018-11-20）[2020-10-20].https：//www.thepaper.cn/newsDetail_forward_2654111.

[8] 康德贤，蒋雅琴，甘桂云，等.广西城郊型蔬菜产业发展现状与对策[J].长江蔬菜，2018（9）：4-7.

[9] 卢佳.125万吨蔬菜销往粤港澳地区[N/OL].广西日报，2018-12-26[2020-10-20].http：//news.gxnews.com.cn/staticpages/20181226/newgx5c22b822-17919853.shtml.

[10] 王晓东，于峰.基于大数据的蔬菜产业数据化研究[J].蔬菜，2018（5）：27-31.

[11] 於文刚.基于RFID的蔬菜质量溯源系统的设计与实现[J].智能计算机与应用，2016，6（4）：48-50.