陈小宁，郭 进，罗文佳，慕雨欣，刘 琼

（西南财经大学天府学院 四川 绵阳 621000）

1 引言

大数据在各个行业不断应用，健康数据因涉及到个人及社会发展而具有重要价值。特别是在老龄化和流行传染病肆虐的背景下，健康大数据不仅给社会提供了及时的数据，还展现了防控趋势。健康大数据管理平台的建立日趋重要[1]。

2 人体健康参数分析管理平台的分析与设计

本文研究工作是设计实现面向线上用户的人体健康参数数据管理平台[2]，前期数据收集通过用户填写的数据以及网络获取的健康数据，借助分布式平台实现数据存储、查询、统计及可视化功能，为用户建立人体健康参数管理平台，用户可以了解疾病知识、健康咨询以及健康情况[3]。总体功能包含以下模块：数据清洗、数据存储、数据查询与统计、web前端数据可视化分析。

2.1 数据清洗模块实现

（1）导入数据——数据导入利用Python的Pandas数据包实现，Panda提供了高效地操作大型数据集所需的工具。调用pandas库中的read_csv函数，读取本机的csv文件，对数据进行初步的分析与清洗。（2）缺失值处理——运用.isnull（）.any（）列级别的判断并且进行缺失值处理。

2.2 数据存储模块实现

（1）启动Hadoop——启动成功后输入jps命令查看节点启动情况。（2）上传数据文件，在HDFS中为hadoop创建用户目录，把本地文件平台的’/home/hadoop/data.csv’上传到HDFS的当前用户的input目录下。（3）查询数据——使用cat命令查看在导入数据过程中是否有数据缺失。

2.3 数据查询与统计模块实现

（1）启动Spark——输入：’usr/local/spark/bin/spark-shell’启动Spark，然后导入相应包。（2）读取文件——使用textFile（）函数传递一个完整路径的文件名，把data.csv文件加载到RDD中。……