李 毅，米子川

（山西财经大学 统计学院，山西 太原030006）

一、引 言

随着社交媒体、手机APP、安全监视器、天文望远镜、卫星、工业生产线和各种传感器等基于互联网的硬件和应用软件的普及，来自不同过程的统计数据不断产生，其物理特征包含文字、图像、音频、纯数据等等，这些数据数量庞大、结构复杂且维度多样［1－4］。面向大数据的统计分析，存在三个方面的困难和挑战：首先，由于大数据的背景分布缺乏先验信息，大多数分析过程是从单纯的数据出发，这种分析过程被称为“冷启动”。通常大数据的产生和收集在事先并没有特别的目的，或者收集者的目的并不明确，因此无法获得显著的先验分布信息。与此相反，在传统的统计数据采集方法中，实验设计则是一个目的明确的数据搜集过程，即在一定的控制变量和区组条件下完成对数据的重复测度和记录。实验设计所得的资料是通过事先科学设计的，Fisher提出的原则是“均衡分散，整齐可比”，说明实验设计记录的数据是一种结构完整、信息充分的“小数据”；其次，就资料收集目的而言，大数据收集的目的也是不同的，其收集过程和目的并非统计分析的目的，但对于价值的提取二者是相同的，并在大数据的分析过程中，希望从数据中发现一些有趣的特征或模式，藉此提供有价值的信息以供决策参考；第三，大数据的规模显著地大于传统的统计数据，但是所蕴涵的信息量则相对稀少，一般被称为数据的“稀疏性”。……