周 蕾

(江苏联合职业技术学院泰州机电分院 江苏泰州 225300)



对分布式数据挖掘解决方案的思考

周 蕾

(江苏联合职业技术学院泰州机电分院 江苏泰州 225300)

传统数据挖掘解决方案计算能力有限，对数据挖掘算法迭代复杂性，难以发现数据中存在的关系和规则，不能根据现有数据预测未来发展趋势。分布式数据挖掘工具的出现则是解决非关系型数据库或者非结构化模式的数据库系统最佳选择。通过对传统数据挖掘解决方案和分布式数据挖掘解决方案的综述和功能分析，对数据挖掘解决方案进行了思考：注重数据挖掘平台，避免误入大数据的陷阱，同时分析大数据出现的新问题，希望借此引起人们的重视。

数据挖掘； 大数据； 平台； 系统工具

对大量的数据进行分析处理的庞大工作量，其计算效率和效果精准程度等都会影响到用户的工作效率和实际工作判断。当数据量规模不断增大，维度升高时，性能就会急剧下降。而现实生活中的数据大部分又都属于规模比较大、维度比较高的数据集。加之目前的许多算法处于理论上，经常处于某种假设之下，比如聚类能很好地被分离，没有突出的孤立点等，但是，现实数据通常很复杂，噪声很大。因此，提高处理现实数据的能力，正确选择数据解决方案成为当务之急。同时，对于结果也需要在客观分析的基础上进行综合分析才能达到最终目的。分布式数据挖掘解决方案是伴随着分布式计算技术、云计算技术、Hadoop生态圈、内存数据库、非结构化数据库等新技术的涌现和对大数据挖掘的需求而产生的。……