一种适应大数据处理要求的深层学习模型
2021-01-15徐承俊朱国宾
计算机应用与软件 2021年1期
关键词:模型
徐承俊 朱国宾
(武汉大学遥感信息工程学院 湖北 武汉 430079)
0 引 言
大数据在带来丰富信息和宝贵资源的同时,也给处理数据、分析数据等工作带来了巨大的压力和严峻的挑战。如何高效开发和利用大数据,挖掘其背后隐藏的有价值的信息,利用大数据更好地把握和预测未来各领域发展趋势,更好地为人类服务,是数据挖掘和机器学习领域的核心问题之一。深度学习是目前应用最广泛的学习方法和框架之一,其模型框架使用监督/非监督学习,已成功应用于新型数据驱动态势感知[1]、基于大数据医疗保健治疗[2]、信息服务[3]和工业大数据应用[4]等领域。小米、阿里巴巴和新浪等IT巨头都已经加大对大数据的投入、采集、分析和研发,推出各种个性化服务,如:阿里基于大数据深度学习框架为用户推荐爆款商品、道路路况拥堵、新闻推送等[5];百度也推出了地图匹配和搜索、联想输入等;微软的语音同步翻译与IBM人工智能也都使用了深度学习框架[6]。虽然深度学习在上述领域已表现出巨大优势,也取得了很好进展,但仍旧存在不足,主要表现为以下几个方面:
(1) 数据信息缺失等不完整性。大数据中含噪声数据,如属性、参数缺失等。目前模型针对标准数据集,而面对实时数据时稍显不足。
(2) 大数据的海量性。模型训练中数据量大、类型多,数据结构复杂度高,普遍采用云存储、云计算,但会导致数据安全等问题。
(3) 数据的动态性。目前使用的深度学习框架基本是静态模型,执行过程中不能更改,故无法满足实时动态变化需求。……
登录APP查看全文
