开源组件在新华社数据服务平台中的应用
2018-08-17乔爱军
中国传媒科技 2018年7期
文/乔爱军
随着媒体融合发展的要求,移动互联网的深入普及,新华社传统的IT架构已经不能适应新时代报道的需求。新华社于2016年底开始构建新一代技术体系,目前,基于开源技术的全媒体采编发平台(新采编发)、全媒体供稿平台(新供稿)、办公协同平台(新OA)、全媒体业务管理平台(新闻热点、新闻线索、落地统计、报道指挥)四大应用平台基本建设完成。数据服务平台作为新华社数据汇聚中心,为上述四大平台提供底层支撑。现数据服务平台已经初步建成,提供了数据接入、存储、服务、处理、分析、统计、应用等服务,实现了社内稿件、引进资源、互联网数据、用户信息、行为数据和服务审计数据的聚合,为各应用系统提供数据服务。数据服务平台采用分布式、开源的架构体系,辅助于一体化分层的监控体系,为新华社融合报道提供了强有力的支撑。
1. 数据服务平台概况
数据服务平台对外提供四大类的服务,即服务管理、数据服务、大数据计算服务和GlusterFS文件存储服务。服务管理实现服务接口的统一管理,提供服务注册、发现、路由、管理等功能。服务管理除了注册和管理数据服务平台自己的服务外,还注册了用户认证管理系统和办公协同平台等其他系统的服务。数据服务目前提供了基础服务、全文检索、数据订阅、语义分析、推荐、标签、用户信息、资源管理8类99个服务。大数据计算服务在新华社总社、东坝机房分别部署了17个节点和14个节点。大数据计算服务可为全社提供Spark、Storm计算服务,HDFS、HBase、Hive存储分析能力。……
登录APP查看全文
