APP下载

互联网软件错误日志聚类

2018-07-05程世文王长进

小型微型计算机系统 2018年5期
关键词:信息

程世文,裴 丹,王长进

1(清华大学 计算机系,北京 100084)2(北京小桔科技(滴滴出行)有限公司,北京 100193)

1 引 言

互联网服务已经深入到用户生活的方方面面,用户对互联网服务体验的要求越来越高,这正是互联网内容提供商所面临着的巨大的挑战.互联网内容提供商在实际运营过程中,所维护的各项服务业务随时可能会遇到各种各样的问题,这就需要收集相应的日志,并对错误日志进行分析和处理.因此,将问题对应的错误日志及时反馈给相应的研发人员是排除问题的首要因素.

在互联网内容提供商收集日志的过程中,即使采用采样的方式,收集到的日志的数量也是十分巨大的,往往也是以TB甚至PB为单位.并且,很多错误日志是完全相同或者相似的,错误日志的不同种类仅占极少数.仅以错误日志举例,本文研究的某互联网公司每天采样收集到的错误日志量约10-20TB,但其中错误日志的不同种类只占到了400-800种左右.将如此巨大数量的错误日志直接反馈给研发人员进行逐条人工排错,显然是不可行的.因此,对海量错误日志进行预先聚类则显得非常重要.

在实际收集的错误日志中,往往具有如下挑战:

1)日志数量巨大;

2)格式不规范,变量较多,无法全部清洗;

3)干扰数据较多,较难提取特征信息;

4)聚类效果、性能要求较高,难度较大.

在日志聚类方面,国内外的一些研究学者也进行了不少的研究与应用.Xu[1]等人提出了对控制台日志(Console logs)的预处理,但这些……

登录APP查看全文

猜你喜欢

信息
订阅信息
展会信息
信息超市
展会信息
展会信息
展会信息
展会信息
展会信息
信息
健康信息