基于职业院校数据与指标匹配的编辑距离算法的应用研究
2019-03-08李华君郭晟君
科技创新导报 2019年30期
关键词:数据分析
李华君 郭晟君



摘 要:随着互联网的迅速发展,数据越来越多,分析数据愈发困难。为给山西省职业教育大数据分析与决策平台提供大量且准确的数据,首先要将不同文本中的数据进行整理,其次将数据名称与已经命名好的指标进行匹配,进而实现数据与指标的匹配。基于此,本文采用了编辑距离算法,该算法以单个字符为单位进行编辑距离测算,通过计算从原字符串转换到目标字符串所需插入、删除和替换的数目,得到原字符串与目标字符串的相似度,进行字符串之间的匹配,进而解决了数据与指标匹配的问题。
关键词:数据分析 指标匹配 编辑距离 相似度
中图分类号:G64 文献标识码:A 文章编号:1674-098X(2019)10(c)-0255-02
为给山西省职业教育大数据分析与决策平台提供大量且准确的数据,必须通过调研采集信息或梳理年报等方式提取学校信息,由于学校无指标名称且各个学校信息不同,所以梳理出来的数据名称各式各样,例如:就文本中关于指标“享受国家助学金人次”就有“享受国家助学金人数”、“国家助学金受助学生人数”、“中职学生国家助学金受助人数”、“享受国家助学金学生人数”等4种叫法。对于人工梳理信息,不仅要整理出原始数据,还要将数据填到相应的指标,此外还要进行多次的重复检查工作,大大降低了工作效率。采用编辑距离的算法通过算出指标字符串与数据名称字符串的相似度,将相似度高的数据名称被指标替代,并把数据提取出来,放在相应的指标下,这样就实现了数据与指标的匹配。……
登录APP查看全文
