蒋宗礼　袁圆

摘 要：现有的视频去重技术多样，但字幕这一与视频内容能高度匹配的重要信息并未被考虑到其中。提出一种针对含内嵌字幕视频进行去重的方法，并在三大视频网页中得到了该方法的再去重效果。首先将相应网页视频中的字幕经过OTC处理将其文档化，再规范文档，最后设定一个界值，对网页进行去重筛选。类比于网页文本的去重方法，基于文本内容的去重工作可以大大改善去重的效果，考虑到视频中人物对话内容的唯一性，我们可以根据视频字幕内容来进行去重，从而得到更为精准的视频去重结果。

关键词：网页视频；内嵌字幕；去重；LCS

中图分类号：TP391 文献标识码：A

Abstract：Even there are many ways to remove duplicate web videos， the subtitleinfo which can highly matchas with the contents of video still cannot be taken into account to the removal process. This paper put forward a method by using contrast with embedded subtitles in video to delete the duplicate web videos， and presented the effect of reremove duplicates by this method in three big web video page.The subtitles in web video need documentation through OTC processing and specification document again，and set an boundary value through experiment， so that the duplicate web video can be filtrated. simihar to the duplicate removing method， in web page next this method can greatly improve the effect of duplicate removing，Considering the uniqueness of dialogue contents in the video，we can use the contents of the video subtitles to do duplicate removing，and to get more accurate video search results in search engine. The target of this study is duplicate removing work of the web video with hard subtitles， which is belong to webbased content to the duplicate removing study， used to remove the duplicate web video pages and improve the user experience.

Key words：web video； embedded subtitles； remove duplicate； LCS

1 引 言

在互联网中，网页内容的大量重复，对搜索引擎来说，这些重复使得用户体验太差，因此，需要“去重”[1]。

在以UGC（User Generated Content）业务为主的视频网站中，每天都有大量的视频被上传[2]。用户上传的视频有数量大、重复视频多的特点，特别是一些热点视频会同时有多个用户上传。这样 会导致搜索或者推荐结果中出现大量重复视频。如何识别出这些相同内容的视频，为用户提供更好的搜索和推荐体验，是一个需要解决的问题。现在识别相同视频的方法很多，通常的方法有：视频文件md5值去重，每个视频文件里都保存有一个md5值，可以认为是这个视频文件的基因；根据视频的文本信息（指生成标题、描述和标签等）进行去重，用户在上传视频时会生成标题、描述和标签等文本信息，根据这些文本信息进行相同视频的去重；……