摘 要 随着互联网的快速发展和网络带宽的逐年增加，网络上视频内容逐渐增多，更多的内容从纯文本网页发布变为文本加视频发布。但是，互联网存档很难采集到网络视频，这些视频通常使用非标准工具和协议。本文提供了该领域采集技术的概述。基于几年采集网络视频内容的经验，本文提供了HTTP协议和RTMP协议视频采集的示例，阐述了采集网络视频内容的问题和解决方案。本文还提出了一种外部下载器作为视频采集模块，用于扩展网络视频内容采集。

关键词 互联网存档 网络视频 流媒体 视频采集

分类号 G250

DOI 10.16810/j.cnki.1672-514X.2021.03.04

Research on Video Collection in Internet Archiving： Taking National Library of China as an Example

Yang Yunpeng

Abstract With the rapid development of the Internet and the increase in network bandwidth year by year， video content on the Internet has gradually increased， and more content has changed from publishing plain text web pages to publishing text plus video. However， it is difficult for Internet archives to capture network videos， which usually use non-standard tools and protocols. This article provides an overview of acquisition techniques in this field. Based on years of experience in collecting network video content， this article provides examples of HTTP protocol and RTMP protocol video capture to illustrate the problems and solutions of collecting network video content. This article also proposes an external downloader for video capture module， which is used to expand network video content capture.

Keywords Internet archive. Web video. Streaming media. Video capture.

0 引言

視频已成为当今网络的重要组成部分。视频为了免于被盗版，一般都会采取加密传输的方法，免于用户直接访问视频源文件。这就使得Web档案管理员收集视频内容的任务变得更加困难，需要开发特定的方法和工具[1-2]。

本文的目的是讨论在网络上视频采集的难点。根据过去几年在国家图书馆网络采集中获得的经验，我们将视频采集中所遇到的问题分为两个主要类别，并使用一些典型的例子说明了几种技术解决方案。第一类使用标准HTTP协议传递视频内容的网站，其难点在于使用混淆视频文件链接的技术（例如：2或3跳跃重定向）。第二类问题是使用HTTP以外的传输协议的网站，从互联网上当前使用的各种流协议中，我们选择了最新且困难的RTMP流协议作为示例。值得注意的是，用于在网络上保存视频的技术发展得非常快，这里介绍的案例很可能在细节上迅速发生变化，我们的工具需要不断改进和更新。……