韩石

摘要：随着信息技术的不断发展，Web上的信息内容和数据呈现出爆炸式的增长，从而是Web成为一个巨大、丰富、分布广泛的数据源，有效的在Web上实现数据的抽取技术为进一步的分析和挖掘提供了数据支持，具有十分重要的应用价值和现实意义。通过Web数据集成可以实现对Web数据的有效整合，为大数据分析提供信息源支持。本文对于Web数据抽取技术的现状、问题及实现进行分析，并提出对策建议。

关键词：大数据；数据抽取；技术实现

一、Web数据抽取技术概述

随着信息技术的不断发展，Web上的信息内容和数据呈现出爆炸式的增长，从而是Web成为一个巨大、丰富、分布广泛的数据源，有效的在Web上实现数据的抽取技术为进一步的分析和挖掘提供了数据支持，具有十分重要的应用价值和现实意义。通过Web数据集成可以实现对Web数据的有效整合，为大数据分析提供信息源支持。Web信息抽取技术是随着互联网技术的发展、网页信息的扩充而产生，从手工到半自动再到全自动的技术完善使Web数据抽取技术成为大数据分析的主要技术。在此基础上形成的Web数据集成系统，Web数据集成系统中的数据，不仅可以为各类大数据分析提供信息支持，而且还可以为Web数据集成系统自身集成提供帮助。Web数据抽取技术的作用和意义主要体现在，一是Web数据抽取是实现Web数据集成的基础和保证，Web数据抽取可以完成对Web页面中农广泛存在的半结构化数据的抽取公祖，为Web数据集成奠定数据基础。……