王彦博　樊营　高潜

人类社会已经进入大数据时代，传统的信息存储和传播媒介已逐渐为计算机所替代，并呈现出指数增长的趋势，成为21世纪最为重要的经济资源之一。作为掌握大量真实交易数据的商业银行，面对浩如烟海的信息时，如何实现银行内部与外部信息、结构性与非结构性数据的紧密结合，更加准确地识别信息，有效地对信息进行挖掘，将数据价值转化为经济价值，已经成为当前商业银行提升核心竞争力的重要途径之一。网络爬虫技术的快速发展为商业银行提升信息精准获取和有效整合应用能力提供了全新的策略。

网络爬虫技术概述

网络爬虫是Spider（或Robots、Crawler）等词的意译，是一种高效的信息抓取工具，它集成了搜索引擎技术，并通过技术手段进行优化，用以从互联网搜索、抓取并保存任何通过HTML（超文本标记语言）进行标准化的网页信息。其作用机理是：发送请求给互联网特定站点，在建立连接后与该站点交互，获取HTML格式的信息，随后转移到下一个站点，并重复以上流程。通过这种自动化的工作机制，将目标数据保存在本地数据中，以供使用。网络爬虫在访问一个超文本链接时，可以从HTML标签中自动获取指向其他网页的地址信息，因而可以自动实现高效、标准化的信息获取。

随着互联网在人类经济社会中的应用日益广泛，其所涵盖的信息规模呈指数增长，信息的形式和分布具有多样化、全球化特征，传统搜索引擎技术已经无法满足日益精细化、专业化的信息获取和加工需求，正面临着巨大的挑战。……