摘  要：随着大数据与人工智能时代的来临，有效地获取和利用信息成为了一项挑战，从而使网络爬虫越来越受到人们的重视与青睐。Python以其简单和强大的功能在网络爬虫方向脱颖而出。本文将介绍有关Python网络爬虫的相关知识，同时实现一次爬取豆瓣影评评论，并运用可视化库生成词云，并对其进行分析。

关键词：网络爬虫;Python;可视化

中图分类号：TP393.092;TP391.3      文献标识码：A 文章编号：2096-4706（2019）20-0026-03

Abstract：With the advent of the era of big data and artificial intelligence，how to effectively acquire and utilize information has become a challenge，and online crawlers have become more and more popular and favored by people. Python stands out in the direction of web crawlers with its simple and powerful features. This article will introduce you to the Python web crawler and implement a crawling Douban review commentary and use the visual library to generate a word cloud to analyze it.

Keywords：web crawler;Python;visualization

0  引  言

网络爬虫是一种“古老”的网络技术，它伴随着互联网的发展而不断演化，随着大数据时代的来临，爬虫技术又迎来了新一波的振兴浪潮。在大数据架构中，数据的收集与存储占据着极为重要的核心位置，而爬虫技术也在这两项技术层次中占据极为重要的位置。爬虫是请求网站并提取数据的自动化程序。请求、提取与自动化变成了爬虫的关键。本文将介绍网络爬虫及其应用，以及Python的网络爬虫实现。

1  网络爬虫及其应用

网络爬虫，又称为网络机器人或者网页蜘蛛，是一种按照一定规则自动抓取万维网信息的程序或者脚本。网络爬虫大致可以分为通用网络爬虫、聚焦网络爬虫、增量式网络爬虫以及深层网络爬虫等类型。在实际的网络爬虫系统中，通常是结合了几种爬虫技术实现的。

通用型网络爬虫的典型的应用便是搜索引擎，例如百度、谷歌等，但是该类爬虫存在许多弊端。例如，不同的用户对于检索具有不同的需求和目的，而通用搜索引擎返回的结果包含大量无用的网页;再如，由于图片、音频、视频等多媒体数据的不断涌现，通用搜索引擎不能很好地发现和获取信息等等。……