石慧 陈培辉

摘  要： 在“房住不炒”定位下，住房选购成了广大市民比较关心的问题。把大数据分析技术引入到房价分析，利用Scrapy爬虫框架对广州房价线上数据的爬取，经清洗和可视化，把影响房价的要素以可视化的形式予以呈现。与传统方法相比，大数据分析技术在数据采集及可视化分析应用方面优势明显。

关键词： 大数据分析; 可视化; 爬虫框架; 房价数据

中图分类号：TP399          文献标识码：A     文章编号：1006-8228（2021）08-71-05

Housing price data collection and visualized analysis with big data technology

Shi Hui， Chen Peihui

（Department of Information Engineering， Shanwei Vocational and Technical College， Shanwei， Guangdong 516600， China）

Abstract： Under the positioning of "housing without speculation"， the purchase of housing has become a concern of the general public. This article introduces the big data analysis technology into the housing price analysis， and the online data of Guangzhou housing price is crawled by using the Scrapy crawler framework. After cleaning and visualization of online data， the factors affecting housing price are presented in the form of visualization. Compared with traditional methods， big data analysis technology has obvious advantages in applications of data collection and visualized analysis.

Key words： big data analysis; visualization; crawler framework; housing price data

0 引言

网络数据采集是通过网络爬虫[1]等技术从互联网采集数据的过程。网络数据采集和数据可视化具有广泛的应用范围，涉及挖掘数据可视化、文本数据可视化、交通可视化、生物医学可视化、网络数据可视化等领域。闫志国[2]等通过爬取电商药品数据并对数据可视化处理，为用户在网上买药提供参考。曹睿娟[3]等提出基于大数据的城市内涝网络舆情监测及演化机理，为内涝事件舆情应对提供决策支持。于凤芹[4]等借助动态面板模型和多重中介效应模型，研究金融科技与商业银行盈利能力的关系及中介传导机制。饶加旺[5]等构建了智慧城市文本大数据与自动分词模型，指出当前智慧城市建设中的问题。

有效地利用大数据技术，深入挖掘互联网中的数据，可以为我们提供许多有趣的信息[6]，也能为消费者和商家等目标用户提供一定的参考意见和决策支持。

1 基于大数据技术的房价分析方法

本文主要利用网络爬虫技术采集58同城网的广州房价线上数据，并挖掘和分析网络数据中的信息。……