基于Python的数据爬取系统的设计———以房屋信息 爬取为例

毛 红霞
四川大学锦城学院

摘要

互联网技术的广泛应用使得网络资源爆炸式增长,在海量数据中查找所需数据是十分耗时耗力的事情。房屋信息是国民关注的热点话题之一,运用网络爬虫技术,可以快速准确地获取各大平台的房屋信息。本文采用Python语言结合爬虫技术设计了房屋信息数据爬取系统,设计了URL管理器、网页下载、 网页分析、数据采集、数据保存等模块。通过系统的运行,成功地将目标网站上的房屋信息及图片保存下来。

关键词

Python;数据爬取;反爬策略;

参考

刘宇,郑成焕.基于Scrapy的深层网络爬虫研究[J].软件,2017,38(07):111-114 [2]严斐,肖璞.Python框架下基于主题的数据爬取技术研究与实现[J].计算机时代,2018(11):10-13 [3]刘贵平,刘娜,段红义.基于聚焦网络爬虫技术的人才招聘数据采集[J].电脑编程技巧与维护,2018 (05):69-71 [4]刘顺程,岳思颖.大数据时代下基于 Python的网络信息爬取技术[J].电子技术局与软件工程,2017 (21):160-160 [5]李琳.基于 Python的网络爬虫系统的设计与实现[J].信息通信,2017(9):26-27