基于 Python 的网络爬虫

巫 宇超, 鲍 正德, 唐 娅雯
四川大学锦城学院计算机与软件学院，四川成都

摘要

网络爬虫具有根据规则自动获取有用数据的能力，本文针对某 IT 网站招聘版块页面，使用 Python 语言设计了一个定向爬虫系统并成功运行。运行后的结果表明：本爬虫程序具有采集结果准确、效率高、可扩展性强等优点，使用爬虫采集数据，可以有效节约数据收集的时间，提高工作效率

关键词

Python；网络爬虫；Xpath

参考

魏冬梅,何忠秀,唐建梅.基于 Python 的 Web 信息获取

方法研究[J].软件导刊,2018,17(01):41-43. [2]朱贇.Python 语言的 Web 开发应用[J].电脑知识与技

术,2017,13(32):95-96. [3]贺杰.基于 Webdriver 爬虫技术的研究[J].科技广

场,2016(10):27-31. [4]魏少鹏. 基于 Chrome 浏览器插件的爬虫系统[D].东

华大学,2016. [5]姜琨. 主题搜索引擎中的爬取技术研究[D].国防科学

技术大学,2011.