浅析网络爬虫的关键技术

智研平台会员

登录机构账号

复制成功

设置

万方会员

暂未开通会员

开通即享超值福利、会员权益
优质内容推荐

简繁

搜索

DOI: 10.18686/jsjxt.v1i3.1277

浅析网络爬虫的关键技术

四川大学锦城学院

全文直达

引用

收藏

打印

摘要：大数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。在海量数据中高效率准确地获取有效数据,越来越得到关注。运用网络爬虫技术能够快速、高效地获取大量数据。本文介绍了基于Python的网络爬虫所涉及到的关键技术:爬虫架构、爬取策略、Python中实现HTTP请求、Python 中实现网页解析、Python爬虫框架。并针对网站的常用的反爬策略制定了相应的应对措施

关键词：

Python;网络爬虫;爬取策略

Universe Scientific Publishing

ISSN：2661-3719

年,卷(期)：2019,1(3)

x