网络爬虫技术的研究与实现

陈 进才
广东省计算技术应用研究所

摘要

自互联网出现以来，互联网数据经历了爆炸性的增长。我们已经进入了一个数据爆炸的时代。在互联网上搜索信息时，许多人面临不同的问题。在这方面，已经出现了搜索引擎，可以帮助人们找到大量有用的信息，并从有用的信息中找到更可靠的信息。但是，随着在线数据的爆炸式增长，传统搜索引擎已很难满足人们的实际需求。因此，网络爬虫作为搜索引擎主体的作用逐渐凸显了出来。

关键词

网络爬虫技术；实现；策略

参考

[1]庄礼金,戴泽鑫.网络爬虫的设计与实现[J].信息技术与信息化,2020(12):47-49.

[2]吴宇鹏.分布式网络爬虫技术的研究与实现[J].电脑编程技巧与维护,2020(11):9-10+19.

[3]杨国军.基于Python的数据爬虫的设计与实现[J].数字技术与应用,2020,38(10):153-154+158.

[4]高文超,李浩源,徐永康.基于网络爬虫的搜索引擎的设计与实现[J].电脑知识与技术,2020,16(30):6-9+12.