网络爬虫在搜索引擎应用中的问题及对策

刘 沛鹏
广东省计算技术应用研究所

摘要

互联网和互联网技术的飞速发展为人们提供了巨大的机遇。但是，由于互联网上的信息是复杂且无序的，因此很难充分利用它们。快速，准确地从网上获取最有效的信息是用户需要快速的问题，搜索引擎已经很好地解决了这一问题。搜索引擎主要使用来自许多网络站点的信息来为用户提供他们所需的信息。在搜索引擎中，网络爬虫是所有数据源，起着非常重要的作用。爬虫设计的优缺点直接影响内容的丰富性和搜索引擎中更新的流畅性。因此本文从搜索引擎的概念、网络爬虫在搜索引擎中存在问题以及网络爬虫在搜索引擎应用对策等方面对本课题进行了分析。

关键词

网络爬虫；搜索引擎应用；问题；对策

参考

[1]吴宇鹏.分布式网络爬虫技术的研究与实现[J].电脑编程技巧与维护,2020(11):9-10+19.

[2]高文超,李浩源,徐永康.基于网络爬虫的搜索引擎的设计与实现[J].电脑知识与技术,2020,16(30):6-9+12.

[3]Kegzipin.网络爬虫技术原理[J].计算机与网络,2018,44(10):38-40.

[4]饶军,华申峰,吴晓璐.关于互联网视听节目监测中网络爬虫的应用研究[J].江西通信科技,2015(03):34-36.