基于豆瓣电影的数据采集的设计与实现

黄 泽辉, 张 桂花
四川大学锦城学院计算机与软件学院

摘要

在这个大数据时代，豆瓣网已经成为最重要的社交网站之一，笔者针对豆瓣电影网的特性设计并实现了对网页内容的信息采集。通过python进行爬虫获取豆瓣电影中的排名，电影，时间，导演，评分版块，对电影进行降序排名，并将目标数据存储到电子表格中，获得豆瓣电影排行榜单，可用于后续的数据研究。

关键词

python；豆瓣电影网；流程设计；网络爬虫

参考

[1] Tian Fang,Tan Han,Cheng Zhang,Ya Juan Yao. Research and

Construction of the Online Pesticide Information Center and Discovery Platform Based on Web Crawler[J]. Procedia Computer Science,2020,166.

[2] Dusan Stevanovic,Aijun An,Natalija Vlajic. Feature evaluation for web crawler detection with data mining techniques[J]. Expert Systems With Applications,2012,39(10).

[3] 范长军 . 行业惯例与不正当竞争 [J]. 法学家 ,2015(05):84- 94+178.