基于大数据的优酷网站弹幕的分析与研究

郑 海霖, 张 桂花
四川大学锦城学院计算机与软件学院

摘要

随着弹幕在视频中的重要性越来越高，弹幕成为了每个大型视频网站的必备品。弹幕和评论相比，它更具有实时性与关键性。所以通过分析研究弹幕来了解观影人的实时情绪也成为了大数据分析的研究热点。主要思路是：通过爬虫获取弹幕信息，使用HDFS对数据进行存储，使用Spark从HDFS上调用数据对弹幕出现的频率进行统计排序并保存。通过研究实现了对观众的实时情绪的了解与视频关键词的分析。

关键词

爬虫；HDFS；Spark；弹幕

参考

[1] 毕森, 杨昱昺.基于python 的网络爬虫技术 研究[J].数字通信世界,2019(12):107-108.

[2] 顾勤. 网络爬虫技术原理及其应用研究[J]. 信息与电脑(理论版),2021,33(04):174-176.

[3] 刘杨.实践教学强化背景下法学实验室建 设的探索与研究[J]. 科技资讯,2015,13(08):198. [e-mail]