基于大数据的哔哩哔哩网站统计分析研究

凃 文豪, 张 桂花
四川大学锦城学院计算机与软件学院

摘要

随着智能时代的到来，视频网站哔哩哔哩应运而生，越来越多的用户加入，哔哩哔哩每天产生的数据是成倍增长的。哔哩哔哩用户对自己的排名等，需要个性化了解。本文利用大数据生态系统中的Hadoop-Spark-Flume-Kafka构成分析处理框架，并采用python对网站数据进行爬取，最终构建springmvc+ECharts解决方案将数据在网页上进行可视化展示。最终获取用户喜好等相关重要分析结果，通过前端可视化展示，可以让用户可直观地了解自己在哔哩哔哩网站的排名等重要信息，用户体验良好。

关键词

Spark；Hadoop；FlumeKafka；哔哩哔哩

参考

[1] Tom White. 华东师范大学数据科学与工程学院译 .Hadoop 权 威指南（第 3 版）（修订版）[M]. 北京：清华大学出版社 ,2015.

[2] 张光前 , 白雪 . 基于消费性格的新商品推荐方法 [J]. 张光前 , 白雪 . 管理科学 ,2015(02).

[3] 王伟 , 王洪伟 , 孟园 . 协同过滤推荐算法研究 : 考虑在线评 论情感倾向 [J]. 系统工程理论与实践 ,2014(12).