基于 Spark 和 kafka 的视频网站用户需求大数据应用

胡 云彰, 张 桂花
四川大学锦城学院计算机与软件学院　四川　成都

摘要

视频网站流量的大量喷涌促进了资本的注入，也给投资者、运营者对于数据的强烈需求。怎么获取用户在视频 网站上的行为点击就成了重中之重。Spark 是当前大数据领域优秀的计算框架，其中 Spark Streaming 组件是基于 Spark 的实 时流处理技术，采用一系列短暂、无状态、确定性的批处理技术实现。kafka 是一个分布式平台，用于发布和订阅记录流且 以容错方式永久粗存储记录流，本文将 Spark 和 Kafka 结合用于研究视频网站的用户需求，包括电脑的鼠标点击以及手机端 的滑动交互。从而实现对视频网站流量的精准分析，通过可视化方式进行展示，为决策层提供数据保障。

关键词

大数据；Spark；Kafka；Java Web；Spark Streaming；Python；Springboot；Flume

参考

林子雨 .Spark 编程基础（Scala 版）[M]. 北京：人民邮电出版社，2018.

王元卓，靳小龙，程学旗，等，网络大数据：现状与挑战 [J]．计算机学报，2013，36(6)：1125-1138.

Chang F，Dean J，Ghemawat S，et a1．Bigtable：ADistributed Storage System for Structured Data [J]．ACM Transactions

on Computer Systems，2008，26（2）：1-26．