基于SparkStreaming在广告中的研究与应用

张 春, 张 桂花
四川大学锦城学院计算机与软件学院

摘要

随着电商的兴起，许多商户会在网站中投放广告。这些广告在被点击时会产生利益，因此，带来“一些用户或者竞争对手恶意点击广告”的问题，所以要屏蔽这些用户。本文是基于SparkStreaming在广告中的研究与应用，意在解决上述问题，将恶意点击的用户加入黑名单。把黑名单存放在Redis中，并统计近一个小时广告的点击量，用Echarts动态展示。模拟广告点击日志，获取实时数据并写入Kafka，由SparkStreaming从Kafka中消费。

关键词

SparkStreaming；Kafka；Redis；Echarts；广告

参考

[1] 一种基于Kafka 的可靠的Consumer 的设计方 案[J]. 王岩, 王纯. 软件. 2016(01).

[2] 陈虹君. 基于Hadoop 平台的Spark 框架研究[J].电脑知识与技术，2014（35）：84078408.

[3]林子雨.Spark编程基础（Scala版）[M].北京: 人民邮电出版社,2018.

[4] 肖力涛 .Spark Streaming 实时流式大数据处 理实战[M].北京: 机械工业出版社，2019

[5] 黄健宏.Redis 使用手册[M].北京: 机械工 业出版社，2019