基于Spark和Hadoop的电商网站用户大数据应用

王 云兮, 张 桂花
四川大学锦城学院计算机与软件学院

摘要

随着互联网高新技术的飞速发展，电商网站迎来了数据量爆炸式增长，巨大的数据量面临一个处理瓶颈，如何去充分有效的处理和利用这些后台数据成为目前亟待解决的难题。从该背景出发，本文设计了相应的技术解决方案，主要以Hadoop、Spark核心技术为手段开展相关的分析工作。首先针对后台相关日志，利用SpringBoot技术框架获取数据，之后将其存放于Hadoop框架内的HDFS之中，然后采用Spark技术针对需求进行相应的数据处理和分析工作，从而统计出页面跳转概率。页面跳转率是电商网站效益分析的一个至关重要的指标，可以为公司决策者提供有效的数据依据。

关键词

Spark Hive HDFS 用户行为数据

参考

[1]王松.基于spark的会话语料库管理系统[D]. 河北师范大学,2020:

[2] 张丽华, 马家龙, 程晓旭, 邹雨轩, 刘博宁, 贾美娟. 基于hadoop 架构的电信离线数据综合处理的 设计与实现[J].智能计算机与应用,2020,10(12):160- 163+169.

[3] 童莹, 杨贞卓.hadoop 和spark 在web 系统推 荐功能中的应用[J]. 现代信息科技,2020,4(19):87- 89.DOI:10.19850/j.cnki.2096-4706.2020.19.022.

[4] 张国华,叶苗,王自然,周婷婷.大数据 hadoop 框架核心技术对比与实现[J]. 实验室研究与探 索,2021,40(02):145-148+176.DOI:10.19927/j.cnki. syyt.2021.02.028.

[5] 肖蓉.分布式文件系统负载均衡技术探讨[J]. 电子世界，2020，（09）：51-52.DOI:10.19353/j.cnki. dzsj.2020.09.024