基于Spark和Hadoop的电商网站用户大数据应用

智研平台会员

登录机构账号

复制成功

设置

万方会员

暂未开通会员

开通即享超值福利、会员权益
优质内容推荐

立即开通

个人中心

我的智研

退出登录

简繁

搜索

DOI: 10.18686/jsjxt.v3i2.46774

基于Spark和Hadoop的电商网站用户大数据应用

王云兮, 张桂花

四川大学锦城学院计算机与软件学院

全文直达

引用

打印

摘要：随着互联网高新技术的飞速发展，电商网站迎来了数据量爆炸式增长，巨大的数据量面临一个处理瓶颈，如何去充分有效的处理和利用这些后台数据成为目前亟待解决的难题。从该背景出发，本文设计了相应的技术解决方案，主要以Hadoop、Spark核心技术为手段开展相关的分析工作。首先针对后台相关日志，利用SpringBoot技术框架获取数据，之后将其存放于Hadoop框架内的HDFS之中，然后采用Spark技术针对需求进行相应的数据处理和分析工作，从而统计出页面跳转概率。页面跳转率是电商网站效益分析的一个至关重要的指标，可以为公司决策者提供有效的数据依据。

关键词：

Spark Hive HDFS 用户行为数据

Universe Scientific Publishing

ISSN：2661-3719

年,卷(期)：2021,3(2)