基于spark框架在电商平台中的数据分析和处理

崔 正昊, 张 桂花
四川大学锦城学院 计算机与软件学院

摘要

本文通过广大用户对电商平台中的各个商品的点击，下单以及支付数详细信息进行分析和处理。基于Spark开源平台，利用sparkCore，使用API实现了针对不同商品和用户之间的浏览记录和下单支付等模式，形成实时推荐优先级列表中最受欢迎的产品。它可以满足用户对商品的需求，增加电子商务平台的销量，大大减少企业和用户的冗余信息过载问题。

关键词

sparkCore编程；RDD算子；Spark框架；电商平台

参考

[1] 王黎, 吕殿基. 基于Spark 框架的大数 据局部频繁项集挖掘算法设计[J]. 微型电脑应 用,2021,37(04):130-132+136.

[2] 李雄, 文开福, 钟小明, 杨辉, 秦德浩. 基于 深度学习的人脸识别考勤管理系统开发[J]. 实验室研 究与探索,2019,38(07):115-118+123.

[3] 吴飞贤,段华斌,扈乐华,朱珍珠,宋均.基 于Spark 的商品推荐系统的设计与实现[J]. 办公自动 化,2021,26(03):60-62.

[4] 任卓明, 邵凤,刘建国,郭强,汪秉宏.基于 度与集聚系数的网络节点重要性度量方法研究[J]. 物 理学报,2013,62(12):522-526.

[5] 宫潘威, 时小磊, 陶高周, 董玉德.CREO环境下三维模型及信息集成共享实现方法研究[J].机械设 计与制造,2019(02):218-221.

[6] 邵梁, 何星舟, 尚俊娜. 基于Spark 框架的 FP-Growth 大数据频繁项集挖掘算法[J]. 计算机应用 研究,2018,35(10):2932-2935.

[7] 常涛. 改进型MapReduce 框架的研究与设计 [D].北京邮电大学,2011.

[8] 严哲, 周斌雄, 张祥燊, 吴君雄.Spark 计算 框架在敏感地理信息检测中的应用研究[J]. 江西测 绘,2021(01):46-49.

[9] 邵梁, 何星舟, 尚俊娜. 基于Spark 框架的 FP-Growth 大数据频繁项集挖掘算法[J]. 计算机应用 研究,2018,35(10):2932-2935.

[10]陈静. 基于Spark 的蜜罐系统的设计与实现 [D].西安科技大学,2017.

[11] 贾翼. 基于Hive 的电商多维分析系统的设 计与实现[D]. 浙江工业大学,2020.

[12] 蒋丛萃, 陈巧灵. 基于Spark 平台的 电子商务实时推荐系统建设和应用[J]. 电子商 务,2020(11):65-66+94.