基于HADOOP的海量数据分析研究

马 铭阳, 张 桂花
四川大学锦城学院计算机与软件学院

摘要

时代在不断地发展，网络上面的信息的产生和传递的速度已经远远的超出了人们的以前对于信息接收数量的想象。每天都在有海量的数据产生并涌向客户，使得用户很难在其中快速找到需要自己关注的有用信息。如果将不断更新的海量数据进行采集整理、预处理、清洗、分析、检索、分析总结，最后将结果一图表等形式直观地展示给用户，用户能够在快速，简便地获取自己的需要的信息分布就十分有必要，基于以上的需求。本文通过以NBA球员数据网的在线数据为样本，对收集到的数据进行一系列的操作，运用爬虫对目标网站进行抓取，再模拟生成海量的数据，工具预处理和传输筛选，对得到的结果信息进行研究分析，并将结果使用可视化的方式来展示NBA球员的相关数据，使用户能够方便、有效、快速地了解到喜爱的球星数据。

关键词

数据处理；海量数据；可视化；hadoop

参考

[1] 黄素萍 , 常加强 , 高妍 . 海量数据的分析研究 [J]. 科学技术创 新 ,2020(15):60-61.

[2] 张趁香 . 基于 Hadoop 平台的海量数据分析和处理 [J]. 电脑 编程技巧与维护 ,2019(01):95-97.

[3] 符添玮 . 大数据分析关键技术研究 [J]. 大众标准化 ,2020(02): 125-126.

[4] 刘政宇 . 基于大数据的数据清洗技术及运用 [J]. 数字技术与 应用 ,2019,37(04):92+94.

[5] 孙品一 , 周峰 . 探讨大数据时代下的数据可视化 [J]. 设计 , 2016(07):136-137.