基于 Spark 的大数据分析技术

王 溶, 鲍 正德, 李 晨曦
四川大学锦城学院计算机与软件学院，四川成都

摘要

移动互联网和物联网技术的快速发展丰富了人们的信息获取方式和增加了网络信息传播数量以及提升了信息交流速度。在分布式技术逐渐成熟的今天，海量数据的存储管理难题已经通过分布式文件系统得到良好的解决。Spark 就是在内存计算的一种数据处理和分析的一种技术，它的 RDD 的计算模型可以同时做到 MapReduce 和迭
代型计算。除了可以对大量数据进行处理和分析，Spark 还能够用于流式计算和机器学习等领域，为这些领域的发展创建了更多的可能性

关键词

大数据，Spark，Hadoop，Kafka，RDD

参考

黄黎,顾筠.基于 Hadoop 平台的并行化数据分类算法

研究[J].制造业自动化,2014,36(14):5-9. [2]杨宁. 基于 Spark 的云化报表系统的设计与实现[D]. 南京邮电大学,2016. [3]萨初日拉. 基于 Spark 平台的数据立方体快速计算方

法研究[D].华北电力大学,2016. [4]郭丽红. 我爱上了 SP AR K[J]. 都市家教月刊, 2012(8):191-192. [5]申玲艳.MapReduce 计算模式的性能优化设计及其应

用[J].信息与电脑(理论版),2016(14):49-50.