基于 Spark 的大数据分析技术

智研平台会员

登录机构账号

复制成功

设置

万方会员

暂未开通会员

开通即享超值福利、会员权益
优质内容推荐

立即开通

个人中心

我的智研

退出登录

简繁

搜索

DOI: 10.18686/jsjxt.v1i2.691

基于 Spark 的大数据分析技术

王溶, 鲍正德, 李晨曦

四川大学锦城学院计算机与软件学院，四川成都

全文直达

引用

打印

摘要：移动互联网和物联网技术的快速发展丰富了人们的信息获取方式和增加了网络信息传播数量以及提升了信息交流速度。在分布式技术逐渐成熟的今天，海量数据的存储管理难题已经通过分布式文件系统得到良好的解决。Spark 就是在内存计算的一种数据处理和分析的一种技术，它的 RDD 的计算模型可以同时做到 MapReduce 和迭代型计算。除了可以对大量数据进行处理和分析，Spark 还能够用于流式计算和机器学习等领域，为这些领域的发展创建了更多的可能性

关键词：

大数据，Spark，Hadoop，Kafka，RDD

Universe Scientific Publishing

ISSN：2661-3719

年,卷(期)：2019,1(2)