基于Spark的电信运营商数据可视化应用研究

张 桂花¹, 高 攀²
1、
2、四川大学锦城学院

摘要

数据的爆炸式增长催生了大数据技术的快速发展,大数据技术的深度应用在各企业得以体现。其中,Spark大数据计算框架的设计遵循“一个软件栈满足不同应用场景”的理念,逐渐形成了一套完整的生态系统。电信运营商在线服务需对大量数据进行快速、高效、准确的处理,鉴于此,本文将Spark部署在Hadoop的YARN模式下,并采用HDFS进行数据存储,通过Spark及其提供的SQL查询能力进行数据处理,通过ECharts前端可视化组件进行数据展示,提供更直观和可靠的数据分析。

关键词

spark大数据可视化 ECharts电信运营商

参考

Tom White.华东师范大学数据科学与工程学院译.Hadoop权威指南(第 3 版)(修订版).北京:清华 大学出版社.2015. [2]涂兰敬.大数据与海量数据的区别[J].网络与信息.2011.12(1):22-27.?㏂ [3]肖芳,张良均主编 著.Spark大数据技术与应用[M].北京:人民邮电出版社,2017. [4]林子雨.Spark编程基础(Scala版)[M].北京:人民邮电出版社,2018. [5]毛国君.数据挖掘原理与算法[M].北京:清华大学出版社有限公司,2005.? [6]https://echarts.baidu.com/