基于Kafka对Python模拟产生的动态金融数据的分析

晋 宇, 邵 煜
宁波财经学院 浙江宁波 315175

摘要

随着时代的发展，数据已经渐渐地渗透于我们生活的每一个地方，而我们对于数据的使用和分析也越来越频繁。对于数据的抓取与分析显得格外的重要。如今，传统的数据的抓取 与分析已经无法满足日益增长的科技发展了。我们需要一个快速，简洁，方便，高吞吐量，可实时消费的高性能分布式消息系统。本文从Python对数据的抓取，Kafka对数据的整合，以及NS3对数据的分析来简单描述Kafka的消息系统。

关键词

Kafka分布式发布订阅消息系统；Python；NS3

参考

[1]赫特兰. Python 基础教程[M].2版.北京：人民邮电出版社，2010. [2]齐 鹏，李隐峰，宋玉伟.基于Python的Web数据采集技术[J].2012，25(11):118-120. [3]王蕾，安英博，刘佳杰.基于Python的互联网金融数据采集[J],2017，(9):47-49. [4]鲁特兹．Python 学习手册［M］．北京: 机械工业出版社，2009. [5]马浩然. 基于NS3的分布式消息系统 Kafka的仿真实现[J].2015，(1):94-99. [6]莫磊, 胥布工. 基于分布式估计及任务分配的WSANs 协同机制[J].新型工业化,2013，(12):15-27. [7]蒋占军，李成，李磊等. 分布式无线通信系统中并行Round Robin调度算法研究[J].新型工业化,，2011，(10):103-111. [8]杨国龙.企业间大数据推荐引流系统研究与设计[D].湖南大学，2016. [9]周铁峰.基于大数据的用户电信息采集系统的设计与实现[D].华北电力大学，2018.