基于大数据的51job网站大学生大数据岗位数据分析

赵 红波, 张 桂花
四川大学锦城学院计算机与软件学院

摘要

信息时代的到来，促进了数据的快速增长，当下时代数据的开放性使得获取数据变得尤为方便；而数据的海量性，使得大学生对于数据的辨析变得尤为困难。便利性、时效性、覆盖性强等特点已经逐渐成为当下大学生最受欢迎的寻找职位方式，而数据的海量性使得大学生通常不能完整的分析数据。本文通过对51job网站进行数据爬取，采用python程序对数据进行清洗，然后使用Hadoop核心组件HDFS进行存储，使用Spark技术对其进行分析和处理，其结果以可视化方式进行展示，对大学生提供一份可靠的数据。

关键词

大数据;HDFS; 大学生;Spark

参考

[1] 朱永忠. 基于大数据技术的大学生就业分 析系统的研究[J]. 现代信息科技,2020,4(18):128-130+136.

[2] 朱永忠. 基于大数据技术的大学生就业分 析系统的研究[J]. 现代信息科技,2020,4(18):128- 130+136.

[3] 邱春红. 基于Hadoop 的农产品追溯系统框架 研究[J].电子测试,2021(09):74-76.

[4] 张力元. 基于Spark 的混合模式电影推荐系 统研究与实现[D].重庆大学,2018.

[5] 魏红君.市场监管业务数据可视化平台研究与 实践[J].科技风,2021(13):101-102.