基于大数据的51job网站大学生大数据岗位数据分析

智研平台会员

登录机构账号

复制成功

设置

万方会员

暂未开通会员

开通即享超值福利、会员权益
优质内容推荐

立即开通

个人中心

我的智研

退出登录

简繁

搜索

DOI: 10.18686/jsjxt.v3i2.46795

基于大数据的51job网站大学生大数据岗位数据分析

赵红波, 张桂花

四川大学锦城学院计算机与软件学院

全文直达

引用

打印

摘要：信息时代的到来，促进了数据的快速增长，当下时代数据的开放性使得获取数据变得尤为方便；而数据的海量性，使得大学生对于数据的辨析变得尤为困难。便利性、时效性、覆盖性强等特点已经逐渐成为当下大学生最受欢迎的寻找职位方式，而数据的海量性使得大学生通常不能完整的分析数据。本文通过对51job网站进行数据爬取，采用python程序对数据进行清洗，然后使用Hadoop核心组件HDFS进行存储，使用Spark技术对其进行分析和处理，其结果以可视化方式进行展示，对大学生提供一份可靠的数据。

关键词：

大数据;HDFS; 大学生;Spark

Universe Scientific Publishing

ISSN：2661-3719

年,卷(期)：2021,3(2)