在互联网技术不断升级的今天，数据获取变得越来越容易，大数据行业越来越火，基于海量数据进行分析的数据分析人才逐渐成为各大企业追逐的宠儿。大数据推动起数据的深度分析与挖掘，使得研究结果更加客观，并且多维。

本文将以数据分析的方式对这个行业展开调研，尽可能让正在从事或有兴趣想加入这个行业的小伙伴们对于当前大数据行业的就业环境有更深入的了解和认识。

• 数据获取：访问前程无忧官网，找出需用作数据分析的数据并进行获取

• 数据预处理：对获取数据进行去重、缺失值处理等一系列数据清洗操作

• 数据可视化：文文字不如数据，数据不如图片，可视化是对于数据最好的展现方式，让人一目了然

• 深入分析：对于数据深入分析，寻找不同因素与薪资之间的关系

在搜索数据的时候，岗位关键词我选择的是数据分析师，这是因为其他的岗位关键词匹配度过低，搜索结果包含大量无效数据，而数据分析师匹配度高。地点选择了全国，是因为我想分析全国不同城市对于数据分析师岗位的需求量以及薪资水平。

在爬取的时候，我选择从二级页面爬取，目的是为了获得更多的信息，以便后续能从更多的维度进行分析。抓取维度为：公司名字、类型、规模、行业、地点、福利、职位信息（职责、学历、技能、经验、薪资）。

最后一共获取8076条数据。

因部分数据内容与数据分析岗位无任何关系，故将不匹配数据剔除。我的判定方式是将工作名称中包含"数据"、"分析"、"Data"、"Analyst"中任何一个关键词的保留，四个关键词一次都没有出现的则剔除。共剔除1261条与数据分析无关的数据。

由于有部分的数据内容存在重复，故选出其中岗位描述相似度较高的数据，将这些数据直接剔除。共剔除567条重复数据。

爬取的时候要求字段里包含工作地点、工作经验、学历、招聘人数以及招聘日期等数据，将数据分列，并保留工作地点、工作经验、经历三个字段，删除招聘人数以及招聘日期字段。

分列完成后有1000余条数据并未明确学历要求，但在岗位描述中有提及相应学历要求，我找出了这些数据，并完善了约600条余条数据。另外有2000余条数据对于工作经验无要求，但部分数据在岗位描述中对于经验要求有所提及，操作方法与前者类似，完善了500余条数据。

由于福利字段内包含较多数据，故将数据进行分列，并用数据透视表的方式将相关福利字段内相应福利出现的频数进行统计，方便后期可视化的时候绘制词云。

行业类型的字段内包含多个行业，不利于后期对于行业的分析，故我只选择选取每条数据的第一级的行业类型，并将多余数据进行剔除。

工资字段内的数据是一个收入的区间值，时间单位有小时、天、月、年，计价单位有千和万，我选择把收入下区间与收入上区间进行拆分，并将不同的时间单位与计价单位进行单位统一，数据统一为"XXXX"元/月的格式。另外，我把收入按照从高到低的方式进行划分、归类并增加平均工资的字段，方便后期可视化操作。

对要求中需要用到的相关数据分析的技能进行统计，以方便后期观察各岗位对于技能树的要求。处理结果如下图所示（1代表需要，0代表不需要）。

至此，数据预处理工作基本完成，清洗后数据共计6060条。

从分布情况可以看出，数据分析师岗位的月薪集中在元/月以及元/月这两个区间段，从12000元/月-25000元/月中间的这三个区间段也是数据比较集中的区域，说明这个行业具有一定的发展空间和潜力。

（2）各城市岗位数量分布情况

从如下两图可以看出，数据分析师的工作机会最多的城市是上海、广州、北京、深圳这四个超一线城市，杭州、成都、武汉、南京等一线城市紧随其后。

从下图看出，数据分析师岗位对于学历要求最多的是本科和大专，这两个学历的比重占到了全部数据的85.39%，可以看出数据分析师对于学历的要求比较宽松，当然如果是硕士甚至是博士学历会意味着你会有更多的选择，更好的机会和更高的收入。

（4）工作经验要求情况

从下图看出，数据分析师岗位对于工作经验要求最多的是1年经验、2年经验以及3-4年经验，1-4年的工作经验要求占到了所有数据的91.11%。近些年科学技术的突飞猛进，得益于互联网和智能手机的发展，数据分析、大数据和人工智能行业逐渐兴起，因兴起时间较短，所以数据分析师岗位对于工作经验的要求比较友好。

从下图看出，数据分析师对于从业者有一定的技能的要求，除去大家比较熟悉的excel之外，掌握数据库语言（sql）也是必备的技能。编程语言也是数据分析师需要点亮的技能树之一，其中以Python、R和Sas最为常见。当然如果你会挖掘、算法或者模型，无疑则是锦上添花。

从下图看出，对于数据分析师需求量最多的三个行业分别是互联网、计算机以及金融，而服装、通信以及快消等传统行业紧随其后。

（7）公司类型分布情况

从下图中看出，对于数据分析师需求最多是民营企业，占比到达了63.66%。另外国企、上市公司、合资公司以及外资企业对于数据分析师的需求度平分秋色，各占10%左右。

（8）公司规模分布情况

从下图可以看出，需求数据分析师的公司规模集中在50人-500人左右，这些公司大多以民营公司或者创业公司为主。

企业福利情况也是各位求职的小伙伴非常关心的要素之一，这么多福利中有没有哪些是让你非常心动的呢？

我所关心的因变量Y是数据分析师收入水平（元/月）。数据分析师的收入水平是多种因素综合作用的结果，我共收集了前程无忧网站的6060条与数据分析相关的数据，想对于数据分析师收入水平的相关影响因素进行更加深入的研究。

数据包括工作地点、学历、工作经验等5个变量，数据说明如下图所示。

从如下直方图可以看出，工资收入呈现右偏态分布，工资收入的均值为12008元/月，中位数为10000元/月。这一现象符合我们对于工资的基本认知，即存在少数高收入工作，从而拉高了工资的平均水平。

在本案例中，工资收入的最小值为1300元/月，所对应的工作是南京数据分析实习员；最大值为85000元/月，所对应的工作是杭州的高级数据分析师。

首先看学历因素以及工作经验因素，从分组箱线图中可以看出，学历以及工作经验对于工资收入的影响明显，存在一定的正相关。

再看公司类型因素，从分组箱线图可以看出，除去事业单位的工资收入水平明显偏高之外，其他公司类型的工资收入都比较接近。

接着来看行业类型以及工作地点因素，从分组箱线图可以看出，不同行业类型之间的工资收入水平比较接近，而在工作地点方面，上海、北京以及深圳的工资收入水平偏高。

综上所述，通过对数据的描述性分析，可以得出结论：对工资收入产生影响较大的因素包括学历、工作经验和工作地点。

通过这次对于“数据分析师”岗位的调研，相信各位小伙伴对于这个行业有了一些不同的了解和认识。虽然数据分析岗位的门槛比较友好，但是想要在这个行业有一个长远的发展，想要成为一名合格乃至优秀的数据分析师，除了需要不断积累、学习各种技能和知识以外，还要多思考，多总结，不断培养自己的数据思维以及分析能力，只有这样才能让自己在众人之中能够脱颖而出。漫漫长路，砥砺前行!

大数据的岗位可以分为三大类：大数据系统研发人员、大数据应用开发人才和大数据分析人才；最普遍同时需求也大的是大数据系统研发工程师、大数据应用开发工程师和数据分析师。

学大数据可以从事什么工作

在一个产品设计之前，为企业各项决策提供关键性数据支撑，实现企业数据价值的最大化，更好地实施差异化竞争，帮助企业在竞争中获得先机。

大数据基础设施的设计者、建设者和管理者，他们开发出可根据企业需要进行分析和提供数据的架构。同时，他们的架构还可确保系统能够平稳运行。

擅长处理散乱数据、各类不相干的数据，精通统计学的方法，能够通过监控系统获得原始数据，在统计学的角度上解释数据。

职责是通过分析将数据转化为企业能够使用的信息。他们通过数据找到问题，准确地找到问题产生的原因，为下一步的改进找到关键点。

将数据还原到产品中，为产品所用。他们能够用常人能理解的语言表述出数据所蕴含的信息，并根据数据分析结论推动企业内部做出调整。

大数据中的领导者，具备多种交叉科学和商业技能，能够将数据和技术转化为企业的商业价值。

学大数据可以从事什么工作岗位

数据分析师应该是当下大家听到过最多的大数据岗位，这个工作指的是不同行业中，从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具，提取、分析数据，实现数据的商业意义。

因此，作为一名数据分析师，你需要掌握SPSS、STATISTIC、Eviews、SAS等数据分析工具以及数据分析的营销思维。根据各大招聘平台的统计，数据分析师的月薪一般在10K多点。

这个工作一般是指从大量的数据中通过算法搜索隐藏于其中知识的工程技术专业人员。这些知识可用使企业决策智能化，自动化，从而使企业提高工作效率，减少错误决策的可能性，以在激烈的竞争中处于不败之地。

做数据挖掘要从海量数据中发现规律，这就需要一定的数学知识，尤其是要具备深厚的统计学基础，需要熟悉R、SAS、 SPSS等统计分析软件。数据下机器学习和算法实施相关经验，熟悉hadoop, hive, map-reduce等。总的来讲，这也是一份比较高薪的工作，月收入在20K~30K。

在企业中负责大数据产品数据挖掘算法与模型部分的设计，制定数据建模、数据处理和数据安全等架构规范并落地实施。数据算法工程师需要具备的知识有扎实的数据挖掘基础知识，精通机器学习、数学统计常用算法，掌握常见分布式计算框架和技术原理，如Hadoop、MapReduce、 Yarn、Storm、Spark等；熟悉Linux操作系统和Shell编程，至少熟练掌握一门编程语言。数据算法工程师也是属于高薪工作，月收入在20K~15K之间。