大数据开发工程师前景工程师职业前景到底有多好

哪些大学可报考大数据专业?2017年大数据专业就业前景
你好,游客
哪些大学可报考大数据专业?2017年大数据专业就业前景
来源:36大数据&
  十二年寒窗苦读,一朝踏上高考路,一举成名天下知。
  高考,对于每一个学子都是一场无烟的战场,十几年的努力拼搏,只为这一刻能够走进自己梦想的校园。高考就像是鲤鱼跃龙门中的龙门一样,跃过去的学子就可以欢欢喜喜进入梦想大学校园,开启人生新的篇章,用知识改变命运。在距离2017年高考时间还剩下不到48小时的时间里,学院君想和你谈谈目前炙手可热的专业以及与高考相关的大数据。
  据教育部数据显示,目前,全国已有35所高等院校开通了大数据专业。也就是说,高考报志愿可直接报大数据专业的学校了。那么,哪些大学可以报考大数据专业呢?大数据专业的就业前景如何呢?
  全国有哪些高校开通了大数据专业呢?
  从统计表可以看出,开通了大数据专业的学校主要分布在一线城市(北京、上海、广州)以及云南、贵州和四川三个西南地区。
  高校填报志愿,过来人的建议,通常情况下:城市比学校更重要,学校比专业更重要。当然,考生也可以根据自己的实际情况(所在地、分数)来进行选择。
  专业介绍
  计算机科学与技术(数据科学与大数据技术方向)主要培养大数据科学与工程领域的复合型高级技术人才。毕业生具有信息科学、管理科学和数据科学基础知识与基本技能,掌握大数据科学与技术所需要的计算机、网络、数据编码、数据处理等相关学科的基本理论和基本知识,熟练掌握大数据采集、存储、处理与分析、传输与应用等技术,具备大数据工程项目的系统集成能力、应用软件设计和开发能力,具有一定的大数据科学研究能力及数据科学家岗位的基本能力与素质。毕业后能从事各行业大数据分析、处理、服务、开发和利用工作,大数据系统集成与管理维护等各方面工作,亦可从事大数据研究、咨询、教育培训工作。
  专业名称:计算机科学与技术专业(数据科学与大数据技术方向),本科四年制;
  2017年大数据专业就业前景
  大数据人才稀缺
  据数联寻英发布《大数据人才报告》显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万。
  据职业社交平台LinkedIn发布的《2016年中国互联网最热职位人才报告》显示,研发工程师、产品经理、人力资源、市场营销、运营和数据分析是当下中国互联网行业需求最旺盛的六类人才职位。其中研发工程师需求量最大,而数据分析人才最为稀缺。领英报告表明,数据分析人才的供给指数最低,仅为0.05,属于高度稀缺。数据分析人才跳槽速度也最快,平均跳槽速度为19.8个月。
  根据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万,而在BAT企业招聘的职位里,60%以上都在招大数据人才。
  大数据专业就业三大方向
  大数据主要的三大就业方向:大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。
  在此三大方向中,各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。
  大数据专业人才就业薪资
  1、基础人才-数据分析师
  北京数据分析平均工资:& 10630/月,取自 15526 份样本,较 2016 年,增长 9.4%。
  数据分析师岗位职责
  业务类别:技术
  业务方向:数据分析
  工作职责:
  1. 根据公司产品和业务需求,利用数据挖掘等工具对多种数据源进行诊断分析,建设征信分析模型并优化,为公司征信运营决策、产品设计等方面提供数据支持;
  2. 负责项目的需求调研、数据分析、商业分析和数据挖掘模型等,通过对运行数据进行分析挖掘背后隐含的规律及对未来的预测;
  3. 参与数据挖掘模型的构建、维护、部署和评估;
  4. 整理编写商业数据分析报告,及时发现和分析其中变化和问题,为业务发展提供决策支持;
  5. 独立完成项目需求管理、方案设计、实施管理和项目成果质量的把控;
  6. 参与编写项目相关文档。
  教育背景:
  学历:本科其它:
  经验要求:工作经验:3-5年
  任职要求:
  1. 统计学、数学或计算机、数理统计或数据挖掘专业方向相关专业本科或以上学历;有扎实的数据统计和数据挖掘专业知识;
  2. 熟练使用数理统计、数据分析、数据挖掘工具软件(SAS、R、Python等的一种或多种),能熟练使用SQL读取数据;
  3. 使用过 逻辑回归、神经网络、决策树、聚类 等的一种或多种建模方法;
  4. 3年以上数据分析工作经验,征信从业背景人员优先;
  5. 具有金融行业项目经验的相关经验者优先考虑;
  6. 主动性强,有较强的责任心,积极向上的工作态度,有团队协作精神。
  能力素养:
  良好的分析、归纳和总结能力,善于分析、解决实际问题; 主动性强,有较强的责任心,积极向上的工作态度,有团队协作精神。
  2、大数据开发工程师
  北京大数据开发平均工资:& 30230/月。
  大数据开发工程师/专家 岗位指责(引自 滴滴出行):
  职位描述:
  1、构建分布式大数据服务平台,参与和构建公司包括海量数据存储、离线/实时计算、实时查询,大数据系统运维等系统;
  2、服务各种业务需求,服务日益增长的业务和数据量;
  3、深入源码内核改进优化开源项目,解决各种hadoop、spark、hbase疑难问题,参与到开源社区建设和代码贡献;
  岗位要求:
  1、计算机或相关专业本科以上学历(3年以上工作经验);
  2、精通C++/Java/Scala程序开发(至少一种),熟悉Linux/Unix开发环境;
  3、熟悉常用开源分布式系统,精通Hadoop/Hive/Spark/Storm/Flink/HBase之一源代码;
  4、有大规模分布式系统开发、维护经验,有故障处理能力,源码级开发能力;
  5、具有良好的沟通协作能力,具有较强的分享精神;
  6、对Kudu、Kylin、Impala、ElasticSearch,github等系统有深入使用和底层研究者加分;
  3、Hadoop开发工程师
  北京hadoop平均工资:& 20130/月,取自 1734 份样本。
  Hadoop开发工程师岗位职责(引自新浪网):
  职位描述:
  1.参与优化改进新浪集团数据平台基础服务,参与日传输量超过百TB的数据传输体系优化,日处理量超过PB级别的数据处理平台改进,多维实时查询分析系统的构建优化;
  2.分布式机器学习算法在数据平台的构建与优化(包括常见的LR、GBDT、FM、LDA、Word2Vec及DNN等);
  3.深入源码改进各种开源大数据项目(包括Hadoop、Spark、Kafka、HBase等)。
  任职要求:
  1.计算机或相关专业本科以上学历;
  2.熟悉Linux环境下开发,熟练掌握C++/Java/Scala等一种以上编程语言;
  3.熟悉Hadoop生态系统相关项目,精通以下项目之一的源码(Hadoop/Spark/Kafka/HBase/Flume/ElasticSearch/Druid/Kylin);
  4.具备良好的学习能力、分析能力和解决问题的能力。
  4、数据挖掘工程师
  北京数据挖掘平均工资:& 21740/月,取自 3449 份样本,较 2016 年,增长 20.3%;
  数据挖掘工程师招聘要求(引自蚂蚁金服集团技术部):
  工作职责:
  1、在分布式系统上进行数据计算、挖掘、和实现算法;
  2、数据仓库模型设计和建立;
  3、数据梳理流程的实现和维护;
  4、物流场景下的地址文本、空间属性研究和分析。
  任职资格:
  1、本科以上学历,有扎实的统计学,数据挖掘,机器学习,自然语言识别理论基础,一种或几种以上的实际使用经验。
  2、熟悉聚类、分类、回归等机器学习算法和实现,对常见的核心算法和数据挖掘方法有透彻的理解和实际经验。
  3、深入理解Map-Reduce模型,对Hadoop、Hive、Spark、Storm等大规模数据存储于运算平台有实践经验。
  4、有扎实的计算机理论基础,至少熟悉一种编程语言,Java优先。
  5、有三年以上互联网公司或者海量数据处理工作经验,大数据挖掘、分析、建模经验
  5、算法工程师
  北京算法工程师平均工资:& 22640/月,取自 10176 份样本。
  算法工程师 招聘要求(引自美团点评数据平台部):
  职位描述:
  互联网公司背景优先
  A、广告算法
  岗位职责:
  1.负责点击率预估等主要广告算法的技术选型;
  2.负责核心算法的开发;
  3.负责广告大数据处理流程的建设及相关工具的研发;
  4.负责广告技术研究项目的推进与管理;
  职位需求:
  1.计算机或相关专业本科以上学历,3年以上相关工作经验;
  2.熟练掌握一门开发语言;
  3.有机器学习、数据挖掘相关知识;
  4.在广告、搜索、推荐等相关领域之一有技术研究工作经验;
  5.有较强的沟通协调能力;
  B、推荐算法
  职位描述:
  1. 参与各个产品线的个性化推荐系统的研发;
  2. 分析用户行为数据,并设计合理的推荐算法模型及策略,并优化推荐排序;
  3. 通过对用户行为数据的挖掘,对用户进行建模,精准刻画用户各种属性;
  职位要求:
  1. 全日制本科及以上学历,计算机相关专业;
  2. 熟练掌握各类个性化推荐算法,并有开发个性化推荐系统的实际项目经验;熟练掌握各类回归及排序算法,能够利用相关算法进行推荐排序的优化;
  3. 熟练掌握分类、聚类、回归、降维等经典机器学习算法和技术,能够根据实际问题选择合适的模型和算法并进行相应的开发;
  4. 有较强的工程架构和开发能力,能够实现支撑千万级用户和TB级用户行为数据的推荐系统或算法;
  5. 掌握python、matlab等脚本语言,熟悉各类数据挖掘工具(如weka、Mahout),能够快速建立模型并进行验证;
  C、算法工程师
  岗位职责:
  1、开发和优化用户行为数据挖掘,文本分类和语义理解,社交网络分析,网页搜索,推荐系统等领域的特定算法
  2、能够很快学习和利用state-of-the-art的算法解决实际产品问题,提升产品用户体验
  任职资格:
  1、有一定的研究、实验的能力,优秀的分析问题和解决问题的能力
  2、理解自然语言处理、机器学习、网页搜索,推荐系统,用户数据分析和建模的基本概念和常用方法,有相关领域的实际项目研发或者实习经历者优先。
  3、熟悉C++, Java或Python,熟悉Linux或类Unix系统开发,有较强的编程能力。 能独立实现线上算法模块者优先。
  4、对大数据处理平台和工具有一定经验者优先, 包括: Hadoop, Hive, Pig, Spark 等
  最后一个问题,哪些公司需求大数据人才?
  答:所有的公司。大到世界500强,BAT这样的公司,小到创业公司,他们都需求数据人才。
  马云爸爸说&我们已从IT时代进入了DT时代,未来我们的汽车、电灯泡、电视机、电冰箱等将全部装上操作系统,并进行数据集成,数据将会让机器更&聪明&。DT时代,数据将成为主要的能源,离开了数据,任何组织的创新都基本上是空壳。&
  数据,未来的一切。
  本文转载自:36大数据
相关新闻 & & &
尊重网上道德,遵守中华人民共和国的各项有关法律法规
承担一切因您的行为而直接或间接导致的民事或刑事法律责任
本站管理人员有权保留或删除其管辖留言中的任意内容
本站有权在网站内转载或引用您的评论
参与本评论即表明您已经阅读并接受上述条款热门推荐:
  大数据文摘作品,转载要求见文末
  作者 | SAURABH
  编译 | 张伯楠,万如苑,刘云南
  大数据的领域非常广泛,往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多,这同样使得初学者难以选择从何处下手。
  这正是我想要撰写本文的原因。本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路,提供帮助。目前我们面临的最大挑战就是根据我们的兴趣和技能选定正确的角色。
  为了解决这个问题,我在本文详细阐述了每个与大数据有关的角色,同时考量了工程师以及计算机科学毕业生的不同职位角色。
  我尽量详细地回答了每一项人们在学习大数据过程中遇到或可能会遇到的问题。为帮助你根据兴趣选择发展途径,我添加了一组树图,相信会对你找到正确的途径有所帮助。
  注释:学习之路树状图
  在这个树状图的帮助下,你可以根据你的兴趣和目标选择路径。 然后,你可以开始学习大数据的旅程了。 后台回复“职业路径”3个字,下载高清版本。
  目录表
  1.如何开始?
  2.在大数据领域有哪些职位需求?
  3.你的领域是什么,适合什么方向?
  4.勾勒你在大数据领域的角色
  5.如何成为一名大数据工程师?
  o什么是大数据行业术语?
  o你需要了解的系统和结构
  o学习去设计解决方案并且学习相关技术
  6.大数据学习路径
  7.资源
  1.如何开始?
  人们想开始学习大数据的时候,最常问我的问题是,“我应该学Hadoop(hadoop是一款开源软件,主要用于分布式存储和计算,他由HDFS和MapReduce计算框架组成的,他们分别是Google的GFS和MapReduce的开源实现。由于hadoop的易用性和可扩展性,因此成为最近流行的海量数据处理框架。hadoop这个单词来源于其发明者的儿子为一个玩具大象起的名字。), 分布式计算,Kafka(Kafka是由LinkedIn开发的一个分布式基于发布/订阅的消息系统),NoSQL(泛指非关系型的数据库)还是Spark(Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处)?”
  而我通常只有一个答案:“这取决于你究竟想做什么。”
  因此,让我们用一种有条理的方式来解决这个问题。我们将一步步地探索这条学习之路。
  2. 在大数据行业有哪些职业需求?
  在大数据行业中有很多领域。通常来说它们可以被分为两类:
大数据工程
大数据分析
  这些领域互相独立又互相关联。
  大数据工程涉及大量数据的设计,部署,获取以及维护(保存)。大数据工程师需要去设计和部署这样一个系统,使相关数据能面向不同的消费者及内部应用。
  而大数据分析的工作则是利用大数据工程师设计的系统所提供的大量数据。大数据分析包括趋势、图样分析以及开发不同的分类、预测预报系统。
  因此,简而言之,大数据分析是对数据的高级计算。而大数据工程则是进行系统设计、部署以及计算运行平台的顶层构建。
  3.你的领域是什么,适合什么方向?
  现在我们已经了解了行业中可供选择的职业种类,让我们想办法来确定哪个领域适合你。这样,我们才能确定你在这个行业中的位置。
  通常来说,基于你的教育背景和行业经验我们可以进行如下分类:
  (包括兴趣,而不一定与你的大学教育有关)
计算机科学
计算机工程师(在数据相关领域工作)
  因此,通过上面的分类,你可以把自己的领域定位如下:
  例1:“我是一名计算机科学毕业生,不过没有坚实的数学技巧。”
  你对计算机科学或者数学有兴趣,但是之前没有相关经验,你将被定义为一个新人。
  例2:“我是一个计算机科学毕业生,目前正从事数据库开发工作。”
  你的兴趣在计算机科学方向,你适合计算机工程师(数据相关工程)的角色。
  例3:“我正作为数据科学家从事统计工作。”
  你对数学领域有兴趣,适合数据科学家的职业角色。
  因此,参照着定位你的领域吧。
  (此处定义的领域对你确定在大数据行业的学习路径至关重要。)
  4.根据领域规划你的角色
  现在你已经确定了你的领域,下一步,让我们规划出你要努力的目标职位吧。
  如果你有卓越的编程技巧并理解计算机如何在网络(基础)上运作,而你对数学和统计学毫无兴趣,在这种情况下,你应该朝着大数据工程职位努力。
  如果你擅长编程同时有数学或者统计学的教育背景或兴趣,你应该朝着大数据分析师职位努力。
  5.如何成为一名大数据工程师
  让我们先定义一下,一名受到行业承认的大数据工程师都需要学习和了解什么。首先以及最重要的一步是确认你的需求。你不能在不清楚个人需求的情况下直接开始学习大数据。否则,你将一直盲人摸象。
  为了明确你的需求,你必须了解常用的大数据术语。所以让我们来看一下大数据到底意味着什么?
  5.1 大数据术语
  大数据工程通常包括两个方面 C 数据需求以及处理需求。
  5.1.1 数据需求术语
  结构:你应该知道数据可以储存在表中或者文件中。储存在一个预定义的数据模型(即拥有架构)中的数据称为结构化数据。如果数据储存在文件中且没有预定义模型,则称为非结构化数据。(种类:结构化/非结构化)。
  容量:我们用容量来定义数据的数量。(种类:S/M/L/XL/XXL/流)
  Sink吞吐量:用系统所能接受的数据率来定义Sink吞吐量。(种类:H/M/L)
   源吞吐量:定义为数据更新和转化进入系统的速度。(种类:H/M/L)
  5.1.2 处理需求术语
  查询时间:系统查询所需时间。(种类:长/中/短)
  处理时间:处理数据所需时间。(种类:长/中/短)
  精度:数据处理的精确度。(种类:准确/大约)
  5.2 你需要知道的系统和架构
  情景1:
  为分析一个公司的销售表现需要设计一个系统,即创建一个数据池,数据池来自于多重数据源,比如客户数据、领导数据、客服中心数据、销售数据、产品数据、博客等。
  5.3 学习设计解决方案和技术
  情节1的解决方案:销售数据池
  (这是我的个人解决方案,如果你想到一个更高明的解决方案请在下面分享一下)
  那么,一个数据工程师会怎样解决这个问题呢?
  需要记住的一点是,大数据系统的目的不仅仅是无缝整合各种来源的数据,而使其可用,同时它必须能使得,用于开发应用系统的数据的分析和利用变得简单迅速和易得(在这个案例中是智能控制面板)。
  定义最后的目标:
  1. 通过整合各种来源的数据创建一个数据池。
  2. 每隔一定时间自动更新数据(在这个案例中可能是一周一次)。
  3. 可用于分析的数据(在记录时间内,甚至可能是每天)
  4. 易得的架构和无缝部署的分析控制面板。
  既然我们知道了我们最后的目标,让我们尽量用正式术语制定我们的要求吧。
  5.3.1 数据相关要求
  结构:大部分数据是结构化的,并具有一个定义了的数据模型。但数据源如网络日志,客户互动/呼叫中心数据,销售目录中的图像数据,产品广告数据等是非结构化的。 图像和多媒体广告数据的可用性和要求可能取决于各个公司。
  结论:结构化和非结构化数据
  大小:L或XL(选择Hadoop)
  Sink 吞吐量:高
  质量:中等(Hadoop&Kafka)
  完整性:不完整
  5.3.2 处理相关要求
  查询时间:中至长
  处理时间:中至短
  精度:准确
  随着多个数据源的集成,重要的是要注意不同的数据将以不同的速率进入系统。 例如,网络日志可用高颗粒度连续流进入系统。
  基于上述我们对系统要求的分析,我们可以推荐以下大数据体系。
  6.大数据学习路径
  现在,你已经对大数据行业,大数据从业人员的不同角色和要求有所了解。 我们来看看你应该遵循哪条路来成为一名大数据工程师。
  我们知道大数据领域充斥着多种技术。 因此,你学习与你的大数据工作角色相关的技术非常重要。这与任何常规领域有点不同,如数据科学和机器学习中,你可以从某些地方开始并努力完成这一领域内的所有工作。
  下面你会发现一个你应该通过的树状图,以找到你自己的路。即使树状图中的一些技术被指向是数据科学家的强项,但是如果你走上一条路,知道所有的技术直到“树叶节点”总是很好的。 该树状图源自lambda架构范例。
  注释:学习之路树状图
  任何想要调配应用程序的工程师必须知道的基本概念之一是Bash 脚本编程。你必须对linux和bash 脚本编程感到舒适。这是处理大数据的基本要求。
  核心是,大部分大数据技术都是用Java或Scala编写的。但是别担心,如果你不想用这些语言编写代码,那么你可以选择Python或者R,因为大部分的大数据技术现在都支持Python和R。
  因此,你可以从上述任何一种语言开始。 我建议选择Python或Java。
  接下来,你需要熟悉云端工作。 这是因为如果你没有在云端处理大数据,没有人会认真对待。 请尝试在AWS,softlayer或任何其他云端供应商上练习小型数据集。 他们大多数都有一个免费的层次,让学生练习。如果你想的话,你可以暂时跳过此步骤,但请务必在进行任何面试之前在云端工作。
  接下来,你需要了解一个分布式文件系统。最流行的分布式文件系统就是Hadoop分布式文件系统。在这个阶段你还可以学习一些你发现与你所在领域相关的NoSQL数据库。下图可以帮助你选择一个NoSQL数据库,以便根据你感兴趣的领域进行学习。
  到目前为止的路径是每个大数据工程师必须知道的硬性基础知识。
  现在,你决定是否要处理数据流或静止的大量数据。 这是用于定义大数据(Volume,Velocity,Variety和Veracity)的四个V中的两个之间的选择。
  那么让我们假设你已经决定使用数据流来开发实时或近实时分析系统。 之后你应该采取卡夫卡(kafka)之路,或者还可以采取Mapreduce的路径。然后你按照你自己创建的路径。 请注意,在Mapreduce路径中,你不需要同时学习pig和hive。 只学习其中之一就足够了。
  总结:通过树状图的方式。
从根节点开始,并执行深度优先的通过方式。
在每个节点停止查验链接中给出的资源。
如果你有充足的知识,并且在使用该技术方面有相当的信心,那么请转到下一个节点。
在每个节点尝试完成至少3个编程问题。
移动到下一个节点。
到达树叶节点。
从替代路径开始。
  最后一步(#7)阻碍你! 说实话,没有应用程序只有流处理或慢速延迟数据处理。 因此,你在技术上需要成为执行完整的lambda架构的高手。
  另外,请注意,这不是学习大数据技术的唯一方法。 你可以随时创建自己的路径。 但这是一个可以被任何人使用的路径。
  如果你想进入大数据分析世界,你可以遵循相同的路径,但不要尝试让所有东西都变得完美。
  对于能够处理大数据的数据科学家,你需要在下面的树状图中添加一些机器学习渠道,并将重点放在机器学习渠道上,而不是下面提供的树状图。 但我们可以稍后讨论机器学习渠道。
  根据你在上述树状图中使用的数据类型,添加选择的NoSQL数据库。
  该表格表示数据存储类型要求及相应的软件选择
  如你所见,有大量的NoSQL数据库可供选择。 所以它常常取决于你将要使用的数据类型。
  而且为了给采用什么类型的NoSQL数据库提供一个明确的答案,你需要考虑到你的系统需求,如延迟,可用性,弹性,准确性当然还有你当前处理的数据类型。
  7.资源
  初学者的Bash指南,来自Machtelt Garrels
  1.Python
让每个人变成python专家,来自Coursera(https://www.coursera.org/specializations/python)
用Python学数据科学之路,来自Coursera(/learning-paths-data-science-business-analytics-business-intelligence-big-data/)
  2. Java
Java编程简介1:开始使用Java编码,来自 Udemy(https://www.edx.org/course/introduction-programming-java-1-starting-uc3mx-it-1-1x)
中级和高级Java编程,来自Udemy(/intermediate-advanced-java-programming/)
Java 编程介绍2,来自 Udemy(https://www.edx.org/course/introduction-programming-java-2-writing-uc3mx-it-1-2x)
面向对象Java编程:数据结构和超越专业化,来自Coursera(https://www.coursera.org/specializations/java-object-oriented)
大数据技术基础,来自亚马逊网络服务(https://www.edx.org/course/introduction-programming-java-starting-uc3mx-it-1-1x)
AWS上的大数据,来自亚马逊网络服务(/training/course-deions/bigdata/)
  4. HDFS
大数据和Hadoop 要点,来自 Udemy(/big-data-and-hadoop-essentials-free-tutorial/)
大数据基础,来自大数据大学(/learn/big-data/)
Hadoop入门工具包(/hadoopstarterkit/)
Apache Hadoop文档(https://hadoop.apache.org/docs/r2.7.2/)
书--Hadoop集群部署(/product/8.do)
  5. Apache Zookeeper
Apache Zookeeper文档(/product/1.do)
书 - Zookeeper(https://zookeeper.apache.org/doc/r3.4.6/)
6. Apache Kafka
完整初学者Apache Kafka课程(/product/1.do)
学习Apache Kafka基础和高级主题(/learn-apache-kafka-basics-and-advanced-topics/)
Apache Kafka文档(https://kafka.apache.org/documentation/)
书 - 学习Apache Kafka(https://www.amazon.in/Learning-Apache-Kafka-Nishant-Garg-ebook/dp/B00U2MI8MI/256-4049?_encoding=UTF8&tag=googinhydr18418-21)
  7. SQL
用MySQL管理大数据(/beginners-guide-to-postgresql/)
SQL课程()
PostgreSQL初学者指南(/beginners-guide-to-postgresql/)
高性能MySQL(/product/3.do)
  8. Hive
使用Hive访问Hadoop数据(https://cognitiveclass.ai/learn/big-data/0
学习Apache Hadoop生态系统 Hive(https://cognitiveclass.ai/learn/big-data/)
Apache Hive文档(https://hive.apache.org)
Hive编程(https://hive.apache.org)
  9. Pig
Apache Pig 101,来自大数据大学(https://cognitiveclass.ai/courses/introduction-to-pig/)
用Hadoop与Apache Pig编程(/courses/introduction-to-pig/)
Apache Pig文档(/product/3.do)
书 - Pig编程(https://pig.apache.org/docs/r0.12.0/)
  10. Apache Storm
使用Apache Storm实时分析(/course/real-time-analytics-with-apache-storm--ud381)
Apache Storm文档(/course/real-time-analytics-with-apache-storm--ud381)
11. Apache Kinesis
Apache Kinesis文档(/cn/documentation/kinesis/)
Amazon Kinesis通过Amazon Web Services流式浏览开发人员资源(/cn/documentation/kinesis/)
亚马逊Kinesis Streams开发人员资源,来自亚马逊网络服务(/documentation/kinesis/)
  12. Apache Spark
数据科学、工程与Apache(https://www.edx.org/xseries/data-science-engineering-apache-spark)
Apache Spark文档(https://www.edx.org/xseries/data-science-engineering-apache-spark)
书 - 学习Spark(https://www.edx.org/xseries/data-science-engineering-apacher-sparktm)
  13. Apache Spark Streaming
Apache Spark Streaming文档(http://spark.apache.org/streaming/)
  我希望你们喜欢阅读这篇文章。 借助这种学习途径,你将能够踏上你在大数据行业的旅程。 我已经叙述了大部分你找工作会要求的主要概念。
  来源:/blog/2017/03/big-data-learning-path-for-all-engineers-and-data-scientists-out-there/
请先登录再操作
请先登录再操作
微信扫一扫分享至朋友圈
普及数据思维,传播数据文化;专注大数据,每日有分享。
知名IT评论人,曾就职于多家知名IT企业,现是科幻星系创建人
未来在这里发声。
新媒体的实践者、研究者和批判者。
立足终端领域,静观科技变化。深入思考,简单陈述。
智能硬件领域第一自媒体。}

我要回帖

更多关于 大数据测试工程师前景 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信