先说下大数据开发的技能点都需要点在哪吧。以下都是个人观点。你可以多问问其他人。对我的总结进行指正或补充。 按分工。大数据基本分为。爬虫。etl。数仓。大数据开发。bi。算法模型。。。还有和开发关系不大的数据分析。数据产品。我只说前面几个的技能点。 一。爬虫。 这方面我了解不多。只说他的应用场景。基本上就是通过模拟请求获取其他网站的数据。供自己公司做分析使用。或者。其他用途。 二。etl。 需要了解的组件最多。包括但不限于。 日志收集类。如 flume.logstash 数据迁移类。如 kettle.datax 数据存储类。如 任务调度类。如小海豚。azkaban 集群协调类。如 zk 以上基本涵盖 etl 工作涉及的组件。具体专精哪一个。视你对组件设计的理解程度。 如果听到预聚合。你能想到使用了这种思路的组件的名字。及各自的实现方式的异同。优缺点。那我个人觉得。你已经有了相当的经验了。 三。数仓 传统 dba 比较适合转型的岗位。需要有丰富的同类型业务经验。相比技术积累。更吃行业经验 四。大数据开发 一句话概括。用各种方式写 sql。有一定的业务经验。清楚日常业务指标的统计逻辑。然后就是。怎么用 hive 的 api 写 job。scala 的 api 写 job。flink 的 api 写 job。极少数涉及组件的二次开发。日常一些简单的预处理过程实现。web 小工程。如果有算法。可能还需要帮他们写模型服务的工程代码。甚至去搭中台。活很杂。需要各种开发能力。与传统 web 开发相比。不太需要考虑 2c 时可能遇到的问题。如用户检验。请求的幂等。服务治理等。。 五。bi 偏前端。做数据展示。后台开发能力基本到增删改查即可 六。算法模型 数学基础。统计学基础。模型选型能力。论文阅读能力。github 检索能力。调参能力。极少数需要具备模型二次开发能力。 以上基本涵盖大数据整个生态的技能点。很多单位目前也有知识图谱等等的产品。不过大数据产品一般都面向内部。和业务挂钩比较紧。很少做成个项目拿出去卖。不过专门卖这种产品的也不少。。总之这个领域新出现的东西。。偏上层的。归入算法和开发。偏底层的归入 etl 和开发。。如果你选这几个方向。可能需要一直学习。任何一个新组件。新模型的出现。都可能带来很大的工作量。但是学到的东西。自然也是最多的。 我个人是本科学历非计算机专业的大数据从业者。 当初选择转型基于两个原则。 一。一个领域。如果技术的革新速度比经验的积累速度更快。那就还是朝阳。还可以进去。 二。新的领域适合愿意浪费时间试错的年轻人。不适合追新技术追到麻木的老人。如果学到新东西给你带来的成就感不及涨薪水来的澎湃。那就别转。 目前大数据领域的生态。还很不完善。从日志的收集到恰好一次的统计。都是未完待续的故事。。新东西还在不断出现。既懂工程实现又通算法的人才非常稀缺。个人认为机遇还是蛮多的。 至于你问的开始学大数据靠谱嘛。。我没法回答你。我只能告诉你我看到的这个领域的现状。如果你也看好他的前景。希望在这个领域有自己的一番作为。 那我把当初让我下定决心的那句话也送给你。 种一棵树最好的时间是十年前。其次是现在。