本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，不适用于大数据工程师的进阶学习，也不适用于零编程基础的同学。

• 一、大数据相关的工作介绍
• 二、大数据工程师的技能要求
• 四、持续学习资源推荐（书籍，博客，网站）
• 五、项目案例分析（批处理+实时处理）

本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成功转型大数据工程师。

大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。

针对以上主要的4个特征我们需要考虑以下问题：

1. 数据来源广，该如何采集汇总？，对应出现了Sqoop，Cammel，Datax等工具。

2. 数据采集之后，该如何存储？，对应出现了GFS，HDFS，TFS等分布式文件存储系统。

3. 由于数据增长速度快，数据存储就必须可以水平扩展。

4. 数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？

   对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；

   普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；

   但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理（实质上是微批处理）。

5. 而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。

6. 为了提高工作效率，加快运速度，出现了一些辅助工具：

7. Hue，Zepplin：图形化任务执行管理，结果查看工具。
8. Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。
9. Python语言：编写一些脚本时会用到。
10. Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍，知道了他们为什么而出现或者说出现是为了解决什么问题，进行学习的时候就有的放矢了。

一、大数据相关工作介绍

大数据方向的工作目前主要分为三个主要方向:

二、大数据工程师的技能要求

附上大数据工程师技能图：

1. Java高级(虚拟机、并发)
2. Hive(Hql基本操作和原理理解）

假设每天可以抽出3个小时的有效学习时间，加上周末每天保证10个小时的有效学习时间；

1）Linux学习（跟鸟哥学就ok了）—–20小时

1. Linux操作系统介绍与安装。
2. Linux常用软件安装。

2）Java 高级学习（《深入理解Java虚拟机》、《Java高并发实战》）—30小时

3）Zookeeper学习（可以参照这篇博客进行学习：）

1. Zookeeper分布式协调服务介绍。
2. Zookeeper的原理以及选举机制。

1. • HDFS的概念和特性。
2. MapTask并发数的决定机制。
3. MapReduce中的序列化框架及应用。
4. MapReduce中的自定义分区实现。
5. MapReduce利用数据压缩进行优化。

5）Hive（《Hive开发指南》）–20小时

1. Hive 与传统数据库对比。
2. Hive 的数据存储机制。
3. 在Hive 中如何实现高效的JOIN查询。
4. Hive 的内置函数应用。
5. Hive 常用参数配置。

6. Hive 执行过程分析及优化策略

中文入门文档： 

1. Scala编译器安装。
2. 数组、映射、元组、集合。
3. 类、对象、继承、特质。
4. 理解Scala高阶函数。
5. 理解Scala隐式转换。

1. 执行第一个Spark案例程序（求PI）。

这个部分一般工作中如果不是数据挖掘，机器学习一般用不到，可以等到需要用到的时候再深入学习。

中文文档（但是版本有点老）： 

10）自己用虚拟机搭建一个集群，把所有工具都装上，自己开发一个小demo —30小时

可以自己用VMware搭建4台虚拟机，然后安装以上软件，搭建一个小集群（本人亲测，I7，64位，16G内存，完全可以运行起来，以下附上我学习时用虚拟机搭建集群的操作文档）

第三阶段（辅助工具工学习阶段）

1. Sqoop原理及配置说明
2. Sqoop数据导入实战
3. Sqoop数据导出实战、
4. Sqoop批量作业操作

推荐学习博客： 

1. FLUME日志采集框架介绍。
2. FLUME参数配置说明。
3. FLUME采集nginx日志案例（案例一定要实践一下）

推荐学习博客： 

1. 任务调度系统概念介绍。
2. 常用任务调度工具比较。
3. Oozie的配置说明。

推荐学习博客： 

推荐学习博客： 

第四阶段（不断学习阶段）

每天都会有新的东西出现，需要关注最新技术动态，不断学习。任何一般技术都是先学习理论，然后在实践中不断完善理论的过程。

1）如果你觉得自己看书效率太慢，你可以网上搜集一些课程，跟着课程走也OK 。如果看书效率不高就很网课，相反的话就自己看书。

2）企业目前更倾向于使用Spark进行微批处理，Storm只有在对时效性要求极高的情况下，才会使用，所以可以做了解。重点学习Spark Streaming。

3）快速学习的能力、解决问题的能力、沟通能力**真的很重要。

4）要善于使用StackOverFlow和Google（遇到解决不了的问题，先Google，如果Google找不到解决方能就去StackOverFlow提问，一般印度三哥都会在2小时内回答你的问题）。

可以去万能的淘宝购买一些视频课程，你输入“大数据视频课程”，会出现很多，多购买几份（100块以内可以搞定），然后选择一个适合自己的。个人认为小象学院的董西成和陈超的课程含金量会比较高。

1. 至于书籍当当一搜会有很多，其实内容都差不多。

1）点击流日志项目分析（此处借鉴CSDN博主的文章，由于没有授权，所以就没有贴过来，下面附上链接）—-批处理

2）Spark Streaming在京东的项目实战（京东的实战案例值得好好研究一下，由于没有授权，所以就没有贴过来，下面附上链接）—实时处理 

最后但却很重要一点:每天都会有新的技术出现，要多关注技术动向，持续学习。

以上内容不保证一年以后仍适用。

1. 前端恶棍 · 大漠穷秋 ：《》
2. 前端颜值担当 · 余博伦：《》
3. 技术总监及合伙人 · 杨彪：《》
4. 混元霹雳手 · 江湖前端：《》
5. 知名互联网公司安卓工程师 · 张拭心：《》

hive表的数据源有四种：

而hive表本身有两种:

而hbase的数据在hive中，可以建立对应的外部表（参看hive和hbase整合）

区别：删除时，内部表删除hadoop上的数据；而外部表不删，其数据在外部存储，hive表只是查看数据的形式，看时从外部读入数据:

外部表：用EXTERNAL 关键字，且必须在表结尾指定如下参数

其中，[ROW FORMAT DELIMITED]关键字，是设置建表时加载数据所支持的列分隔符；

另外，建表时，用户还要为表指定列，同时也会指定自定义的SerDe，Hive通过SerDe确定表的具体的列数据。

（1）本地或者hdfs导入：

导入的前提是目标表必须存在。如果无表要先建表，再导入：

建表时直接指定数据源（不能指定本地文件，必须是hdfs路径）：

有map类型结构，建表时需要指明：

这里，读取Hbase库的数据，可能会导入失败，因为scan时间过大，可以设置长时间

hbase与本地表jion时，可能出现启动后，无限等待。原因：

（1）导出到其他hive表：

（2）导出到本地，hdfs（有无local）：

导出本地时可以指定列分隔符，

导入到hdfs上不能指定列的分隔符：

但这样的数据在pig中无法读入，用'\001'或者'\\001'或者'^A'都无法读入。

解决办法：作为一个列整体读入后，在用STRSPLIT分隔按'\\001'（使用'^A'无效）,可以返回一个元组类似((a,b))，pig代码如下

指定导出全路径也不行。

2导出到本地，可以指定列分隔符：

导入到本地可直接用-e命令，默认使用\t分隔：

查询结果使用\t作为列分隔符，mytest中

vim中16进制（%!xxd）两位对应一个字符，看到"."对应的09，在asii码表中09，就是tab制表符

在学习HDFS之前我们首先了解一下什么是hadoop？

hadoop中有3个核心组件：

分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上

分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算

分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源

hdfs跟普通的单机文件系统有区别：

      （4）hdfs文件系统中存放的文件，是落在n多机器的本地单机文件系统中（hdfs是一个基于linux本地文件系统之上的文件系统）

node）<准确来说：切块的行为是由客户端决定的>

     （2）一旦文件被切块存储，那么，hdfs中就必须有一个机制，来记录用户的每一个文件的切块信息，及每一块的具体存储机器（负责记录块信息的角色是：name node）

     （3）为了保证数据的安全性，hdfs可以将每一个文件块在集群中存放多个副本（到底存几个副本，是由当时存入该文件的客户端指定的）

综述：一个hdfs系统，由一台运行了namenode的服务器，和N台运行了datanode的服务器组成！

一、首先需要准备N台linux服务器

先来了解一下虚拟机的网络机制：

再了解一下HDFS的整体工作机制：

二、修改各台机器的主机名和ip地址

看到的上述图片已经修改过的，特别注意点：

修改hosts文件对应的主机名ip映射

三、从windows中用CRT软件进行远程连接

在windows中将各台linux机器的主机名配置到的windows的本地域名映射文件中：

用crt连接上后，修改一下crt的显示配置（字号，编码集改为UTF-8）：

四、配置linux服务器的基础软件环境

若上述方法不能使用则：

 开始安装软件的准备工作：

1. 检验：在任意目录下输入命令： java -version 看是否成功执行
2. 将安装好的jdk目录用scp命令拷贝到其他机器
3. 将/etc/profile配置文件也用scp命令拷贝到其他机器并分别执行source命令

集群内主机的域名映射配置

然后，将hosts文件拷贝到集群中的所有其他机器上

4) 拷贝整个hadoop安装目录到其他机器

所谓的启动HDFS，就是在对的机器上启动对的软件

首先，初始化namenode的元数据目录

要在hdp-01上执行hadoop的一个命令来初始化namenode的元数据存储目录

1. 创建一个全新的元数据存储目录
2. 生成记录元数据的文件fsimage
3. 生成集群的相关标识：如：集群id——clusterID

启动完后，首先用jps查看一下namenode的进程是否存在

然后，启动众datanode们（在任意地方）

6) 用自动批量启动脚本来启动HDFS

1. 先配置hdp-01到集群中所有机器（包含自己）的免密登陆 ()

hdfs的客户端操作：

hdfs的客户端有多种形式：

1. 客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网

文件的切块大小和存储的副本数量，都是由客户端决定！

所谓的由客户端决定，是通过配置参数来定的

hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：

上面两个参数应该配置在客户端机器的hadoop目录中的hdfs-site.xml中配置

hdfs客户端的常用操作命令

 下载文件到客户端本地磁盘

移动hdfs中的文件（更名）

复制hdfs中的文件到hdfs的另一个目录

删除hdfs中的文件或文件夹

查看hdfs中的文本文件内容