一份靠谱的数据开发从业指南

数据开发太庞大了

有小伙伴让我聊聊数据开发的职业规划和从业指南，因为数据开发从业人员的知识量实在是太太太大了，今天恰好这个机会好好聊聊。

我们先来看看 InfoQ 整理的这个图，技能树不是一般的庞大，如果你是大牛那忽略我上面说的一切，你能 handle 的。但是作为一个初级人员，那具体应该从哪里去切入呢？

原下载地址。https://raw.githubusercontent.com/TeamStuQ/skill-map/master/data/designbyStuQ/png-BigData-by-StuQ.png

数据开发是有很多种的

很多小伙伴一聊到数据挖掘呢，都会无法自拔地想到机器学习算法，其实嘛，绝大多数的数据岗位并不需要这么高深的知识。但是如果你掌握了技能书的更多内容呢，你可能可以对你数据的上下游有更加强的把控力度，你可能可以进阶到下一个阶段。

数据挖掘的技能树横向和纵向都是很深的，并不适合所有的门外汉，因为往深了学确实很难，需要机器学习、深度学习、概率论、线性代数、智能优化方法等很深层次的数学知识，需要分布式一致性的各种算法，需要资源调度的各种理论。

很多人都觉得要掌握所有的技能才能开始这项工作。两个字概括今天这篇文章，未必。一句话，每个岗位都有自己的侧重点，各项技能在每个岗位的权重都不一样。

数据从产生到被使用，最基础的链路就是。采集 -> 清洗 -> 处理 -> 分析 -> 决策。而在这个链路上，从前到后，所需要的技能是不一样的。一般来说，越处于后端门槛越高，复杂程度也越高。当然我不是说前面就不重要了，每一个环节都很重要，只是门槛高低而已。每个阶段做到牛逼你都可以很牛逼。

所以数据开发的职位从纵向来说，可以分为 数据采集工程师->ETL工程师->数据开发工程师->数据算法工程师->数据分析师。从横向来说，还可以有数据集群运维工程师、大数据平台开发工程师、数据治理架构师、数据服务架构师、大数据系统架构师、大数据框架开发工程师 这些职位来支持前面的这些流程更加方便快捷地开发和落地，以及更好地维护。

数据开发每一种需要什么技能呢？

从职业发展来说，一般来说有这么三条线，只是个人见解，大家看着食用。

主线1：给数据开发人员提供支持的线，就叫他服务支持线吧。

数据集群运维工程师->大数据平台开发工程师->大数据系统架构师->大数据框架开发工程师

主线2：为数据开发人员提供弹药，就叫他数据仓库线。

数据采集工程师->ETL工程师->数据治理架构师->数据服务架构师

主线3：为数据分析人员提供弹药，就叫他数据挖掘线。

数据开发工程师->数据算法工程师->数据分析师

而且会经常的，从主线1到主线3的过程中，越靠后的会越发现，前面的人做的什么玩意，数据太乱了，工具太特么难用了。这个时候可能会产生跳跃，去帮助前面的人完善一些东西。所以主线3的数据开发和数据算法人员经常会跳到主线2帮助数据仓库人员梳理数据层次，梳理数据服务的提供方式。主线3和主线2的人发现工具平台太难用或者集群不稳定，甚至可能开发框架有点难受，都会跳到主线1协助平台和框架的优化。

下面稍微说说三条主线，各自的技能点差异。

主线1：服务支持线

必选：Linux、Hadoop集群，Hive、Zookeeper、HBase、Ozzie、Flume

可选：Impala、各种框架源码

语言：shell、Python

建议路线：1、先学习基础的 Hadoop 集群维护技能，写一些 shell 脚本，使用定时调度功能。2、学会使用平台工具进行监控和维护，并参与到平台开发和工具开发中。3、对现有系统架构和框架进行重新架构或改良。

主线2：数据仓库线

必选：HiveQL、Spark、Hive、Flink、Kafka

可选：Storm、分布式一致性算法、JVM调优、MapReduce、BitTable

语言：Scala，SQL，Java

建议路线：1、学会从业务系统的关系型数据库中抽取数据。2、学会使用Hive SQL 对数据进行清洗。3、学会用 Spark、Flink 对数据进行各种处理和输出，若数据量太大则应该进行调优。4、学会对数据进行治理，对数据进行分层设计，对数据分布心理有数，对数据质量进行全方位监控。

主线3：数据挖掘线

必选：可视化技术、SQL、统计学、概率论、智能优化、机器学习工具（Tensorflow、scikit-learn）

可选：caffee，torch，OpenCV

语言：Python，R