近两年的程序员收入排行榜当中，大数据工程师无疑是带着“高薪”的光环的，并且相比于其他的技术开发岗位，比如Java、C、PHP等，薪资也要高出不少，因此也吸引着更多新人的加入。大数据工程师技能要求高吗？

大数据在国内的落地，至今也就是十来年，这十年中快速崛起的大数据市场，正在以不同的形式沉淀下来。行业当中对专业人才的需求，比如大数据工程师，大数据分析师等岗位，需求还会继续增加。

未来几年，大数据分析市场甚至可能不会被称为“大数据”，因为很多大数据分析取得的进展都是针对人工智能的，尽管其核心是数据驱动的，但实际上并不一定要依赖于大量的数据才能在应用中发挥作用。这些我们都暂时不谈。

大数据工程师，作为大数据核心岗位，现有的从业者，学历以本科为主，其中部分大专，还有部分硕士以上学历。作为初级开发者而言，大数据工程师的技能要求其实也没有大家想象的那么难。

初级大数据工程师通用技能要求如下：

1、Java编程

Java语言是基础，可以编写Web应用、桌面应用、分布式系统、嵌入式系统应用等。Java语言有很多优点，它的跨平台能力赢得了很多工程师的喜爱。

2、Linux基础命令

大数据开发一般在Linux环境下进行。大数据工程师使用的命令主要在三方面：查看进程，包括CPU、内存；排查故障，定位问题；排除系统慢的原因等。

3、Hadoop

Hadoop中使用最多的是HDFS集群和MapReduce框架。HDFS存储数据，并优化存取过程。MapReduce方便了工程师编写应用程序。

4、Spark

Hadoop MapReduce主要负责离线计算，而实时计算需求，现在主要有Spark来达成，初级工程师掌握Spark也是必须的。