数字化工程师如何自学

近日，由中国软件网、海比研究联合中国软件行业协会应用软件产品云服务分会，发布了《2017年中国大数据可视化市场研究报告》。

东软凭借两款大数据可视化产品，在2017年中国大数据可视化市场份额排名中，位居第三，并成为收入增长最快的厂商，增长率超过100%！

在大数据秒级分析的基础上，东软的DataViz，在数据可视化领域不断突破。近百种数据可视化形式，GIS地图可视化、3D可视化，一组杂乱无序的业务数据，分分钟就能变成炫酷动图。

DataViz 定位敏捷BI，面向业务人员提供自助式数据探索与可视化分析服务。平台提供可视化接入数据源、可视化定义数据集、自助式可视化分析工具和交互式故事板等功能，旨在以自助式数据探索与可视化分析方式，帮助企业用户快速准确地洞悉数据背后隐藏的商业价值，让企业决策更“有据可依”。

DataViz 提供固定分辨率功能，可以按照大屏的尺寸进行精准的可视化布局和实现，并可以按照长边铺满等进行宽高适应。与此同时，DataViz可以自由设定背景图片、背景色等，提供实时效果预览，轻松在本地电脑即可制作大屏可视化仪表板，例如在大屏界面中，通过地图、折线图、柱状图、列表等图表，展现数据分析大屏。

我们置身于大数据时代，有效的利用大数据决定着我们未来，而大数据可视化工具，是您必不可少的工具。从大数据分析到大数据展现，这次，东软不仅拼实力，还拼颜值！

1.大数据工程师工作中会做什么？集群运维：安装、测试、运维各种大数据组件数据开发：细分一点的话会有ETL工程师、数据仓库工程师等数据系统开发：偏重Web系统开发，比如报表系统、推荐系统等这里面有很多内容其实是十分重合的，下面大致聊一下每一块内容大致需要学什么，以及侧重点。2.集群运维数据工程师，基本上是离不开集群搭建，比如hadoop、Spark、Kafka，不要指望有专门的运维帮你搞定，新组件的引入一般都要自己来动手的。因此这就要求数据工程师了解各种大数据的组件。由于要自己的安装各种开源的组件，就要求数据工程师要具备的能力： Linux 。要对Linux比较熟悉，能各种自己折腾着玩。由于现在的大数据生态系统基本上是 JVM系的，因此在语言上，就不要犹豫了，JVM系的Java和Scala基本上跑不掉，Java基本上要学的很深，Scala就看情况了。3. ETLETL在大数据领域主要体现在各种数据流的处理。这一块一方面体现在对一些组件的了解上，比如Sqoop、Flume、Kafka、Spark、MapReduce;另一方面就是编程语言的需要，Java、Shell和Sql是基本功。4.系统开发我们大部分的价值最后都会由系统来体现，比如报表系统和推荐系统。因此就要求有一定的系统开发能力，最常用的就是 Java Web这一套了，当然Python也是挺方便的。需要注意的是，一般数据开发跑不掉的就是各种提数据的需求，很多是临时和定制的需求，这种情况下， Sql就跑不掉了，老老实实学一下Sql很必要。如何入门？前面提到了一些数据工程师会用到的技能树，下面给一个入门的建议，完全个人意见。1.了解行业情况刚开始一定要了解清楚自己和行业的情况，很多人根本就分不清招聘信息中的大数据和数据挖掘的区别就说自己要转行，其实是很不负责的。不要总是赶热点，反正我就是经常被鄙视做什么大数据开发太Low，做数据就要做数据挖掘，不然永远都是水货。2.选择学习途径如果真是清楚自己明确地想转数据开发了，要考虑一下自己的时间和精力，能拿出来多少时间，而且在学习的时候最好有人能多指点下，不然太容易走弯路了。在选择具体的学习途径时，要慎重一点，有几个选择：自学报班找人指点别的不说了，报班是可以考虑的，不要全指望报个辅导班就能带你上天，但是可以靠他帮你梳理思路。如果有专业从事这一行的人多帮帮的话，是最好的。不一定是技术好，主要是可沟通性强。3.学习路线学习路线，下面是一个大致的建议：第一阶段先具备一定的Linux和Java的基础，不一定要特别深，先能玩起来，Linux的话能自己执行各种操作，Java能写点小程序。这些事为搭建Hadoop环境做准备。学习Hadoop，学会搭建单机版的Hadoop，然后是分布式的Hadoop，写一些MR的程序。接着学学Hadoop生态系统的其它大数据组件，比如Spark、Hive、Hbase，尝试去搭建然后跑一些官网的Demo。Linux、Java、各种组件都有一些基础后，要有一些项目方面的实践，这时候找一些成功案例，比如搜搜各种视频教程中如何搞一个推荐系统，把自己学到的用起来。第二阶段到这里是一个基本的阶段了，大致对数据开发有一些了解了。接着要有一些有意思内容可以选学。数据仓库体系：如何搞数据分层，数据仓库体系该如何建设，可以有一些大致的了解。用户画像和特征工程：这一部分越早了解越好。一些系统的实现思路：比如调度系统、元数据系统、推荐系统这些系统如何实现。第三阶段下面要有一些细分的领域需要深入进行，看工作和兴趣来选择一些来深入进行分布式理论：比如Gossip、DHT、Paxo这些构成了各种分布式系统的底层协议和算法，还是要学一下的。数据挖掘算法：算法是要学的，但是不一定纯理论，在分布式环境中实现算法，本身就是一个大的挑战。各种系统的源码学习：比如Hadoop、Spark、Kafka的源码，想深入搞大数据，源码跑不掉。

大数据是众多学科与统计学交叉产生的一门新兴学科。大数据牵扯的数据挖掘、云计算一类的，所以是计算机一类的专业。分布比较广，应用行业较多。

零售业：主要集中在客户营销分析上，通过大数据技术可以对客户的消费信息进行分析。获知客户的消费习惯、消费方向等，以便商场做好更合理商品、货架摆放，规划市场营销方案、产品推荐手段等。

金融业：在金融行业里头，数据即是生命，其信息系统中积累了大量客户的交易数据。通过大数据可以对客户的行为进行分析、防堵、金融风险分析等。

医疗业：通过大数据可以辅助分析疫情信息，对应做出相应的防控措施。对人体健康的趋势分析在电子病历、医学研发和临床试验中，可提高诊断准确性和药物有效性等。

制造业：该行业对大数据的需求主要体现在产品研发与设计、供应链管理、生产、售后服务等。通过数据分析，在产品研发过程中免除掉一些不必要的步骤，并且及时改善产品的制造与组装的流程。

Java ：只要了bai解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确。Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。Kafka：这是个比较好用的队列工具。Spark：它是用来弥补基于MapReduce处理数据速度上的缺点。请点击输入图片描述

今天小聚准备了书单,给你一个保姆级别的规划，帮助大家学习数据分析。先上一个思维导图，方便大家收藏。‍

入门数据分析类

师父领进门，修行在个人。下面这两本书是入门数据分析必看的书籍，也是检验自己是否真的喜欢数据分析。

从0到1:《深入浅出数据分析》

为什么是它？借用一位读者的评价“我家的猫都喜欢这本书！”

01 内容简介

以类似“章回小说”的活泼形式，生动地向读者展现优秀的数据分析人员应知应会的技术；正文以后，意犹未尽地以三篇附录介绍数据分析十大要务、R工具及ToolPak工具，在充分展现目标知识以外，为读者搭建了走向深入研究的桥梁。

02 推荐理由

书名已经很好地表现出了这本书的优点——“深入浅出”。忘记烦恼，这本书与现实世界紧密互动，让你不再只有枯燥的理论，并且将知识图形化，复杂的概念简单化。

经典小黄书：《谁说菜鸟不会数据分析》

是本很好的书，但看过之后，这本书就真一文不值了。

01 内容简介

很多人看到数据分析就望而却步，担心门槛高，无法迈入数据分析的门槛。《谁说菜鸟不会数据分析》努力将数据分析写成像小说一样通俗易懂，使读者可以在无形之中学会数据分析,按照数据分析工作的完整流程来讲解。

02 推荐理由

数据分析的入门极品，但真的很入门,优缺兼有。对于入门理解来说是绝佳选择,对之后的修炼还是不够的。建议之前全都是自己瞎摸瞎撞搞数据分析的同学进行阅读，颇有醍醐灌顶之感。

分析工具类

与数据分析相关的工具非常之多，我们常用的有Excel、PPT、SQL等。如果您想精通他们，直接在哔哩哔哩搜索聚数云海，即可找到相关优质课程。

大家常说的Excel，但是不要以为你很会Excel！Excel是所有职场人必备的办公软件。Excel功能非常强大，在数据量不是很大的情况下，基本上都能用Excel实现数据分析。推荐如下书籍：

《Excel高效办公数据处理与分析》

01 内容简介

根据现代企业决策和管理工作的主要特点，从实际应用出发，介绍了Excel强大的数据处理与分析功能在企业决策和管理工作中的具体应用。

02 推荐理由

本书同时提供了大量需要你做的实例，学而不练是不存在的！

《别怕，Excel函数其实很简单》

01 内容简介

《别怕，Excel 函数其实很简单》用浅显易懂的图文、生动形象的比喻以及大量实际工作中的经典案例，介绍了Excel最常用的一部分函数的计算原理和应用技巧,还介绍了数据的科学管理方法，以避免从数据源头就产生问题。

02 推荐理由

适合希望提高办公效率的职场人士，特别是经常需要处理分析大量数据并制作统计报表的相关人员，以及相关专业的高校师生阅读,小白需谨慎！

2. SQL

SQL是数据分析的基础，是想要学会数据分析能力的必备技能。那这里我只给大家介绍三本书，第一本书零基础入门，第二是进阶，第三本是SQL中的字典，话不多说，我们直接上架。

《SQL基础教程》

01 推荐理由

介绍了关系数据库以及用来操作关系数据库的SQL语言的使用方法。书中通过丰富的图示、大量示例程序和详实的操作步骤说明，让读者循序渐进地掌握SQL的基础知识和使用技巧，切实提高编程能力。每章结尾设置有练习题，帮助读者检验对各章内容的理解程度。另外，本书还将重要知识点总结为“法则”，方便读者随时查阅。

本书107张图表+209段代码+88个法则，是零基础进阶人士必备！

SQL进阶：《SQL进阶教程》

01 推荐理由

本书是为志在向中级进阶的数据库工程师编写的一本SQL技能提升指南。全书可分为两部分，第一部分介绍了SQL语言不同寻常的使用技巧，带领读者从SQL常见技术，去探索新发现。旨在帮助读者提升编程水平；第二部分着重介绍关系数据库的发展史，把实践与理论结合起来，旨在帮助读者加深对关系数据库和SQL语言的理解。

本书不适合小白！适合具有半年以上SQL使用经验、已掌握SQL基础知识和技能、希望提升自己编程水平的读者阅读。

SQL辅导书籍

01 推荐理由

本书是麻省理工学院、伊利诺伊大学等众多大学的参考教材，由浅入深地讲解了SQL的内容，实例丰富，便于查阅。本书没有过多阐述数据库基础理论，而是专门针对一线软件开发人员，直接从SQL SELECT开始，讲述实际工作环境中最常用和最必需的SQL知识，实用性极强。

有一定SQL基础的人士可以将它当做一本字典使用，遇到问题可以查找相应内用。

“人生苦短，我用Python”。Python编程语言是最容易学习,并且功能强大的语言。但是很多人声称自己精通Python,自己却写不出Pythonic的代码，对很多常用的包不是很了解。万丈高楼平地起，咱们先从Python中最最基础的开始。

《Python编程，从入门到实践》

01 推荐理由

本书最大的特点就是零基础完全不懂编程的小白也能够学习，新手想学习选它绝对错不了。知识点由浅入深循循渐进，并配有视频教程手把手教学,同时所需的软件也是免费的。本书也配有相关辅导书籍，有兴趣的话可以去看看，但是请记住，这本书是最核心的。

《利用Python进行数据分析》

01 推荐理由

不像别的编程书一样，从盘古开天辟地开始讲起。这本书是直接应用到数据分析的，所以很多在数据分析上应用不那么频繁的模块也就没有讲。

本书第二版针对Python 进行了更新，并增加实际案例向你展示如何高效地解决一系列数据分析问题。你将在阅读过程中学习到新版本的pandas、NumPy、IPython和Jupyter。

语言

R是用于统计分析、绘图的语言和操作环境。但是R是有一定难度的，没有基础的话请谨慎尝试！推荐书籍：

《R语言入门与实践》

01 推荐理由

本书通过三个精心挑选的例子，深入浅出地讲解如何使用R语言玩转数据。将数据科学家必需的专业技能融合其中，教会读者如何将数据存储到计算机内存中，如何在必要的时候转换内存中的数据值，如何用R编写自己的程序并将其用于数据分析和模拟运行。

案例提升类

《活用数据：驱动业务的数据分析实战》

01 推荐理由

是一本用数据来帮助企业破解业务难题的实操书，有理论、有方法、有实战案例。具有业务驱动、案例闭环、思维先导、实战还原4大特色，同时在思路上清晰连贯，在表达上深入浅出，既能帮助数据分析从业者入门和提升，也能辅助企业各业务部门和各级管理人员做量化决策。

《精益数据分析》

01 推荐理由

本书展示了如何验证自己的设想、找到真正的客户、打造能赚钱的产品，以及提升企业知名度。30多个案例分析，全球100多位知名企业家的真知灼见，为你呈现来之不易、经过实践检验的创业心得和宝贵经验，值得每位创业家和企业家一读。

数字化管理师证书考的方法：报考数字化管理师，不分年纪，也不分学历和性别，每个有意向的考生都可以报名学习。现在该职业有数字化管理专员，还有数字化管理师和高档数字化管理师。

使用数字化工作软件渠道，进行企业及安排人员架构修改、安排运营流程保护、工作流协同、大数据决策分析、企业上下游在线化衔接，用户只要在钉钉学习中心即可学习，经过考试即可获得官方证书。

主要工作任务

将企业及组织人员架构编辑在数字化管理平台，负责制定企业数字化办公软件推进计划和落地实施方案，进行扁平可视化管理，负责数字化办公所有模块的搭建和组织运转必备流程的维护，实现组织高效安全的沟通。

你好，大数据学习的内容包括8个阶段的内容:

你可以按照顺序学习，先学习基础的东西，希望你早日学有所成。

由浅入深依次掌握：Java语言基础：Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射，多线程、Swing程序与集合类；HTML、CSS与JavaScript：PC端网站布局、HTML5+CSS3基础、WebAPP页面布局、原生javascript交互功能开发、Ajax异步交互、jQuery应用；JavaWeb和数据库：数据库、javaWeb开发核心、JavaWeb开发内幕；Linux基础：Linux安装与配置、系统管理与目录管理、用户与用户组管理、Shell编程、服务器配置、Vi编辑器与Emacs编辑器；Hadoop生态体系：Hadoop起源与安装、MapReduce快速入门、Hadoop分布式文件系统、Hadoop文件I/O详解、MapReduce工作原理、MapReduce编程开发、Hive数据仓库工具、开源数据库HBase、Sqoop与Oozie；Spark生态体系：Spark简介、Spark部署和运行、Spark程序开发、Spark编程模型、作业执行解析、Spark SQL与DataFrame、深入Spark Streaming、Spark MLlib与机器学习、GraphX与SparkR、spark项目实战、scala编程、Python编程；Storm实时开发：storm简介与基本知识、拓扑详解与组件详解、Hadoop分布式系统、spout详解与bolt详解、zookeeper详解、storm安装与集群搭建、storm-starter详解、开源数据库HBase、trident详解；投入时间和精力，以兴趣来驱动学习。在整个的学习过程中贯穿着代码实战。看的代码是别人的，动手写出来的是自己的。自己动手写代码，记忆更加深刻，效率更高。