大數據工程師成長歷程
階段 技能點 能力培養
Java基礎 Java基礎語法、面向對象、異常處理、集合框架、常用類、I/O操作、多線程、網絡編程、XML解析 熟練使用MyElipse開發Java程序
會使用Java編寫常用的流程控制語句
理解并掌握面向對象思想及其三大特性
能夠運用Java常用類解決實際問題
會使用集合框架存儲數據、I/O技術操作文件
能夠實現多線程及網絡編程
JavaWeb網站開發 HTML5、CSS3、JavaScript/ES6、JQuery、JSP/Servlet、MySQL數據庫、JDBC、Linux、SVN 了解B/S架構運行原理
掌握網頁的開發和設計技能
掌握JavaWeb核心開發技能
掌握Linux應用部署和監控技能
掌握基本的JavaEE應用設計和開發技能
鍛煉學員團隊協作能力
SSM/SSH框架 MyBatis框架、Spring框架、Spring MVC框架、Struts2框架、Hibernate框架、Git、Maven 、Oracle數據庫 掌握SSM/SSH框架核心技能及應用開發技能
掌握Oracle數據庫設計和應用技能
學會使用Git進行項目代碼版本管理
學會使用Maven進行項目構建管理
基于分布式微服的互聯網架構 分布式微服架構、Dubbox、Spring Cloud、Spring Boot、Docker環境快速搭建實現自動化部署、分布式下ID*性、Redis、分布式事務處理、分布式下三方接入、Active MQ消息隊列等 培養學員基于分布式項目的業務架構、應用架構、技術架構、安全架構、網絡拓撲架構等的
設計和代碼開發能力，以及在部署策略等方面的綜合能力
培養學員分布式項目下核心業務處理能力
培養學員在分布式項目下對于高并發、數據最終一致性、性能優化等問題的解決處理能力
Python爬蟲+ELK+分析 Shell編程、Python編程、NumPy&Pandas、Scrapy、LXML、PySpider、數據采集、整理和清洗、Elasticsearch、Logstash、Kibana 掌握Python編程
具備Python的爬蟲開發、 數據獲取和整理等能力
能夠使用ELK進行數據導入、 查詢和集成
Hadoop生態圈 HDFS、MapReduce、YARN、Hive、Sqoop、HBase 掌握Hadoop集群配置與管理
掌握HDFS文件操作
掌握分布式計算原理
掌握基于Hive的數據ETL和數據查詢
掌握HBase數據存儲
掌握數據導入導出
Spark技術線 Scala編程、Spark RDD、Spark SQL、Spark GraphX、PySpark、Jupyter、Hadoop數據模型、Atlas&Ranger、NiFi、Kafka、Oozie、Cassandra&Hive、Redis&Hive、MongoDB、Tableau 掌握Spark集群配置與管理，以及Spark離線計算
具備Scala和Python編寫 Spark應用的能力
具備在企業數據湖中建立數據流程/通道、實施數據監管、規范數據管理和確保數據安全
具備數據采集、數據變換、數據建模、任務調度以及與企業應用的數據集成的能力具備多種NoSQL數據存儲的能力
掌握Hive/Spark實施數據變換、BI工具與 Hive、 NoSQL 的集成
掌握用戶興趣取向分析/航班飛行網圖分析/電子商務消費行為分析/用戶交易欺詐分析案例的具體實現
實時流處理平臺 Spark Streaming、Flink、Flume、Storm、d3.js、Echarts 掌握Apache NiFi/Kafka/Flume/Spark Streaming的集成使用
具備實時流數據存儲、計算、查詢的能力
具備多種流處理框架的運用能力
掌握多種常見可視化工具的使用
掌握股票流數據實時分析/輿情分析案例
機器學習 Spark Mllib 掌握Spark機器學習數據結構及流程
掌握分類,聚類和推薦模型
掌握垃圾郵件分類
提升課程
課程（崗位） 能力培養 項目經驗
大數據開發工程師標準版(Java開發工程師) 掌握Java語言及Java技能體系 互聯網項目開發經驗：
具備分布式項目的開發經驗，具備針對系統中的擴展性、安全性、高性能等問題的分析、解決能力
掌握SSM/SSH框架技術進行垂直架構項目的開發
具備架構設計能力，可進行分布式微服架構項目的開發
具備大數據Hadoop相關基礎知識
大數據開發工程師提升版(大數據應用開發工程師) 掌握大數據生態圈相關技術的開發及應用，掌握Hadoop、Spark、Spark Streaming、Kafka，掌握Flink，了解Storm 大數據項目開發經驗:
包括Python爬蟲與ELK搜索、電子商務消費行為分析、航班飛行網圖分析、垃圾郵件分類、輿情分析、用戶交易欺詐分析、用戶興趣取向分析、股票流數據實時分析
掌握Java、Python、Scala、Shell編程
搭建和部署Hadoop、Spark、Flink、Storm集群，并能夠利用大數據平臺實現對數據的分析和處理
大數據分析師 流行的學習、分析、挖掘算法、分布式數據處理、數學建模、模型演練、智能化算法優化，以及創造性的算法實現，同時使用R、go、python等進行模型實現
