Cloudera認證Apache Hadoop開發(fā)者培訓（CCA）
培訓班型： 公開課
課程長度： 4天/24小時
培訓日期： 待定
認證考試： 北京、上海、廣州、杭州、福州、深圳、
西安、南京、天津、武漢、成都、重慶
培訓地點： 博學國際教育培訓中心
環(huán)境要求： 投影儀、白板、大白紙
培訓形式： 實例講授，現(xiàn)場演、練、及時溝通
培訓資料： 培訓教材
課程內(nèi)容
認證描述：
4天的課程包涵了解Apache Spark的基礎知識及其與Hadoop整體生態(tài)系統(tǒng)的集成方式。本課程將重溫HDFS的基礎內(nèi)容，學習如何使用Sqoop/Flume攝取數(shù)據(jù)，利用Spark處理分布式數(shù)據(jù)，學習在Impala和Hive上數(shù)據(jù)建模，以及在數(shù)據(jù)存儲方面的*實踐。
課程概述：
?Hadoop 核心
?HDFS 和 MapReduce 工作原理
?如何開發(fā) MapReduce 應用
?如何單元測試 MapReduce 應用
?如何使用 MapReduce combiners, partitioners 和 distributed cache
?開發(fā)調(diào)試 MapReduce 應用
?如何實現(xiàn) MapReduce 應用中的輸入／輸出
?常見 MapReduce 算法
?如何用 MapReduce 來聯(lián)結數(shù)據(jù)集
?如何把 Hadoop 嵌入到企業(yè)已有的計算環(huán)境里
?如何使用 Hive、Impala 和 Pig 來快速開發(fā)數(shù)據(jù)分析應用
?如何使用 Oozie 來創(chuàng)建管理工作流
培訓前提： 企業(yè)管理者、CIO、CTO、*信息*官員、項目（開發(fā)）經(jīng)理、咨詢顧
問；IT經(jīng)理，IT咨詢顧問，IT支持專家；系統(tǒng)工程師、數(shù)據(jù)中心管理員、云
計算管理員及想加入云計算隊伍的您。
授課對象：具備編程經(jīng)驗的開發(fā)人員；熟悉面向?qū)ο蟾呒壘幊陶Z言，如Java；不需要事先掌握Hadoop相關知識
培訓目標：
通過考試可獲得Cloudera Certified Developer for Apache Hadoop (CCDH) 證書
Using the Spark shell for interactive data analysis
? The features of Spark’s Resilient Distributed Datasets
? How Spark runs on a cluster
? How Spark parallelizes task execution
? Writing Spark applications
? Processing streaming data with Spark
環(huán)境準備：
1. 操作系統(tǒng)：Linux
2. java環(huán)境：jdk6以上
硬件環(huán)境：電腦內(nèi)存4G以上
課程內(nèi)容：
? 介紹
? Hadoop 起源和動機
? Hadoop 基本概念和 HDFS
? MapReduce 介紹
? Hadoop 集群和 Hadoop 生態(tài)系統(tǒng)
? 使用 Java 編寫 MapReduce 程序
? 使用 Streaming 編寫 MapReduce 程序
? MapReduce 單元測試
? 深入 Hadoop API
? 開發(fā)技巧
? Reducer 和 Partitioner
? 數(shù)據(jù)輸入／輸出
? 常見 MapReduce 算法
? 用 MapReduce 來聯(lián)結數(shù)據(jù)集
? 把 Hadoop 嵌入到企業(yè)已有的計算環(huán)境里
? Hive、Impala 和 Pig 簡介
? Oozie 簡介
? 結論
? 附錄: Cloudera Enterprise
Introduction to Spark
? What is Spark?
? Review: From Hadoop MapReduce to Spark
? Review: HDFS
? Review: YARN
? Spark Overview
Spark Basics
? Using the Spark Shell
? RDDs (Resilient Distributed Datasets)
? Functional Programming in Spark
Working with RDDs in Spark
? Creating RDDs
? Other General RDD Operations
Aggregating Data with Pair RDDs
? Key-Value Pair RDDs
? Map-Reduce
? Other Pair RDD Operations
Writing and Deploying Spark Applications
? Spark Applications vs. Spark Shell
? Creating the SparkContext
? Building a Spark Application (Scala and Java)
? Running a Spark Application
? The Spark Application Web UI
? Hands-On Exercise: Write and Run a Spark Application
? Configuring Spark Properties
? Logging
Parallel Processing
? Review: Spark on a Cluster
? RDD Partitions
? Partitioning of File-based RDDs
? HDFS and Data Locality
? Executing Parallel Operations
? Stages and Tasks
Spark RDD Persistence
? RDD Lineage
? RDD Persistence Overview
? Distributed Persistence
Basic Spark Streaming
? Spark Streaming Overview
? Example: Streaming Request Count
? DStreams
? Developing Spark Streaming Applications
Advanced Spark Streaming
? Multi-Batch Operations
? State Operations
? Sliding Window Operations
? Advanced Data Sources
Common Patterns in Spark Data Processing
? Common Spark Use Cases
? Iterative Algorithms in Spark
? Graph Processing and Analysis
? Machine Learning
? Example: k-means
Improving Spark Performance
? Shared Variables: Broadcast Variables
? Shared Variables: Accumulators
? Common Performance Issues
? Diagnosing Performance Problems
Spark SQL and DataFrames
? Spark SQL and the SQL Context
? Creating DataFrames
? Transforming and Querying DataFrames
? Saving DataFrames
? DataFrames and RDDs
? Comparing Spark SQL, Impala and Hive-on-Spark
?
