“Hadoop大數(shù)據(jù)處理高級工程師”實戰(zhàn)培訓班其它上課時間：

各地政府云計算物聯(lián)網(wǎng)產(chǎn)業(yè)相關負責人，各企業(yè)CIO、信息中心負責人、技術總監(jiān)，云計算中心負責人，云計算產(chǎn)業(yè)投資團隊，云計算應用開發(fā)商，云計算硬件設備供應商，云服務提供商，高校、科研院所云計算項目負責人。

培訓費用及須知
5800 元/人（含教材、培訓費、以及學習用具等費用） 食宿統(tǒng)一安排，費用自理。
各有關單位：
為貫徹落實黨中央國務院“十二五”規(guī)劃指導精神，云計算作為戰(zhàn)略重點項目新興產(chǎn)業(yè)，政府和業(yè)界都表現(xiàn)出了極大的熱情。日前發(fā)改委、工信部、財政部支持的云計算項目正式啟動，云計算平臺和云計算服務模式已成為今后IT服務的主流。云計算服務應用的種類不斷增多，普及程度逐漸深入，使用者正向普通用戶拓展。未來，云計算及其基礎設施將是信息產(chǎn)業(yè)的核心平臺，其所蘊含的技術變革和創(chuàng)新服務模式，將深刻影響全球產(chǎn)業(yè)技術創(chuàng)新的發(fā)展。
　　　　目前，互聯(lián)網(wǎng)正從數(shù)據(jù)爆炸進一步發(fā)展到海量數(shù)據(jù)分析和挖掘的時代，而基于Hadoop技術的解決方案為海量數(shù)據(jù)存儲和處理提供了經(jīng)濟、高效、高安全性和高可靠性的保障，Apache Hadoop也因此成為大數(shù)據(jù)行業(yè)發(fā)展背后的驅(qū)動力。由于Hadoop技術已成為當下最火熱的云計算技術之一，各行業(yè)中希望深入了解并掌握這門技術的人也越來越多，為此決定開展“大數(shù)據(jù)處理Hadoop應用與開發(fā)”實戰(zhàn)培訓班.




課程目標
　 1、了解Hadoop的歷史及目前發(fā)展的現(xiàn)狀、以及Hadoop的技術特點，從而把握分布式計算框架及未來發(fā)展方向，在大數(shù)據(jù)時代能為企業(yè)的技術選型及架構設計提供決策參考。
　 2、全面掌握Hadoop的架構原理和使用場景，并通過貫穿課程的項目進行實戰(zhàn)鍛煉，從而熟練使用Hadoop進行MapReduce程序開發(fā)。課程還涵蓋了分布式計算領域的常用算法介紹，幫助學員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價值。
　 3、深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識，可以獨立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop集群，掌握Hadoop基本運維思路和方法，對Hadoop集群進行管理和優(yōu)化。




培訓對象
各地政府云計算物聯(lián)網(wǎng)產(chǎn)業(yè)相關負責人，各企業(yè)CIO、信息中心負責人、技術總監(jiān)，云計算中心負責人，云計算產(chǎn)業(yè)投資團隊，云計算應用開發(fā)商，云計算硬件設備供應商，云服務提供商，高校、科研院所云計算項目負責人。
各企業(yè)大數(shù)據(jù)架構師、技術總監(jiān)、數(shù)據(jù)挖掘負責人、數(shù)據(jù)挖掘開發(fā)工程師




培訓特色
　　注重應用：分析國內(nèi)實際情況，結合國際、國內(nèi)成功經(jīng)驗。Hadoop采用實戰(zhàn)的項目，讓學員在短時間內(nèi)掌握Hadoop的搭建與配置。并進行高效的大數(shù)據(jù)清洗和分析。
　　形式靈活：互動課堂、免費技術沙龍、提供云計算項目建設咨詢、大數(shù)據(jù)Hadoop平臺的搭建。




頒發(fā)證書
參加相關培訓并通過考試的學員，可以獲得：
工業(yè)和信息化部頒發(fā)的-《Hadoop大數(shù)據(jù)處理高級工程師證書》。該證書可作為專業(yè)技術人員職業(yè)能力考核的證明，以及專業(yè)技術人員崗位聘用、任職、定級和晉升職務的重要依據(jù)。




培訓內(nèi)容（3天課程）
模塊一 Hadoop在云計算技術的作用和地位
傳統(tǒng)大規(guī)模系統(tǒng)存在的問題
Hadoop概述
Hadoop分布式文件系統(tǒng)　　　
MapReduce工作原理　　　　
Hadoop集群剖析　　　　　　
Hadoop生態(tài)系統(tǒng)對一種新的解決方案的需求
Hadoop的行業(yè)應用案例分析
Hadoop在云計算和大數(shù)據(jù)的位置和關系
案例和演示
數(shù)據(jù)開放,數(shù)據(jù)云服務平臺(DAAS)時代
Hadoop平臺在數(shù)據(jù)云平臺(DAAS)上的天然優(yōu)勢
數(shù)據(jù)云平臺(DAAS 平臺)組成部分
互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)案例
Hadoop構建構建游戲云(Web Game Daas)平臺


模塊二 Hadoop生態(tài)系統(tǒng)介紹和演示
Hadoop HDFS 和 MapReduce
Hadoop數(shù)據(jù)庫之HBase
Hadoop數(shù)據(jù)倉庫之Hive
Hadoop數(shù)據(jù)處理腳本Pig
Hadoop數(shù)據(jù)接口Sqoop和Flume，Scribe DataX
Hadoop工作流引擎 Oozie
案例和演示
運用Hadoop自下而上構建大規(guī)模企業(yè)數(shù)據(jù)倉庫
暴風影音數(shù)據(jù)倉庫實戰(zhàn)解析


模塊三 Hadoop組件詳解
Hadoop HDFS 基本結構
Hadoop HDFS 副本存放策略
Hadoop NameNode 詳解
HadoopSecondaryNameNode 詳解
Hadoop DataNode 詳解
Hadoop JobTracker 詳解
Hadoop TaskTracker 詳解
案例和演示
Hadoop Mapper類核心代碼
Hadoop Reduce類核心代碼
Hadoop 核心代碼


模塊四 Hadoop安裝和部署
Hadoop系統(tǒng)模塊組件概述
Hadoop試驗集群的部署結構
Hadoop 安裝依賴關系
Hadoop 生產(chǎn)環(huán)境的部署結構
Hadoop集群部署
Hadoop 高可用配置方法
Hadoop 集群簡單測試方法
Hadoop 集群異常Debug方法
案例和演示
Hadoop安裝部署實驗
Red hat Linux基礎環(huán)境搭建
Hadoop 單機系統(tǒng)版本安裝配置
Hadoop 集群系統(tǒng)版本安裝和啟動配置
使用 Hadoop MapReduce Streaming 快速測試系統(tǒng)
Hadoopcore-site，hdfs-site，mapred-site 配置詳解


模塊五 Hadoop集群規(guī)劃
Hadoop 集群內(nèi)存要求
Hadoop集群磁盤分區(qū)
集群和網(wǎng)絡拓撲要求
集群軟件的端口配置
案例和演示
針對NameNode Jobtracker DataNode TaskTracker Hiveserver 等不同組件需求推薦服務器配置


模塊六 MapReduce 算法原理
Hadoop MapReduce 算法的原理和優(yōu)化思想
靈活運用MapReduce 實現(xiàn)算法
案例和演示
運用MapReduce 構建數(shù)據(jù)庫算法
Select Sort GrougBy Sum Count
Join 新進流失算法
使用 Y-Smart 快速轉(zhuǎn)換SQL 為MapReduce 代碼


模塊七 編寫MapReduce高級程序
使用 Hadoop MapReduce Streaming 編程
MapReduce流程　　　　　
剖析一個MapReduce程序
基本MapReduceAPI概念　
驅(qū)動代碼 Mapper、Reducer
Hadoop流
API 使用Eclipse進行快速開發(fā)　　　　　　　
新MapReduce API
MapReduce的優(yōu)化
MapReduce的任務調(diào)度
MapReduce編程實戰(zhàn)
如何利用其他Hadoop相關技術，包括Apache Hive， Apache Pig，Sqoop和Oozie等
滿足解決實際數(shù)據(jù)分析問題的高級Hadoop API
案例和演示
Hadoop Streaming 和 Java MapReduce Api 差異。
MapReduce 實現(xiàn)數(shù)據(jù)庫功能
利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負載平衡
直接訪問Hadoop分布式文件系統(tǒng)（HDFS）
Hadoop的join操作
輔助排序在Reducer方的合并
定制Writables和WritableComparables
使用SequenceFiles和Avro文件保存二進制數(shù)據(jù)
創(chuàng)建InputFormats OutputFormats
Hadoop的二次排序
Hadoop的海量日志分析
在Map方的合并　　　


模塊八 集成Hadoop到現(xiàn)有工作流
及Hadoop API深入探討 存儲系統(tǒng)
利用Sqoop從關系型數(shù)據(jù)庫系統(tǒng)中導入數(shù)據(jù)到Hadoop
利用Flume導入實時數(shù)據(jù)到Hadoop
ToolRunner介紹、使用MRUnit進行測試
使用Configure和Close方法來進行Map/Reduce設置和關閉
案例和演示
使用FuseDFS和Hadoop訪問HDFS
使用分布式緩存（Distributed Cache）
直接訪問Hadoop分布式文件系統(tǒng)（HDFS）
利用Combiners來減少中間數(shù)據(jù)
編寫Partitioner來優(yōu)化負載平衡　


模塊九 使用Hive和Pig開發(fā)及技巧
Hive和Pig基礎　　　　　　　
Hive的作用和原理說明
Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關系
Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流
Hive 部署和安裝
Hive Cli 的基本用法
HQL基本語法
運用Pig 過濾用戶數(shù)據(jù)
案例和演示
使用JDBC 連接Hive進行查詢和分析
使用正則表達式加載數(shù)據(jù)
HQL高級語法
編寫UDF函數(shù)
編寫UDAF自定義函數(shù)
基于Hive腳本內(nèi)嵌Streaming 編程


模塊十 Hbase安裝和使用
Hbase 安裝部署　　　　　　
Hbase原理和結構
Hbase 運維和管理
案例和演示
使用Hbase+Hive 提供 OLAP SQL查詢能力
使用Hbase+Phoenix提供 OLTP SQL能力
基于Hbase 的時間序列數(shù)據(jù)庫 OpenTsDb 結