大數(shù)據Hadoop與Spark架構應用實戰(zhàn)其它上課時間：

響應工業(yè)和信息化部培養(yǎng)大數(shù)據技術高端人才的號召,中國信息化培訓中心特推出了大數(shù)據平臺Hadoop與Spark架構技術及應用實戰(zhàn)課程培訓班。通過專業(yè)的大數(shù)據Hadoop與Spark技術架構體系與業(yè)界真實案例來全面提升大數(shù)據項目高管、大數(shù)據平臺架構師，以及大數(shù)據開發(fā)工程師與大數(shù)據應用設計人員的專業(yè)水平，旨在培養(yǎng)專業(yè)的大數(shù)據Hadoop與Spark技術架構專家，培養(yǎng)大數(shù)據技術和應用創(chuàng)新型人才，促進大數(shù)據技術在各行業(yè)內部及跨行業(yè)進行實施應用，以及企事業(yè)單位的大數(shù)據項目開發(fā)和落地

課程收益:

一、培訓特色
1.課程培訓業(yè)界最流行、應用最廣泛的Hadoop與Spark大數(shù)據技術體系。
強化大數(shù)據平臺的分布式集群架構和核心關鍵技術實現(xiàn)、大數(shù)據應用項目開發(fā)和大數(shù)據集群運維實踐、以及Hadoop與Spark大數(shù)據項目應用開發(fā)與調優(yōu)的全過程沙盤模擬實戰(zhàn)。
2.通過一個完整的大數(shù)據開發(fā)項目及一組實際項目訓練案例，完全覆蓋
Hadoop與Spark生態(tài)系統(tǒng)平臺的應用開發(fā)與運維實踐。課堂實踐項目以項目小組的形式進行沙盤實操練習，重點強化理解Hadoop與Spark大數(shù)據項目各個階段的工作重點，同時掌握作為大數(shù)據項目管理者的基本技術與業(yè)務素養(yǎng)。
3.本課程的授課師資都是有著多年在一線從事Hadoop與Spark大數(shù)據項目
的資深講師，采用原理技術剖析和實戰(zhàn)案例相結合的方式開展互動教學、強化以建立大數(shù)據項目解決方案為主體的應用開發(fā)、技術討論與交流咨詢，在學習的同時促進講師學員之間的交流，讓每個學員都能在課程培訓過程中學到實實在在的大數(shù)據技術知識體系，以及大數(shù)據技術應用實戰(zhàn)技能，具備實際大數(shù)據應用項目的動手開發(fā)實踐與運維管理部署能力。授課過程中，根據學員需求，增設交流環(huán)節(jié)，可將具體工作中遇到的實際問題展開討論，講師會根據學員的實際情況微調授課內容，由講師帶著全部學員積極討論，并給出一定的時間讓學員上臺發(fā)言，現(xiàn)場剖析問題的癥結，規(guī)劃出可行的解決方案。
二、 培訓收益
1.深刻理解在“互聯(lián)網 ”時代下大數(shù)據的產生背景、發(fā)展歷程和演化趨勢；
2.了解業(yè)界市場需求和國內外最新的大數(shù)據技術潮流，洞察大數(shù)據的潛在價值；
3.理解大數(shù)據項目解決方案及業(yè)界大數(shù)據應用案例，從而為企業(yè)在大數(shù)據項目
中的技術選型及技術架構設計提供決策參考；
4.掌握業(yè)界最流行的Hadoop與Spark大數(shù)據技術體系；
5.掌握大數(shù)據采集技術；
6.掌握大數(shù)據分布式存儲技術；
7.掌握NoSQL與NewSQL分布式數(shù)據庫技術；
8.掌握大數(shù)據倉庫與統(tǒng)計機器學習技術；
9.掌握大數(shù)據分析挖掘與商業(yè)智能（BI）技術；
10.掌握大數(shù)據離線處理技術；
11.掌握Storm流式大數(shù)據處理技術；
12.掌握基于內存計算的大數(shù)據實時處理技術；
13.掌握大數(shù)據管理技術的原理知識和應用實戰(zhàn)；
14.深入理解大數(shù)據平臺技術架構和使用場景；
15.嫻熟運用Hadoop與Spark大數(shù)據技術體系規(guī)劃解決方案滿足實際項目需求；
16.掌握如何部署符合生產環(huán)境要求的Hadoop大數(shù)據集群；
17.熟練地掌握基于Hadoop與Spark大數(shù)據平臺進行應用程序開發(fā)、集群運維
管理和性能調優(yōu)技巧。

培訓頒發(fā)證書:

本課程學習考核通過后由中國信息化培訓中心頒發(fā)《大數(shù)據開發(fā)高級架構師》證書，證書查詢：www.zpedu.org; 證書可作為專業(yè)技術人員職業(yè)能力考核的證明，以及專業(yè)技術人員崗位聘用、任職、定級和晉升職務的重要依據。

課程大綱:

第一天上午
大數(shù)據技術基礎
1.大數(shù)據的產生背景、發(fā)展歷程
2.大數(shù)據和云計算的關系
3.大數(shù)據應用需求以及潛在價值分析
4.業(yè)界最新的大數(shù)據技術發(fā)展態(tài)勢與應用趨勢
5.大數(shù)據項目的技術選型與架構設計
6.“互聯(lián)網 ”時代下的電子商務、制造業(yè)、零售批發(fā)業(yè)、電信運營商、互聯(lián)網金融業(yè)、網上銀行、電子政務、移動互聯(lián)網、教育信息化等行業(yè)應用實踐與應用案例剖析

業(yè)界主流的大數(shù)據技術產品與項目解決方案
1.國內外主流的大數(shù)據解決方案介紹
2.當前大數(shù)據解決方案與傳統(tǒng)數(shù)據庫方案的剖析比較
3.Apache大數(shù)據平臺方案剖析
4.CDH大數(shù)據平臺方案剖析
5.HDP大數(shù)據平臺方案剖析
6.開源的大數(shù)據生態(tài)系統(tǒng)平臺剖析

Hadoop大數(shù)據平臺剖析
1.Hadoop的發(fā)展歷程以及產業(yè)界的實際應用介紹
2.Hadoop大數(shù)據平臺架構
3.基于Hadoop平臺的PB級大數(shù)據存儲管理與分析處理的工作原理與機制
4.Hadoop的核心組件剖析

第一天下午
大數(shù)據分布式存儲系統(tǒng)原理及其應用實踐
1.分布式文件系統(tǒng)HDFS的簡介
2.HDFS系統(tǒng)的主從式平臺架構和工作原理
3.HDFS核心組件技術講解
4.基于HDFS的大型存儲系統(tǒng)應用開發(fā)實戰(zhàn)
5.HDFS集群的安裝、部署、配置與性能優(yōu)化實踐
6.HDFS與Linux NFS3交互技術以及本地化部署應用實踐
7.分布式鍵值存儲系統(tǒng)的平臺架構、核心技術以及應用開發(fā)
8.PB級大數(shù)據存儲項目的案例分析

大數(shù)據MapReduce與Yarn并行處理平臺
1.MapReduce并行計算模型
2.MapReduce作業(yè)執(zhí)行與調度技術
3.第二代大數(shù)據計算框架Yarn的工作原理以及DAG并行執(zhí)行機制
4.MapReduce應用開發(fā)環(huán)境的部署，以及大數(shù)據并行處理應用程序開發(fā)
5.MapReduce高級編程技巧與性能優(yōu)化實踐
6.MapReduce與Yarn大數(shù)據分析處理案例分析

Hadoop應用實踐操作訓練
1.部署與配置HDFS，熟練操作HDFS SHELL，HDFS與NFS操作，以及HDFS API開發(fā)實踐
2.部署與配置MapReduce與Yarn及其開發(fā)實踐
3.Hadoop的Linux二次開發(fā)環(huán)境部署與配置

第二天上午
H分布式數(shù)據庫管理系統(tǒng)
1.NoSQL數(shù)據庫與NewSQL數(shù)據庫技術介紹，及其在半結構化和非結構化大數(shù)據方面的應用實踐
2.H分布式數(shù)據庫簡介、數(shù)據模型以及工作原理
3.H分布式數(shù)據庫集群的平臺架構和關鍵技術剖析
4.H應用項目開發(fā)技巧，以及客戶端開發(fā)實戰(zhàn)
5.H表設計與數(shù)據操作以及數(shù)據庫管理API調用
6.H集群的安裝部署與配置優(yōu)化
7.ZooKeeper分布式協(xié)調服務系統(tǒng)的工作原理、平臺架構、集群部署與配置應用實戰(zhàn)
8.H集群的運維與監(jiān)控管理

Hive大型數(shù)據倉庫集群平臺及其應用實踐
1.基于Hadoop的大型分布式數(shù)據倉庫基礎知識，HIVE在行業(yè)中的數(shù)據倉庫應用案例
2.Hive大數(shù)據倉庫簡介以及應用介紹
3.Hive數(shù)據倉庫集群的平臺體系結構、核心技術剖析
4.Hive Server的工作原理、機制與應用
5.Hive數(shù)據倉庫集群的安裝部署與配置優(yōu)化
6.Hive應用開發(fā)技巧
7.Hive SQL剖析與應用實踐
8.Hive數(shù)據倉庫表與表分區(qū)、表操作、數(shù)據導入導出、客戶端操作技巧
9.Hive數(shù)據倉庫報表設計
10、Hive JDBC與ODBC的工作原理與實現(xiàn)機制
11、Hive HWI、CLI客戶端操作以及UDF應用實踐

H半結構化數(shù)據管理應用實踐操作訓練
1.部署與配置H集群以及H的性能優(yōu)化
2.部署與配置ZooKeeper分布式集群
3.構建H開發(fā)環(huán)境
4.H數(shù)據庫操作及項目實踐

Mahout大數(shù)據分析挖掘平臺及其應用實踐
1.Mahout集群的安裝部署與配置優(yōu)化
2.Mahout實現(xiàn)客戶分析，廣告分析，日志分析，規(guī)律預測，關聯(lián)分析，定向推薦等應用程序的開發(fā)與應用實戰(zhàn)
3.Mahout性能優(yōu)化與分析挖掘算法參數(shù)的優(yōu)化技巧

Hive數(shù)據倉庫與Mahout數(shù)據挖掘平臺的應用實踐操作訓練
1.部署與配置HIVE集群，以及HIVE性能調優(yōu)
2.構建HIVE開發(fā)環(huán)境
3.HIVE數(shù)據倉庫操作及項目實踐
4.實現(xiàn)Mahout與Hadoop H的應用集成，實現(xiàn)日志數(shù)據分析挖掘項目的應用實踐

第三天上午
Spark大數(shù)據實時處理平臺剖析
1.Spark的發(fā)展歷程以及業(yè)界的實際應用介紹
2.Spark實時大數(shù)據處理平臺架構
3.Spark RDD內存彈性分布式數(shù)據集的工作原理與機制
4.Spark的核心組件剖析
5.基于Spark的實時數(shù)據倉庫與實時分析挖掘處理在行業(yè)中的應用實踐案例

基于Spark的實時數(shù)據倉庫和實時數(shù)據分析挖掘處理平臺的實現(xiàn)機制，以及SparkSQL，Spark Streaming，MLib，GraphX，SparkR的應用實踐
1.內存計算模型和實時處理技術介紹
2.Spark中各個分布式組件的處理框架及工作原理
3.Spark SQL實時數(shù)據倉庫的實現(xiàn)原理機制及應用實踐
4.Spark Streaming流式數(shù)據實時處理機制及應用實踐
5.Spark MLib實時機器學習算法應用實踐與案例應用
6.Spark GraphX實時圖數(shù)據處理應用實踐與社交網絡分析應用案例
7.SparkR的實現(xiàn)原理與應用實踐
8.Spark組件的應用編程開發(fā)實戰(zhàn)
9.Spark與Hadoop的集成解決方案實踐

Spark平臺與各個組件的實踐操作訓練
1.部署與配置Spark集群，以及Spark性能調優(yōu)
2.構建Spark開發(fā)環(huán)境
3.Spark程序運行以及操作
4.Spark SQL應用操作實訓
5.Spark Streaming應用操作實訓
6.Spark MLib應用操作實訓
7.Spark GraphX應用操作實訓
8.SparkR應用操作實訓
9.Spark與H集成數(shù)據分析實驗實訓

第三天下午

Storm流式數(shù)據處理平臺架構及其應用實踐
1.Storm流式處理系統(tǒng)的平臺架構和工作原理
2.Storm關鍵技術剖析
3.Storm集群安裝部署與配置優(yōu)化
4.Storm日志流數(shù)據分析項目應用實戰(zhàn)
5.Storm和Hadoop，Spark的應用集成項目實踐

大數(shù)據智能化ETL操作工具以及Hadoop集群運維監(jiān)控工具平臺應用
1.Hadoop與DBMS之間數(shù)據交互工具的應用
2.Sqoop導入導出數(shù)據的工作原理，以及Sqoop集群安裝部署與配置
3.Kettle集群的平臺架構、核心技術工作原理以及應用案例
4.Kettle大數(shù)據ETL工具的部署與配置，以及應用實戰(zhàn)
5.利用Sqoop實現(xiàn)MySQL與Hadoop集群之間的數(shù)據導入導出交互程序
6.Hadoop大數(shù)據運維監(jiān)控管理系統(tǒng)HUE平臺的安裝部署與應用配置
7.Hadoop運維管理監(jiān)控系統(tǒng)Ambari平臺的安裝部署與應用配置
8.Hadoop集群運維系統(tǒng)Ganglia, Nagios的安裝部署與應用配置

大數(shù)據分布式采集與