培訓(xùn)內(nèi)容:
培訓(xùn)受眾:
軟件工程師
數(shù)據(jù)庫開發(fā)人員
網(wǎng)絡(luò)后臺(tái)開發(fā)人員
運(yùn)維人員
課程收益:
運(yùn)維人員實(shí)戰(zhàn)案例驅(qū)動(dòng)教學(xué)：通過一個(gè)大型數(shù)據(jù)采集及分析商業(yè)系統(tǒng)的真實(shí)案例講解海量數(shù)據(jù)的解決方案在項(xiàng)目中的具體場景及應(yīng)用；
掌握
大數(shù)據(jù)處理三大核心：NoSQL的架構(gòu)應(yīng)用， Hadoop的核心體制及實(shí)踐， HBase的核心架構(gòu)及實(shí)踐，Hadoop與HBase的統(tǒng)一架構(gòu)過程實(shí)踐；
沙盤演練：通過實(shí)踐的項(xiàng)目案例進(jìn)行沙盤演練， 保障大數(shù)據(jù)處理的項(xiàng)目落地問題 培訓(xùn)頒發(fā)證書:
獲由國信高級(jí)技術(shù)培訓(xùn)中心頒發(fā)的“大數(shù)據(jù)處理與優(yōu)化最佳實(shí)踐”培訓(xùn)合格證 課程大綱：
第一天
一、海量數(shù)據(jù)處理系統(tǒng)的架構(gòu)設(shè)計(jì)
這個(gè)部分主要講解海量數(shù)據(jù)處理的架構(gòu)設(shè)計(jì)，針對(duì)海量數(shù)據(jù)的問題設(shè)計(jì)海量數(shù)據(jù)的架構(gòu)解決方案。
海量數(shù)據(jù)處理的系統(tǒng)場景
大數(shù)據(jù)時(shí)代的數(shù)據(jù)架構(gòu)解決方案
海量數(shù)據(jù)處理的架構(gòu)匯總
8種海量數(shù)據(jù)處理的架構(gòu)設(shè)計(jì)比較
分布式系統(tǒng)架構(gòu)的海量數(shù)據(jù)處理設(shè)計(jì)
海量數(shù)據(jù)處理設(shè)計(jì)
典型案例分析：結(jié)合一個(gè)500強(qiáng)實(shí)時(shí)數(shù)據(jù)系統(tǒng)的實(shí)例案例進(jìn)行分析，詳細(xì)分析海量數(shù)據(jù)處理的架構(gòu)設(shè)計(jì)
二、NoSQL的實(shí)踐應(yīng)用
NoSQL綜述解決的實(shí)際問題
關(guān)系數(shù)據(jù)庫暴露的問題
High performance并發(fā)要求
Huge Storage的存取
High Scalability的服務(wù)器分布要求
High Availability的服務(wù)器健壯要求
關(guān)系型數(shù)據(jù)庫失效的場景
NoSQL與關(guān)系型數(shù)據(jù)庫設(shè)計(jì)理念比較
NoSQL設(shè)計(jì)模型分析
K-V模型的Column設(shè)計(jì)
Document模型的B Tree設(shè)計(jì)
Object模型的基于Object數(shù)據(jù)訪問設(shè)計(jì)
NoSQL實(shí)例分析
Apache Hbase架構(gòu)解析
Facebook Cassandra架構(gòu)解析
Google BigTable架構(gòu)解析
典型案例分析：結(jié)合一個(gè)500強(qiáng)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)的實(shí)例案例進(jìn)行分析，詳細(xì)分析NoSQL的綜合開源架構(gòu)應(yīng)用多種NoSQL的產(chǎn)品集合應(yīng)用
三、進(jìn)入Hadoop的精彩世界
文件存儲(chǔ)-HDFS
HDFS-工作原理
數(shù)據(jù)計(jì)算MapReduce
MapReduce工作原理
SQL分析-Hive
海量實(shí)時(shí)讀寫-HBase
工作流調(diào)度-Ooize
分布式協(xié)調(diào)系統(tǒng)—Zookeeper
第二天
四、Hadoop部署與編程
Hadoop版本介紹與選擇
Hadoop部署實(shí)踐
Hadoop安裝文件構(gòu)成與配置體系
機(jī)器硬件建議配置
系統(tǒng)環(huán)境配置
基本參數(shù)配置與說明
進(jìn)程分布規(guī)劃與啟動(dòng)
Hadoop基本使用操作
HDFS
權(quán)限
MapReduce
HDFS編程
開發(fā)環(huán)境準(zhǔn)備
讀文件
寫文件
Hadoop系統(tǒng)容災(zāi)策略
Hadoop資源調(diào)度策略
Hadoop安全
Hadoop系統(tǒng)監(jiān)控與報(bào)警策略
五、Hive架構(gòu)及實(shí)踐案例沙盤演練
Hive系統(tǒng)部署與搭建
Hive工作機(jī)制
基于Hive的網(wǎng)站日志分析示例
Hive的用戶自定義函數(shù)開發(fā)
Hive底層數(shù)據(jù)文件與數(shù)據(jù)壓縮選擇
gzip
bz2
lzo
rcfile
Hive運(yùn)行參數(shù)調(diào)優(yōu)
Hive程序編寫性能建議
MapJoin
數(shù)據(jù)傾斜
Join順序
UDF編寫注意事項(xiàng)
快速獲取結(jié)果TopN
通過Explain觀察Hive行為
典型案例分析：結(jié)合一個(gè)500強(qiáng)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)的實(shí)例案例進(jìn)行分析，詳細(xì)分析Hive的架構(gòu)應(yīng)用、性能調(diào)優(yōu)及其使用場景與整體系統(tǒng)架構(gòu)的結(jié)合
第三天
六、Hadoop集群架構(gòu)搭建及實(shí)踐案例沙盤演練
Hadoop集群架構(gòu)搭建方法
Hadoop集群架構(gòu)性能管理
HDFS，NameNode，DataNode的調(diào)優(yōu)和節(jié)點(diǎn)擴(kuò)展最佳實(shí)踐
主要調(diào)優(yōu)工具和性能監(jiān)控工具
Hadoop集群對(duì)于硬件的要求和選型
Hadoop集群中對(duì)硬件、操作系統(tǒng)的調(diào)優(yōu)方法
實(shí)際案例分析
基于Hadoop的集群解決方案
典型案例分析：結(jié)合一個(gè)大型商業(yè)系統(tǒng)的實(shí)例案例分析及演練Hadoop集群架構(gòu)搭建過程
七、MapReduce架構(gòu)及實(shí)踐案例沙盤演練
MapReduce剖析
MapReduce的原理和運(yùn)行過程
構(gòu)建MapReduce的開發(fā)環(huán)境
MapReduce案例實(shí)戰(zhàn)
使用MapReduce的Java接口實(shí)現(xiàn)經(jīng)典的WordCount
wordcount運(yùn)行過程解析
MapReduce實(shí)現(xiàn)數(shù)據(jù)去重操作
MapReduce實(shí)現(xiàn)數(shù)據(jù)排序
MapReduce實(shí)現(xiàn)數(shù)據(jù)平均數(shù)據(jù)的計(jì)算
典型案例分析：結(jié)合一個(gè)500強(qiáng)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)的實(shí)例案例進(jìn)行分析，詳細(xì)分析MapReduce的架構(gòu)應(yīng)用、性能調(diào)優(yōu)及其使用場景與整體系統(tǒng)架構(gòu)的結(jié)合
八、HBase架構(gòu)及實(shí)踐案例沙盤演練
為什么實(shí)用Hadoop/HBase
Hadoop的架構(gòu)體系與HBase的應(yīng)用關(guān)系
HBase的核心設(shè)計(jì)機(jī)制
HBase的使用場景 什么情況下使用HBase，為什么使用HBase，HBase使用帶來的實(shí)踐價(jià)值
關(guān)系型數(shù)據(jù)庫與HBase
HBase的Client端
HBase架構(gòu)分析
基于HBase項(xiàng)目架構(gòu)設(shè)計(jì)
HBase開發(fā)環(huán)境搭建
入庫和查詢的設(shè)計(jì)與實(shí)現(xiàn)
統(tǒng)計(jì)功能的設(shè)計(jì)與實(shí)現(xiàn)
案例演練HBase的主體特性
Features:Scalability實(shí)現(xiàn)
HBaseFeatures:Column-Oriented實(shí)現(xiàn)
High Performance Random R/W實(shí)現(xiàn)
HBase Features: Scan Search實(shí)現(xiàn)
HBase Features: High‐Availability實(shí)現(xiàn)
典型案例分析：結(jié)合一個(gè)500強(qiáng)實(shí)時(shí)數(shù)據(jù)采集系統(tǒng)的實(shí)例案例進(jìn)行分析，詳細(xì)分析HBase的開源架構(gòu)應(yīng)用及其使用場景與整體系統(tǒng)架構(gòu)的結(jié)合 培訓(xùn)師介紹：
國信高級(jí)研發(fā)管理顧問，曾在多個(gè)全球500強(qiáng)研發(fā)中心服務(wù)近15年時(shí)間，參與多個(gè)全球協(xié)作的大型研發(fā)過程，積累了豐富的研發(fā)設(shè)計(jì)及管理的實(shí)戰(zhàn)經(jīng)驗(yàn)。
近15年從事研發(fā)管理、產(chǎn)品管理及高端架構(gòu)設(shè)計(jì)方面的工作。杜先生同時(shí)是微軟企業(yè)護(hù)航專家。具有10多款大中型產(chǎn)品的研發(fā)管理、設(shè)計(jì)、實(shí)施及質(zhì)量管理經(jīng)驗(yàn)，包括可口可樂GKPMS，Schlumberger Horizon（全球下一代能源勘探開發(fā)平臺(tái)）Viewers，RTPM（全球?qū)崟r(shí)油藏分析與管理平臺(tái)），Dolphin（面向全球的中間件開發(fā)平臺(tái)），中國移動(dòng)BI個(gè)性化客戶溝通項(xiàng)目， CCM-Customer Communication Management（全球最大個(gè)性化客戶溝通產(chǎn)品），Sagent（全球著名BI產(chǎn)品）。