培訓(xùn)內(nèi)容:
課程收益:
本課程將為大家全面而又深入的介紹Spark、Hadoop平臺(tái)的構(gòu)建流程，涉及Spark、Hadoo系統(tǒng)基礎(chǔ)知識(shí)，概念及架構(gòu)， Spark、Hadoo實(shí)戰(zhàn)技巧，Spark、Hadoo經(jīng)典案例等。
通過本課程實(shí)踐，幫助學(xué)員對(duì)Spark、Hadoo生態(tài)系統(tǒng)有一個(gè)清晰明了的認(rèn)識(shí)；理解Spark、Hadoo系統(tǒng)適用的場(chǎng)景；掌握Spark、Hadoo等初中級(jí)應(yīng)用開發(fā)技能；搭建穩(wěn)定可靠的Spar、Hadoo k集群，滿足生產(chǎn)環(huán)境的標(biāo)準(zhǔn)；了解和清楚大數(shù)據(jù)應(yīng)用的幾個(gè)行業(yè)中的經(jīng)典案例，包括阿里巴巴，華為等。
培訓(xùn)頒發(fā)證書:
工業(yè)和信息化部人才交流中心頒發(fā)的《工業(yè)和信息化領(lǐng)域急需緊缺人才》大數(shù)據(jù)分析高級(jí)工程師證書。證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級(jí)和晉升職務(wù)的重要依據(jù)。證書查詢：www.ncie.gov.cn
課程大綱:
時(shí)間模塊培訓(xùn)大綱
第一天
Spark生態(tài)介紹 Mapreduce、storm和spark模型的比較和使用場(chǎng)景介紹
Spark產(chǎn)生背景
Spark（內(nèi)存計(jì)算框架）
SparkSteaming（流式計(jì)算框架） Spark SQL（ad-hoc）
Mllib（MachineLearning）
GraphX（bagel將被代）
DDB介紹
SparkR介紹
spark安裝部署 Spark安裝簡(jiǎn)介
Spark的源碼編譯
Spark Standalone安裝 Spark Standalone HA安裝
Spark應(yīng)用程序部署工具spark-submit
Spark運(yùn)行架構(gòu)和解析 Spark的運(yùn)行架構(gòu)
基本術(shù)語
運(yùn)行架構(gòu)
Spark on Standalone運(yùn)行過程
Spark on YARN 運(yùn)行過程 Spark運(yùn)行實(shí)例解析
Spark on Standalone實(shí)例解析
Spark on YARN實(shí)例解析
Spark的scala編程 Scala基本語法
Scala開發(fā)環(huán)境搭建 Scala開發(fā)Spark應(yīng)用程序
Spark編程模型和解析 Spark的編程模型
Spark編程模型解析 RDD的特點(diǎn)、操作、依賴關(guān)系
Spark應(yīng)用程序的配置
第二天Spark的scala編程 Scala基本語法
Scala開發(fā)環(huán)境搭建 Scala開發(fā)Spark應(yīng)用程序
Spark Streaming原理和實(shí)踐 Spark Streaming原理
Spark流式處理架構(gòu)
DStream的特點(diǎn)
Dstream的操作和RDD的區(qū)別
Spark Streaming的優(yōu)化 Spark Streaming實(shí)例
文本實(shí)例
網(wǎng)絡(luò)數(shù)據(jù)處理
Spark SQL原理和實(shí)踐 Spark SQL原理
Spark SQL的Catalyst優(yōu)化器
Spark SQL內(nèi)核
Spark SQL和Hive Spark SQL的實(shí)例和編程
Spark SQL的實(shí)例操作demo
Spark SQL的編程
第三天
Spark MLlib數(shù)據(jù)挖掘 Spark mllib介紹
Kmeans數(shù)據(jù)介紹
MllibKmeans案例
LR算法介紹
Mllib LR 案例
貝葉斯算法介紹 貝葉斯算法案例
基于mllib的推薦系統(tǒng)實(shí)戰(zhàn)
—商品推薦
—用戶推薦
—混合推薦
—最佳拍檔
Spark graphX圖分析 graphX核心原理
table operator和graph operator區(qū)別
vertices、edges和triplets介紹
構(gòu)建一個(gè)graph ShortestPaths圖算法詳解
PageRank圖算法詳解
TriangleCount圖算法詳解
Pagerank圖算法實(shí)戰(zhàn)
案例實(shí)戰(zhàn) 基于spark日志分析
個(gè)性化推薦系統(tǒng)：帶你揭開其神秘面紗
在線投放引擎
揭開淘寶點(diǎn)擊推薦系統(tǒng)的神秘面紗
京東商城數(shù)據(jù)服務(wù)架構(gòu)—實(shí)時(shí)計(jì)算平臺(tái)
培訓(xùn)師介紹：
劉老師：阿里大數(shù)據(jù)高級(jí)專家，國(guó)內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家，對(duì)HDFS、MapReduce、H、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進(jìn)行了多年的深入的研究，更主要的是這些技術(shù)在大量的實(shí)際項(xiàng)目中得到廣泛的應(yīng)用，因此在Hadoop開發(fā)和運(yùn)維方面積累了豐富的項(xiàng)目實(shí)施經(jīng)驗(yàn)。近年主要典型的項(xiàng)目有：某電信集團(tuán)網(wǎng)絡(luò)優(yōu)化、中國(guó)移動(dòng)某省移動(dòng)公司請(qǐng)賬單系統(tǒng)和某省移動(dòng)詳單實(shí)時(shí)查詢系統(tǒng)、中國(guó)銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運(yùn)營(yíng)商全國(guó)用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項(xiàng)目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺(tái)項(xiàng)目等。