“Spark應(yīng)用與實戰(zhàn)高級工程師” 培訓(xùn)其它上課時間：

各類 IT/軟件企業(yè)和研發(fā)機構(gòu)的軟件架構(gòu)師、軟件設(shè)計師、程序員。對于懷有設(shè)計疑問和問題，需要梳理解答的團隊和個人效果最佳。

課程收益:

本課程將為大家全面而又深入的介紹Spark、Hadoop平臺的構(gòu)建流程，涉及Spark、Hadoo系統(tǒng)基礎(chǔ)知識，概念及架構(gòu)， Spark、Hadoo實戰(zhàn)技巧，Spark、Hadoo經(jīng)典案例等。
通過本課程實踐，幫助學員對Spark、Hadoo生態(tài)系統(tǒng)有一個清晰明了的認識；理解Spark、Hadoo系統(tǒng)適用的場景；掌握Spark、Hadoo等初中級應(yīng)用開發(fā)技能；搭建穩(wěn)定可靠的Spar、Hadoo k集群，滿足生產(chǎn)環(huán)境的標準；了解和清楚大數(shù)據(jù)應(yīng)用的幾個行業(yè)中的經(jīng)典案例，包括阿里巴巴，華為等。

培訓(xùn)頒發(fā)證書:

工業(yè)和信息化部人才交流中心頒發(fā)的《工業(yè)和信息化領(lǐng)域急需緊缺人才》大數(shù)據(jù)分析高級工程師證書。證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據(jù)。證書查詢：www.ncie.gov.cn

課程大綱:

時間模塊培訓(xùn)大綱
第一天



Spark生態(tài)介紹 Mapreduce、storm和spark模型的比較和使用場景介紹
Spark產(chǎn)生背景
Spark（內(nèi)存計算框架）
SparkSteaming（流式計算框架） Spark SQL（ad-hoc）
Mllib（MachineLearning）
GraphX（bagel將被代）
DDB介紹
SparkR介紹

spark安裝部署 Spark安裝簡介
Spark的源碼編譯
Spark Standalone安裝 Spark Standalone HA安裝
Spark應(yīng)用程序部署工具spark-submit


Spark運行架構(gòu)和解析 Spark的運行架構(gòu)
基本術(shù)語
運行架構(gòu)
Spark on Standalone運行過程
Spark on YARN 運行過程 Spark運行實例解析
Spark on Standalone實例解析
Spark on YARN實例解析
Spark的scala編程 Scala基本語法
Scala開發(fā)環(huán)境搭建 Scala開發(fā)Spark應(yīng)用程序
Spark編程模型和解析 Spark的編程模型
Spark編程模型解析 RDD的特點、操作、依賴關(guān)系
Spark應(yīng)用程序的配置
第二天Spark的scala編程 Scala基本語法
Scala開發(fā)環(huán)境搭建 Scala開發(fā)Spark應(yīng)用程序
Spark Streaming原理和實踐 Spark Streaming原理
Spark流式處理架構(gòu)
DStream的特點
Dstream的操作和RDD的區(qū)別
Spark Streaming的優(yōu)化 Spark Streaming實例
文本實例
網(wǎng)絡(luò)數(shù)據(jù)處理
Spark SQL原理和實踐 Spark SQL原理
Spark SQL的Catalyst優(yōu)化器
Spark SQL內(nèi)核
Spark SQL和Hive Spark SQL的實例和編程
Spark SQL的實例操作demo
Spark SQL的編程
第三天

Spark MLlib數(shù)據(jù)挖掘 Spark mllib介紹
Kmeans數(shù)據(jù)介紹
MllibKmeans案例
LR算法介紹
Mllib LR 案例
貝葉斯算法介紹 貝葉斯算法案例
基于mllib的推薦系統(tǒng)實戰(zhàn)
—商品推薦
—用戶推薦
—混合推薦
—最佳拍檔
Spark graphX圖分析 graphX核心原理
table operator和graph operator區(qū)別
vertices、edges和triplets介紹
構(gòu)建一個graph ShortestPaths圖算法詳解
PageRank圖算法詳解
TriangleCount圖算法詳解
Pagerank圖算法實戰(zhàn)
案例實戰(zhàn) 基于spark日志分析
個性化推薦系統(tǒng)：帶你揭開其神秘面紗
在線投放引擎
揭開淘寶點擊推薦系統(tǒng)的神秘面紗
京東商城數(shù)據(jù)服務(wù)架構(gòu)—實時計算平臺

培訓(xùn)師介紹：

劉老師：阿里大數(shù)據(jù)高級專家，國內(nèi)資深的Spark、Hadoop技術(shù)專家、虛擬化專家，對HDFS、MapReduce、H、Hive、Mahout、Storm、spark和openTSDB等Hadoop生態(tài)系統(tǒng)中的技術(shù)進行了多年的深入的研究，更主要的是這些技術(shù)在大量的實際項目中得到廣泛的應(yīng)用，因此在Hadoop開發(fā)和運維方面積累了豐富的項目實施經(jīng)驗。近年主要典型的項目有：某電信集團網(wǎng)絡(luò)優(yōu)化、中國移動某省移動公司請賬單系統(tǒng)和某省移動詳單實時查詢系統(tǒng)、中國銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺、某大型銀行大數(shù)據(jù)記錄系統(tǒng)、某大型通信運營商全國用戶上網(wǎng)記錄、某省交通部門違章系統(tǒng)、某區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用項目、互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)和構(gòu)建游戲云(Web Game Daas)平臺項目等。