大數(shù)據(jù)實(shí)時(shí)處理-基于Spark的大數(shù)據(jù)實(shí)時(shí)處理及應(yīng)用技術(shù)培訓(xùn)其它上課時(shí)間：

1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級(jí)程序員、資深開(kāi)發(fā)人員。2，牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人。3，政府機(jī)關(guān)，金融保險(xiǎn)、移動(dòng)和互聯(lián)網(wǎng)等大數(shù)據(jù)來(lái)源單位的負(fù)責(zé)人。4，高校、科研院所牽涉到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項(xiàng)目負(fù)責(zé)人。學(xué)員基礎(chǔ)1，對(duì)IT系統(tǒng)設(shè)計(jì)有一定的理論與實(shí)踐經(jīng)驗(yàn)。2，數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘處理有一定的基礎(chǔ)知識(shí)。

課程收益:

隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展，我們已經(jīng)切實(shí)地迎來(lái)了一個(gè)大數(shù)據(jù)相關(guān)內(nèi)容導(dǎo)讀“大數(shù)據(jù)”互聯(lián)網(wǎng)金融與大數(shù)據(jù)實(shí)踐上海2016-4-8(1天)
互聯(lián)網(wǎng)金融與大數(shù)據(jù)實(shí)踐課程，旨在幫助學(xué)員了解了其他行業(yè)的新游戲規(guī)則，開(kāi)眼界，新視角，對(duì)互聯(lián)網(wǎng)金融有了新的認(rèn)識(shí)！大數(shù)據(jù)時(shí)代的績(jī)效管理—精細(xì)化人力資源蘇州2016-4-10(2天)
精細(xì)化人力資源課程通過(guò)業(yè)務(wù)數(shù)據(jù)和人力資源實(shí)戰(zhàn)流程分析，提高人力資源策略的制定和執(zhí)行跟蹤的能力，達(dá)到以業(yè)務(wù)數(shù)據(jù)分析和跟蹤為依據(jù)的績(jī)效指標(biāo)設(shè)定和管理，使人力資源績(jī)效管理真正成為戰(zhàn)略和策略工具。
互聯(lián)網(wǎng)+時(shí)代培訓(xùn)體系建立及工具……

課程大綱:

第一講、Spark大數(shù)據(jù)實(shí)時(shí)處理技術(shù)
1）大數(shù)據(jù)處理技術(shù)
2）Spark實(shí)時(shí)處理技術(shù)
3）Spark生態(tài)系統(tǒng)BDAS
4）Spark架構(gòu)分析
第二講、Spark安裝配置及監(jiān)控
1）Ubuntu環(huán)境的準(zhǔn)備
2）Hadoop2.X和Scala
3）搭建Spark開(kāi)發(fā)環(huán)境
4）Idea編譯和運(yùn)行
5）Spark監(jiān)控管理
第三講、Scala編程語(yǔ)言使用概述
1)Scala編程語(yǔ)言
2)基本數(shù)據(jù)類(lèi)型
3)操作基本數(shù)據(jù)類(lèi)型
4)類(lèi)和對(duì)象
5)組合和繼承
第四講、Spark分布式計(jì)算框架
1）Spark計(jì)算模型
2）彈性分布式數(shù)據(jù)集RDD
3）Spark的數(shù)據(jù)存儲(chǔ)
4）Transformation算子分類(lèi)及功能
5）Actions算子分類(lèi)及功能
第五講、Spark內(nèi)部工作機(jī)制詳解
1)Spark底層實(shí)現(xiàn)原理
2)Spark應(yīng)用執(zhí)行機(jī)制
3)Spark調(diào)度與任務(wù)分配模塊
4)FIFO和FAIR調(diào)度算法
第六講、Spark數(shù)據(jù)讀取與存儲(chǔ)
1）Spark的I/O機(jī)制
2）Spark中的數(shù)據(jù)壓縮
3）Spark的數(shù)據(jù)讀取與存儲(chǔ)
4）Spark數(shù)據(jù)讀寫(xiě)流程
第七講、Spark通信模塊和容錯(cuò)機(jī)制
1）Spark通信模塊
2）通信框架AKKA
3）容錯(cuò)機(jī)制和Lineage依賴(lài)
4）檢查點(diǎn)機(jī)制進(jìn)行容錯(cuò)
5）Shuffle過(guò)程
第八講、SQLOnSpark
1)BDAS數(shù)據(jù)分析軟件棧
2)SQLOnSpark
3)SparkSQL工具使用
4)Shark工具使用
5)HiveonSpark工具
6)Spark操作HBase中的數(shù)據(jù)
第九講、Spark流數(shù)據(jù)處理工具Streaming
1）流數(shù)據(jù)處理工具Streaming
2）SparkStreaming架構(gòu)
3）SparkStreaming原理
4）SparkStreaming實(shí)例
第十講、Spark中的大數(shù)據(jù)挖掘工具M(jìn)Llib
1）大數(shù)據(jù)挖掘工具M(jìn)Llib
2）MLlib的數(shù)據(jù)存儲(chǔ)
3）MLlib中的聚類(lèi)和分類(lèi)
4）MLlib算法應(yīng)用實(shí)例
5）利用MLlib進(jìn)行推薦
第十一講、Spark大規(guī)模圖處理工具GraphX
1）大規(guī)模圖處理工具GraphX
2）GraphX的運(yùn)行架構(gòu)
3）GraphX操作使用
4）GraphX使用實(shí)例
第十二講、Spark與其他大數(shù)據(jù)技術(shù)的融合與應(yīng)用
1）與Hadoop/Yarn集群應(yīng)用的協(xié)作
2）與Docker等其它云工具配合
3）Spark在Yahoo!的應(yīng)用
4）Spark在電商中的應(yīng)用

培訓(xùn)師介紹：

由業(yè)界知名云計(jì)算專(zhuān)家親自授課：
楊老師主要研究網(wǎng)絡(luò)信息分析以及云計(jì)算相關(guān)技術(shù)，長(zhǎng)期從事數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘以及大數(shù)據(jù)分析技術(shù)研究，主持和參與了多個(gè)國(guó)家和省部級(jí)基金項(xiàng)目，具有豐富的工程實(shí)踐及軟件研發(fā)經(jīng)驗(yàn)。
課程對(duì)象
1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級(jí)程序員、資深開(kāi)發(fā)人員。
2，牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人。
3，政府機(jī)關(guān)，金融保險(xiǎn)、移動(dòng)和互聯(lián)網(wǎng)等大數(shù)據(jù)來(lái)源單位的負(fù)責(zé)人。
4，高校、科研院所牽涉到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項(xiàng)目負(fù)責(zé)人。
學(xué)員基礎(chǔ)1，對(duì)IT系統(tǒng)設(shè)計(jì)有一定的理論與實(shí)踐經(jīng)驗(yàn)。
2，數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘處理有一定的基礎(chǔ)知識(shí)。