深圳大數據云計算系統(tǒng)架構師高級課程

【課程內容】

階段一、大數據、云計算-Hadoop大數據開發(fā)技術

課程一、大數據運維之Linux基礎

本部分是基礎課程，幫大家進入大數據領域打好Linux基礎，以便更好地學習Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等眾多課程。因為企業(yè)中的項目基本上都是使用Linux環(huán)境下搭建或部署的。

1）Linux系統(tǒng)概述

2）系統(tǒng)安裝及相關配置

3）Linux網絡基礎

4）OpenSSH實現(xiàn)網絡安全連接

5）vi文本編輯器

6）用戶和用戶組管理

7）磁盤管理

8）Linux文件和目錄管理

9）Linux終端常用命令

10）linux系統(tǒng)監(jiān)測與維護

課程二、大數據開發(fā)核心技術-Hadoop2.x從入門到精通本課程是整套大數據課程的基石：其一，分布式文件系統(tǒng)HDFS用于存儲海量數據，無論是Hive、HBase或者Spark數據存儲在其上面；其二是分布式資源管理框架YARN，是Hadoop云操作系統(tǒng)（也稱數據系統(tǒng)），管理集群資源和分布式數據處理框架MapReduce、Spark應用的資源調度與監(jiān)控；分布式并行計算框架MapReduce目前是海量數據并行處理的一個常用的框架。Hadoop2.x的編譯、環(huán)境搭建、HDFSShell使用，YARN集群資源管理與任務監(jiān)控，MapReduce編程，分布式集群的部署管理（包括高可用性HA）必須要掌握的。

一、初識Hadoop2.x

1）大數據應用發(fā)展、前景

2）Hadoop2.x概述及生態(tài)系統(tǒng)

3）Hadoop2.x環(huán)境搭建與測試

二、深入Hadoop2.x

1）HDFS文件系統(tǒng)的架構、功能、設計

2）HDFSJavaAPI使用

3）YARN架構、集群管理、應用監(jiān)控

4）MapReduce編程模型、Shuffle過程、編程調優(yōu)

三、Hadoop2.x

1）分布式部署Hadoop2.x

2）分布式協(xié)作服務框架Zookeeper

3）HDFSHA架構、配置、測試

4）HDFS2.x中特性

5）YARNHA架構、配置

6）Hadoop主要發(fā)行版本（CDH、HDP、Apache）

四、實戰(zhàn)應用

1）以“遠標教育用戶瀏覽日志”數據進行實際的分析2）原數據采集3）數據的預處理（ETL）4）數據的分析處理（MapReduce）

課程三、大數據開發(fā)核心技術-大數據倉庫Hive精講hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。其優(yōu)點是學習成本低，可以通類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapReduce應用，十分適合數據倉庫的統(tǒng)計分析。

一、Hive初識入門

1）Hive功能、體系結構、使用場景

2）Hive環(huán)境搭建、初級使用

3）Hive原數據配置、常見交互方式

二、Hive深入使用

1）Hive中的內部表、外部表、分區(qū)表

2）Hive數據遷移

3）Hive常見查詢（select、where、distinct、join、groupby）

4）Hive內置函數和UDF編程

三、Hive進階

1）Hive數據的存儲和壓縮

2）Hive常見優(yōu)化（數據傾斜、壓縮等）

四、結合“遠標教育用戶瀏覽日志”實際案例分析

1）依據業(yè)務設計表

2）數據清洗、導入（ETL）

3）使用HiveQL，統(tǒng)計常見的網站指標

課程四、大數據協(xié)作框架-Sqoop/Flume/Oozieo精講Sqoop是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數據庫(mysql、postgresql...)間進行數據的傳遞，可以將一個關系型數據庫（例如：MySQL,Oracle,Postgres等）中的數據導進到關系型數據庫中。Sqoop項目開始于2009年，早是作為Hadoop的一個第三方模塊存在，后來為了讓使用者能夠快速部署，也為了讓開發(fā)人員能夠更快速的迭代開發(fā)，Sqoop獨立成為一個Apache項目。

一、數據轉換工具Sqoop

1）Sqoop功能、使用原則

2）將RDBMS數據導入Hive表中（全量、增量）

3）將HDFS上文件導出到RDBMS表中

二、文件收集框架Flume

1）Flume設計架構、原理（三大組件）

2）Flume初步使用，實時采集數據

3）如何使用Flume監(jiān)控文件夾數據，實時采集錄入HDFS中4）任務調度框架Oozie

三、Oozie功能、安裝部署

1）使用Oozie調度MapReduceJob和HiveQL

2）定時調度任務使用

課程五、大數據Web開發(fā)框架-大數據WEB工具Hue精講Hue是一個開源的ApacheHadoopUI系統(tǒng)，早是由ClouderaDesktop演化而來，由Cloudera貢獻給開源社區(qū)，它是基于PythonWeb框架Django實現(xiàn)的。通過使用Hue我們可以在瀏覽器端的Web控制臺上與Hadoop集群進行交互來分析處理數據，例如操作HDFS上的數據，運行MapReduceJob等等。

1）Hue架構、功能、編譯

2）Hue集成HDFS

3）Hue集成MapReduce

4）Hue集成Hive、DataBase

5）Hue集成Oozie

課程六、大數據核心開發(fā)技術-分布式數據庫HBase從入門到精通HBase是一個分布式的、面向列的開源數據庫，該技術來源于FayChang所撰寫的Google論文“Bigtable：一個結構化數據的分布式存儲系統(tǒng)”。HBase在Hadoop之上提供了類似于Bigtable的能力，是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，利用HBase技術可在廉價PCServer上搭建起大規(guī)模結構化存儲集群

一、HBase初窺使用

1）HBase是什么、發(fā)展、與RDBMS相比優(yōu)勢、企業(yè)使用

2）HBaseSchema、表的設計

3）HBase環(huán)境搭建、shell初步使用（CRUD等）

二、HBase深入使用

1）HBase數據存儲模型

2）HBaseJavaAPI使用（CRUD、SCAN等）

3）HBase架構深入剖析

4）HBase與MapReduce集成、數據導入導出

三、HBase使用

1）如何設計表、表的預分區(qū)（依據具體業(yè)務分析講解）

2）HBase表的常見屬性設置（結合企業(yè)實際）

3）HBaseAdmin操作（JavaAPI、常見命令）

四、“遠標教育用戶瀏覽日志”進行分析

1）依據需求設計表、創(chuàng)建表、預分區(qū)

2）進行業(yè)務查詢分析

3）對于密集型讀和密集型寫進行HBase參數調優(yōu)

課程七、大數據核心開發(fā)技術-Storm實時數據處理

Storm是Twitter開源的分布式實時大數據處理框架，被業(yè)界稱為實時版Hadoop。隨著越來越多的場景對Hadoop的MapReduce高延遲無法容忍，比如網站統(tǒng)計、推薦系統(tǒng)、預警系統(tǒng)、金融系統(tǒng)(高頻交易、股票)等等，大數據實時處理解決方案（流計算）的應用日趨廣泛，目前已是分布式技術領域新爆發(fā)點，而Storm更是流計算技術中的佼佼者和主流。按照storm作者的說法，Storm對于實時計算的意義類似于Hadoop對于批處理的意義。Hadoop提供了map、reduce原語，使我們的批處理程序變得簡單和高效。同樣，Storm也為實時計算提供了一些簡單高效的原語，而且Storm的Trident是基于Storm原語更的抽象框架，類似于基于Hadoop的Pig框架，讓開發(fā)更加便利和高效。本課程會深入、全面的講解Storm，并穿插企業(yè)場景實戰(zhàn)講述Storm的運用。淘寶雙11的大屏幕實時監(jiān)控效果沖擊了整個IT界，業(yè)界為之驚嘆的同時更是引起對該技術的探索。學完本課程你可以自己開發(fā)升級版的“淘寶雙11”，還等什么？

1）Storm簡介和課程介紹

2）Storm原理和概念詳解

3）Zookeeper集群搭建及基本使用

4）Storm集群搭建及測試

5）API簡介和入門案例開發(fā)

6）Spout的Tail特性、storm-starter及maven使用、Grouping策略

7）實例講解Grouping策略及并發(fā)

8）并發(fā)度詳解、案例開發(fā)（高并發(fā)運用）

9）案例開發(fā)——計算網站PV，通過2種方式實現(xiàn)匯總型計算。

10）案例優(yōu)化引入Zookeeper鎖控制線程操作

11）計算網站UV(去重計算模式)

12）“運維”集群統(tǒng)一啟動和停止shell腳本開發(fā)

13）Storm事務工作原理深入講解14）Storm事務API及案例分析

15）Storm事務案例實戰(zhàn)之ITransactionalSpout

16）Storm事務案例升級之按天計算

17）Storm分區(qū)事務案例實戰(zhàn)

18）Storm不透明分區(qū)事務案例實戰(zhàn)

19）DRPC精解和案例分析

20）StormTrident入門

21）TridentAPI和概念

22）StormTrident實戰(zhàn)之計算網站PV

23）ITridentSpout、FirstN(取TopN)實現(xiàn)、流合并和Join

24）StormTrident之函數、流聚合及核心概念State

25）StormTrident綜合實戰(zhàn)一（基于HBase的State）

26）StormTrident綜合實戰(zhàn)二

27）StormTrident綜合實戰(zhàn)三

28）Storm集群和作業(yè)監(jiān)控告警開發(fā)

課程八、Spark技術實戰(zhàn)之基礎篇-Scala語言從入門到精通

為什么要學習Scala？源于Spark的流行，Spark是當前流行的開源大數據內存計算框架，采用Scala語言實現(xiàn)，各大公司都在使用Spark：IBM宣布**大力推進ApacheSpark項目，并稱該項目為：在以數據為主導的，未來十年為重要的新的開源項目。這一**的核心是將Spark嵌入IBM業(yè)內的分析和商務平臺，Scala具有數據處理的天然優(yōu)勢，Scala是未來大數據處理的主流語言

1)kafka是什么

2)kafka體系結構

3)kafka配置詳解

4)kafka的安裝

5)kafka的存儲策略

6)kafka分區(qū)特點

7)kafka的發(fā)布與訂閱

8)java編程操作kafka

9)scala編程操作kafka

10)flume和kafka的整合

11)Kafka和storm的整合

課程九、大數據核心開發(fā)技術-內存計算框架Spark精講

Spark是UCBerkeleyAMPlab所開源的類HadoopMapReduce的通用并行框架，Spark，擁有HadoopMapReduce所具有的優(yōu)點。啟用了內存分布數據集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。SparkStreaming:構建在Spark上處理Stream數據的框架，基本的原理是將Stream數據分成小的時間片斷

（幾秒），以類似batch批量處理的方式來處理這小部分數據

1）Spark初識入門

2）Spark概述、生態(tài)系統(tǒng)、與MapReduce比較

3）Spark編譯、安裝部署（StandaloneMode）及測試

4）Spark應用提交工具（spark-submit，spark-shell）

5）Scala基本知識講解（變量，類，高階函數）

6）Spark核心RDD

7）RDD特性、常見操作、緩存策略

8）RDDDependency、Stage常、源碼分析

9）Spark核心組件概述

10）案例分析

11）Spark高階應用

12）SparkonYARN運行原理、運行模式及測試

13）SparkHistoryServer歷史應用監(jiān)控

14）SparkStreaming流式計算

15）SparkStreaming原理、DStream設計

16）SparkStreaming常見input、out

17）SparkStreaming與Kafka集成

18）使用Spark對“遠標教育用戶瀏覽日志”進行分析

課程十、大數據核心開發(fā)技術-Spark深入剖析

本課程主要講解目前大數據領域熱門、火爆、有前景的技術——Spark。在本課程中，會從淺入深，基于大量案例實戰(zhàn)，深度剖析和講解Spark，并且會包含

完全從企業(yè)真實復雜業(yè)務需求中抽取出的案例實戰(zhàn)。課程會涵蓋Scala編程詳解、Spark核心編程、SparkSQL和SparkStreaming、Spark內核以及源碼剖析、

性能調優(yōu)、企業(yè)級案例實戰(zhàn)等部分

1）Scala編程、Hadoop與Spark集群搭建、Spark核心編程、Spark內核源碼深度剖析、Spark性能調優(yōu)、SparkSQL、SparkStreaming

2）Spark源碼剖析

3）基于排序的wordcount，Spark二次排序，Spark分組取topn，DataFrame與RDD的兩種轉換方式，SparkSQL的內置函數、開窗函數、UDF、UDAF，SparkStreaming的KafkaDirectAPI、updateStateByKey、transform、滑動窗口、foreachRDD性能優(yōu)化、與SparkSQL整合使用、持久化、checkpoint、容錯與事務

4）項目實戰(zhàn)：多個從企業(yè)實際需求抽取出的復雜案例實戰(zhàn)：每日uv和銷售額統(tǒng)計案例、top3熱賣商品統(tǒng)計案例、每日top3熱點搜索詞統(tǒng)計、廣

告計費日志實時黑名單過濾案例、熱點搜索詞滑動統(tǒng)計案例、top3熱門商品實時統(tǒng)計案例

課程十一、企業(yè)大數據平臺應用

本階段主要就之前所學內容完成大數據相關企業(yè)場景與解決方案的剖析應用及結合一個電子商務平臺進行實戰(zhàn)分析，主要包括有：企業(yè)大數據平臺概述、搭建企業(yè)

大數據平臺、真實服務器手把手環(huán)境部署、使用CM5.3.x管理CDH5.3.x集群

1）企業(yè)大數據平臺概述

2）大數據平臺基本組件

3）Hadoop發(fā)行版本、比較、選擇

4）集群環(huán)境的準備（系統(tǒng)、基本配置、規(guī)劃等）

5）搭建企業(yè)大數據平臺

6）以實際企業(yè)項目需求為依據，搭建平臺

7）需求分析（主要業(yè)務）

8）框架選擇（Hive\HBase\Spark等）

9）真實服務器手把手環(huán)境部署

10）安裝ClouderaManager5.3.x

11）使用CM5.3.x安裝CDH5.3.x

12）如何使用CM5.3.x管理CDH5.3.x集群

13）基本配置，優(yōu)化

14）基本性能測試

15）各個組件如何使用

課程十二、項目實戰(zhàn)：驢媽媽旅游網大型離線數據電商分析平臺

離線數據分析平臺是一種利用hadoop集群開發(fā)工具的一種方式，主要作用是幫助公司對網站的應用有一個比較好的了解。尤其是在電商、旅游、銀行、證券、游戲

等領域有非常廣泛，因為這些領域對數據和用戶的特性把握要求比較高，所以對于離線數據的分析就有比較高的要求了。本課程講師本人之前在游戲、旅游等公司

專門從事離線數據分析平臺的搭建和開發(fā)等，通過此項目將所有大數據內容貫穿，并前后展示！

1）Flume、Hadoop、Hbase、Hive、Oozie、Sqoop、離線數據分析，SpringMVC，Highchat

2）Flume+Hadoop+Hbase+SpringMVC+MyBatis+MySQL+Highcharts實現(xiàn)的電商離線數據分析

3）日志收集系統(tǒng)、日志分析、數據展示設計

課程十三、項目實戰(zhàn)：基于1號店的電商實時數據分析系統(tǒng)

課程基于1號店的業(yè)務及數據進行設計和講解的，主要涉及

1、課程中完整開發(fā)3個Storm項目，均為企業(yè)實際項目，其中一個是完全由StormTrident開發(fā)。項目源碼均可以直接運行，也可直接用于商用或企業(yè)。

2、每個技術均采用新穩(wěn)定版本，學完后會員可以從Kafka到Storm項目開發(fā)及HighCharts圖表開發(fā)一個人搞定！讓學員身價劇增！

3、搭建CDH5生態(tài)環(huán)境完整平臺，且采用ClouderaManager界面化管理CDH5平臺。讓Hadoop平臺環(huán)境搭建和維護都變得輕而易舉。

4、分享實際項目的架構設計、優(yōu)劣分析和取舍、經驗技巧，陡直提升學員的經驗值

1）全面掌握Storm完整項目開發(fā)思路和架構設計

2）掌握StormTrident項目開發(fā)模式

3）掌握Kafka運維和API開發(fā)、與Storm接口開發(fā)

4）掌握HighCharts各類圖表開發(fā)和實時無刷新加載數據

5）熟練搭建CDH5生態(tài)環(huán)境完整平臺

6）靈活運用HBase作為外部存儲

7）可以做到以一己之力完成從后臺開發(fā)（Storm、Kafka、Hbase開發(fā)）

到前臺HighCharts圖表開發(fā)、Jquery運用等，所有工作一個人搞定！

可以一個人搞定淘寶雙11大屏幕項目！

課程十四、項目實戰(zhàn)：基于某團購網的大型離線電商數據分析平臺

本項目使用了Spark技術生態(tài)棧中常用的三個技術框架，SparkCore、SparkSQL和SparkStreaming，進行離線計算和實時計算業(yè)務模塊的開發(fā)。實現(xiàn)了包括用

戶訪問session分析、頁面單跳轉化率統(tǒng)計、熱門商品離線統(tǒng)計、廣告點擊流量實時統(tǒng)計4個業(yè)務模塊。過合理的將實際業(yè)務模塊進行技術整合與改造，該項目完全

涵蓋了SparkCore、SparkSQL和SparkStreaming這三個技術框架中幾乎所有的功能點、知識點以及性能優(yōu)化點。僅一個項目，即可全面掌握Spark技術在實際項

目中如何實現(xiàn)各種類型的業(yè)務需求！在項目中，重點講解了實際企業(yè)項目中積累下來的寶貴的性能調優(yōu)、troubleshooting以及數據傾斜解決方案等知識和技術

1）真實還原完整的企業(yè)級大數據項目開發(fā)流程：項目中采用完全還原企業(yè)大數據項目開發(fā)場景的方式來講解，每一個業(yè)務模塊的講解都包括了數據分

析、需求分析、方案設計、數據庫設計、編碼實現(xiàn)、功能測試、性能調優(yōu)、troubleshooting與解決數據傾斜（后期運維）等環(huán)節(jié)，真實還原

企業(yè)級大數據項目開發(fā)場景。讓學員掌握真實大數據項目的開發(fā)流程和經驗！

2）現(xiàn)場Excel手工畫圖與寫筆記：所有復雜業(yè)務流程、架構原理、Spark技術原理、業(yè)務需求分析、技術實現(xiàn)方案等知識的講解，采用Excel畫

圖或者寫詳細比較的方式進行講解與分析，細致入微、形象地透徹剖析理論知識，幫助學員更好的理解、記憶與復習鞏固。

課程十五、大數據高薪面試剖析

本階段通過對歷來大數據公司企業(yè)真實面試題的剖析，講解，讓學員真正的一個菜鳥轉型為具有1年以上的大數據開發(fā)工作經驗的專業(yè)人士，也是講師多年來大數據

企業(yè)開發(fā)的經驗之談。

1）大數據項目

2）企業(yè)大數據項目的類型

3）技術架構（如何使用各框架處理數據）

4）沖刺高薪面試

5）面試簡歷編寫（把握重點要點）

6）面試中的技巧

7）常見面試題講解

8）如何快速融入企業(yè)進行工作（對于大數據公司來說非常關鍵）

9）學員答疑

10）針對普遍問題進行公共解答

11）一對一的交流

階段二、大數據、云計算-Java企業(yè)級核心應用

課程十六、深入Java性能調優(yōu)

國內關于Java性能調優(yōu)的課程非常少，如此全面深入介紹Java性能調優(yōu)，遠標教育算是，Special講師，十余年Java方面開發(fā)工作經驗，軟件開發(fā)系統(tǒng)架構師，

本套課程系多年工作經驗與心得的總結，課程有著很高的含金量和實用價值，本課程專注于java應用程序的優(yōu)化方法，技巧和思想，深入剖析軟件設計層面、代碼層面、JVM虛擬機層面的優(yōu)化方法，理論結合實際，使用豐富的示例幫助學員理解理論知識。

課程十七、JAVA企業(yè)級開放必備技術（WeblogicTomcat集群Apach集群）

Java自面世后就非常流行，發(fā)展迅速，對C++語言形成有力沖擊。在全球云計算和移動互聯(lián)網的產業(yè)環(huán)境下，Java更具備了顯著優(yōu)勢和廣闊前景，那么滋生的基于

java項目也越來越多，對java運行環(huán)境的要求也越來越高，很多java的程序員只知道對業(yè)務的擴展而不知道對java本身的運行環(huán)境的調試，例如虛擬機調優(yōu)，服務器集群等，所以也滋生本門課程的產生。

階段三、大數據、云計算-分布式集群、PB級別網站性能優(yōu)化

課程十八、大數據高并發(fā)系統(tǒng)架構實戰(zhàn)方案(LVS負載均衡、Nginx、共享存儲、海量數據、隊列緩存)

隨著互聯(lián)網的發(fā)展，高并發(fā)、大數據量的網站要求越來越高。而這些高要求都是基礎的技術和細節(jié)組合而成的。本課程就從實際案例出發(fā)給大家原景重現(xiàn)高并發(fā)架構

常用技術點及詳細演練。通過該課程的學習，普通的技術人員就可以快速搭建起千萬級的高并發(fā)大數據網站平臺,課程涉及內容包括:LVS實現(xiàn)負載均衡、Nginx配置實戰(zhàn)、共享存儲實現(xiàn)動態(tài)內容靜態(tài)化加速實戰(zhàn)、緩存平臺安裝配置使用、mysql主從復制安裝配置實戰(zhàn)等。

課程十九、大數據高并發(fā)服務器實戰(zhàn)教程

隨著Web技術的普及，Internet上的各類網站第天都在雪崩式增長。但這些網站大多在性能上沒做過多考慮。當然,它們情況不同。有的是Web技術本身的原因（主

要是程序代碼問題）,還有就是由于Web服務器未進行優(yōu)化。不管是哪種情況，一但用戶量在短時間內激增，網站就會明顯變慢，甚至拒絕放訪問。要想有效地解決這些問題，就只有依靠不同的優(yōu)化技術。本課程就是主要用于來解決大型網站性能問題，能夠承受大數據、高并發(fā)。主要涉及技術有：nginx、tomcat、memcached、redis緩存、負載均衡等開發(fā)技術

項目實戰(zhàn)：PB級通用電商網站性能優(yōu)化解決方案

本部分通過一個通用電商訂單支付模塊，外加淘寶支付接口的實現(xiàn)（可用于實際項目開發(fā)），剖析并分析過程中可能遇到的各種性能瓶頸及相關的解決方案與優(yōu)化技

巧。終目標，讓有具有PHP基礎或Java基礎的學員迅速掌握Linux下的開發(fā)知識，并對涉及到nginx、tomcat、memcached、redis緩存、負載均衡等開發(fā)技術有一個全面的了解

階段四、大數據、云計算-數據挖掘、分析&機器學習

課程二十、玩轉大數據：深入淺出大數據挖掘技術(Apriori算法、Tanagra工具、決策樹)

本課程名為深入淺出數據挖掘技術。所謂“深入”，指得是從數據挖掘的原理與經典算法入手。其一是要了解算法，知道什么場景應當應用什么樣的方法；其二是學

習算法的經典思想，可以將它應用到其他的實際項目之中；其三是理解算法，讓數據挖掘的算法能夠應用到您的項目開發(fā)之中去。所謂“淺出”，指得是將數據挖掘

算法的應用落實到實際的應用中。課程會通過三個不同的方面來講解算法的應用：一是微軟公司的SQLServer與Excel等工具實現(xiàn)的數據挖掘；二是開源算法

的數據挖掘，如Weka、KNIMA、Tanagra等開源工具；三是利用C#語言做演示來完成數據挖掘算法的實現(xiàn)。

根據實際的引用場景，數據挖掘技術通常分為分類器、關聯(lián)分析、聚類算法等三大類別。本課程主要介紹這三大算法的經典思想以及部分的實現(xiàn)形式，并結合一

些商業(yè)分析工具、開源工具或編程等方式來講解具體的應用方法

課程二十一、Lucene4.X實戰(zhàn)類baidu搜索的大型文檔海量搜索系統(tǒng)

本課程由淺入深的介紹了Lucene4的發(fā)展歷史，開發(fā)環(huán)境搭建，分析lucene4的中文分詞原理，深入講了lucenne4的系統(tǒng)架構，分析lucene4索引實現(xiàn)原理及性能優(yōu)

化，了解關于lucene4的搜索算法優(yōu)化及利用java結合lucene4實現(xiàn)類百度文庫的全文檢索功能等相對高端實用的內容，市面上一般很難找到同類具有相同深度與廣度的視頻，集原理、基礎、案例與實戰(zhàn)與一身，不可多得的一部高端視頻教程。

課程二十二、快速上手數據挖掘之solr搜索引擎教程（Solr集群、KI分詞、項目實戰(zhàn)）

本教程從基礎的solr語法開始講解，選擇了新流行的開源搜索引擎服務框架solr5.3.1，利用Tomcat8搭建了solr的集群服務；本教程可以幫助學員快速上手

solr的開發(fā)和二次開發(fā)，包括在hadoop集群的是利用，海量數據的索引和實時檢索，通過了解、學習、安裝、配置、集成等步驟引導學員如何將solr集成到項目中。

課程二十三、項目實戰(zhàn)：SPSSModeler數據挖掘項目實戰(zhàn)培訓

SSModeler是業(yè)界極為的數據挖掘軟件，其前身為SPSSClementine。SPSSModeler內置豐富的數據挖掘模型，以其強大的挖掘功能和友好的操作習慣，深

受用戶的喜愛和好評，成為眾多知名企業(yè)在數據挖掘項目上的軟件產品選擇。本課程以SPSSModeler為應用軟件，以數據挖掘項目生命周期為線索，以實際數據挖掘項目為例，講解了從項目商業(yè)理解開始，到后軟件實現(xiàn)的全過程。

課程二十四、數據層交換和高性能并發(fā)處理(開源ETL大數據治理工具）

ETL是數據的抽取清洗轉換加載的過程，是數據進入數據倉庫進行大數據分析的載入過程，目前流行的數據進入倉庫的過程有兩種形式，一種是進入數據庫后再進行

清洗和轉換，另外一條路線是首先進行清洗轉換再進入數據庫，我們的ETL屬于后者。大數據的利器大家可能普遍說是hadoop，但是大家要知道如果我們不做預先

的清洗和轉換處理，我們進入hadoop后僅通過mapreduce進行數據清洗轉換再進行分析，垃圾數據會導致我們的磁盤占用量會相當大，這樣無形中提升了我們的

硬件成本（硬盤大，內存小處理速度會很慢，內存大cpu性能低速度也會受影響），因此雖然hadoop理論上解決了爛機器拼起來解決大問題的問題，但是事實上如

果我們有更好的節(jié)點速度必然是會普遍提升的，因此ETL在大數據環(huán)境下仍然是必不可少的數據交換工具。

課程二十五、零基礎數據分析與挖掘R語言實戰(zhàn)

本課程面向從未接觸過數據分析的學員，從基礎的R語法開始講起，逐步進入到目前各行業(yè)流行的各種分析模型。整個課程分為基礎和實戰(zhàn)兩個單元?；A部分包

括R語法和統(tǒng)計思維兩個主題，R語法單元會介紹R語言中的各種特色數據結構，以及如何從外部抓去數據，如何使用包和函數，幫助同學快速通過語法關。統(tǒng)計思維

單元會指導如何用統(tǒng)計學的思想快速的發(fā)現(xiàn)數據特點或者模式，并利用R強大的繪圖能力做可視化展現(xiàn)。在實戰(zhàn)部分選擇了回歸、聚類、數據降維、關聯(lián)規(guī)則、決策

樹這5中基礎的數據分析模型，詳細介紹其思想原理，并通過案例講解R中的實現(xiàn)方案，尤其是詳細的介紹了對各種參數和輸出結果的解讀，讓學員真正達到融會

貫通、舉一反三的效果。并應用到自己的工作環(huán)境中

課程二十六、深入淺出HadoopMahout數據挖掘實戰(zhàn)(算法分析、項目實戰(zhàn)、中文分詞技術)

Mahout是ApacheSoftwareFoundation（ASF）旗下的一個開源項目，提供一些可擴展的機器學習領域經典算法的實現(xiàn)，旨在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應用程序。課程包括：Mahout數據挖掘工具及Hadoop實現(xiàn)推薦系統(tǒng)的綜合實戰(zhàn)，涉及到MapReduce、Pig和Mahout的綜合實戰(zhàn)

課程二十七、大數據項目實戰(zhàn)之Python金融應用編程(數據分析、定價與量化投資)

近年來，金融領域的量化分析越來越受到理論界與實務界的重視，量化分析的技術也取得了較大的進展，成為備受關注的一個熱點領域。所謂金融量化，就是將金融

分析理論與計算機編程技術相結合，更為有效的利用現(xiàn)代計算技術實現(xiàn)準確的金融資產定價以及交易機會的發(fā)現(xiàn)。量化分析目前已經涉及到金融領域的方方面面，包

括基礎和衍生金融資產定價、風險管理、量化投資等。隨著大數據技術的發(fā)展，量化分析還逐步與大數據結合在一起，對海量金融數據實現(xiàn)有效和快速的運算與處

理。在量化金融的時代，選用一種合適的編程語言對于金融模型的實現(xiàn)是至關重要的。在這方面，Python語言體現(xiàn)出了不一般的優(yōu)勢，特別是它擁有大量的金融計

算庫，并且可以提供與C++，java等語言的接口以實現(xiàn)高效率的分析，成為金融領域快速開發(fā)和應用的一種關鍵語言，由于它是開源的，降低了金融計算的成本，

而且還通過廣泛的社交網絡提供大量的應用實例，極大的縮短了金融量化分析的學習路徑。本課程在量化分析與Python語言快速發(fā)展的背景下介紹二者之間的關聯(lián)，使學員能夠快速掌握如何利用Python語言進行金融數據量化分析的基本方法。

課程二十八、項目實戰(zhàn)：云計算處理大數據深度、智能挖掘技術+地震數據挖掘分析

本課程介紹了基于云計算的大數據處理技術，重點介紹了一款高效的、實時分析處理海量數據的強有力工具——數據立方。數據立方是針對大數據處理的分布式數

據庫，能夠可靠地對大數據進行實時處理，具有即時響應多用戶并發(fā)請求的能力，通過對當前主流的大數據處理系統(tǒng)進行深入剖析，闡述了數據立方產生的背景，介

紹了數據立方的整體架構以及安裝和詳細開發(fā)流程，并給出了4個完整的數據立方綜合應用實例。所有實例都經過驗證并附有詳細的步驟說明，無論是對于云計算的

初學者還是想進一步深入學習大數據處理技術的研發(fā)人員、研究人員都有很好的參考價值。

階段五、大數據、云計算-大數據運維&云計算技術篇

課程二十九、Zookeeper從入門到精通（開發(fā)詳解，案例實戰(zhàn)，Web界面監(jiān)控）

ZooKeeper是Hadoop的開源子項目（GoogleChubby的開源實現(xiàn)），它是一個針對大型分布式系統(tǒng)的可靠協(xié)調系統(tǒng)，提供的功能包括：配置維護、命名服務、分

布式同步、組服務等。Zookeeper的FastFail和Leader選舉特性大大增強了分布式集群的穩(wěn)定和健壯性，并且解決了Master/Slave模式的單點故障重大隱患，這

是越來越多的分布式產品如HBase、Storm（流計算）、S4（流計算）等強依賴Zookeeper的原因。Zookeeper在分布式集群（Hadoop生態(tài)圈）中的地位越來越

突出，對分布式應用的開發(fā)也提供了極大便利，這是迫切需要深入學習Zookeeper的原因。本課程主要內容包括Zookeeper深入、客戶端開發(fā)（Java編程，案例開

發(fā)）、日常運維、Web界面監(jiān)控，“一條龍”的實戰(zhàn)平臺分享給大家。

課程三十、云計算Docker從零基礎到專家實戰(zhàn)教程

Docker是一種開源的應用容器引擎，使用Docker可以快速地實現(xiàn)虛擬化，并且實現(xiàn)虛擬化的性能相對于其他技術來說較高。并且隨著云計算的普及以及對虛擬化技

術的大量需求，使得云計算人才供不應求，所以一些大型企業(yè)對Docker專業(yè)技術人才需求較大。本教程從基礎的Dokcer原理開始講起，深入淺出，并且全套課程

均結合實例實戰(zhàn)進行講解，讓學員可以不僅能了解原理，更能夠實際地去使用這門技術。

課程三十一、項目實戰(zhàn)：云計算Docker全面項目實戰(zhàn)（Maven+Jenkins、日志管理ELK、WordPress博客

2013年，云計算領域從此多了一個名詞“Docker”。以輕量著稱，更好的去解決應用打包和部署。之前我們一直在構建Iaas，但通過Iaas去實現(xiàn)統(tǒng)一功能還是相當

復雜得，并且維護復雜。將特殊性封裝到鏡像中實現(xiàn)幾乎一致得部署方法，它就是“Docker”，以容器為技術核心，實現(xiàn)了應用的標準化。企業(yè)可以快速生成研

發(fā)、測試環(huán)境，并且可以做到快速部署。實現(xiàn)了從產品研發(fā)環(huán)境到部署環(huán)境的一致化。Docker讓研發(fā)更加專注于代碼的編寫，并且以“鏡像”作為交付。極大的縮

短了產品的交付周期和實施周期。

課程三十二、深入淺出OpenStack云計算平臺管理

OpenStack是一個由Rackspace發(fā)起、全球開發(fā)者共同參與的開源項目，旨在打造易于部署、功能豐富且易于擴展的云計算平臺。OpenStack企圖成為數據中心的

操作系統(tǒng)，即云操作系統(tǒng)。從項目發(fā)起之初，OpenStack就幾乎贏得了所有IT巨頭的關注，在各種OpenStack技術會議上人們激情澎湃，幾乎所有人都成為

OpenStack的信徒。這個課程重點放在openstack的部署和網絡部分。課程強調實際的動手操作，使用vmware模擬實際的物理平臺，讓大家可以自己動手去實際搭建

和學習openstack。課程內容包括云計算的基本知識，虛擬網絡基礎，openstack部署和應用，openstack網絡詳解等。

【教學優(yōu)勢】

1、中國移動互聯(lián)網研發(fā)培訓開拓者

專注iOS、Android、HTML5、UI、PHP等技術研發(fā)培訓，堅持“用良心做教育，做真實的自己”的理念

2、免費試聽優(yōu)惠政策

推出“兩周免費試聽，不滿意不繳費”的政策，讓學員了解更真實的遠標、了解自己是否適合做開發(fā)

3、業(yè)內學員畢業(yè)薪水高

零學費入學，工作后分期還款，業(yè)內學員畢業(yè)薪水高，培訓就業(yè)協(xié)議明確標明薪資，平均薪水?？?000、本科8000、碩士8000

4、專業(yè)師資陣容

有責任心，懂教學，擁有大型項目經驗實戰(zhàn)派講師授課，業(yè)內專家及企業(yè)技術骨干組成教研團隊，準確把握企業(yè)需求

【教學風采】

【學校簡介】

遠標教育（深圳市遠標培訓中心），2003年成立，主要提供C++培訓,Linux嵌入式培訓,JAVA培訓,Android培訓,MTK手機開發(fā)培訓,.NET培訓等軟件培訓。已輸送20000多名大學生到深圳軟件企業(yè)工作，已和300多所高校和深圳3000多家軟件企業(yè)建立長期緊密的合作關系。