中國信息協(xié)會

中信網(wǎng)培字[2013]019號

關(guān)于舉辦“大數(shù)據(jù)的處理技巧及案例分析”高級研修班的通知

各有關(guān)單位：

　　　大數(shù)據(jù)分析作為數(shù)據(jù)分析的前沿技術(shù)，廣泛應用于物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)等新興產(chǎn)業(yè)。為加強大數(shù)據(jù)分析，創(chuàng)新發(fā)展頂層設計和科學布局，推動相關(guān)人員更好理解和掌握大數(shù)據(jù)分析的關(guān)鍵技術(shù)原理和未來發(fā)展方向，使各企事業(yè)單位利益最大化，中國信息協(xié)會信息服務網(wǎng)絡委員會決定舉辦“大數(shù)據(jù)的處理技巧及案例分析”高級研修班，并委托北京中建研信息管理咨詢中心承辦，望各單位收到通知后組織相關(guān)人員參加。現(xiàn)將有關(guān)事宜通知如下：

課程內(nèi)容

課程模塊 課程主題 主要內(nèi)容 案例和演示

模塊一 Hadoop的來源和動機 傳統(tǒng)大規(guī)模系統(tǒng)存在的問題 

Hadoop概述 

Hadoop分布式文件系統(tǒng)      

MapReduce工作原理         

Hadoop集群剖析            

 Hadoop生態(tài)系統(tǒng)對一種新的解決方案的需求

Hadoop的行業(yè)應用案例分析

Hadoop在云計算和大數(shù)據(jù)的位置和關(guān)系 Hadoop在淘寶、支付寶的作用

電商眼中的Hadoop和推薦系統(tǒng)。

移動大云項目(big cloud)中的Hadoop

聯(lián)通使用Hadoop/Hbase解決3G詳單查詢問題。

模塊二 Hadoop生態(tài)系統(tǒng)介紹和演示 Hadoop HDFS 和 MapReduce 

Hadoop數(shù)據(jù)庫之HBase 

Hadoop數(shù)據(jù)倉庫之Hive

Hadoop數(shù)據(jù)處理腳本Pig 

Hadoop數(shù)據(jù)接口Sqoop和Flume，Scribe DataX 

Hadoop工作流引擎 Oozie Yahoo如何使用Hadoop構(gòu)建大規(guī)模搜索的應用

FaceBook 基于Hadoop構(gòu)建數(shù)據(jù)倉庫

模塊三 Hadoop組件詳解 Hadoop HDFS 基本結(jié)構(gòu)

Hadoop HDFS 副本存放策略

Hadoop NameNode 詳解

Hadoop SecondaryNameNode 詳解 

Hadoop DataNode 詳解

Hadoop JobTracker 詳解 

Hadoop TaskTracker 詳解 Hadoop Mapper類核心代碼

Hadoop Reduce類核心代碼

Hadoop 核心代碼

模塊四 Hadoop安裝和部署 Hadoop系統(tǒng)模塊組件概述

Hadoop試驗集群的部署結(jié)構(gòu)

Hadoop 安裝依賴關(guān)系

Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)

Hadoop集群部署

Hadoop 高可用配置方法

Hadoop 集群簡單測試方法 

Hadoop 集群異常Debug方法 Hadoop安裝部署實驗

Red hat Linux基礎環(huán)境搭建

Hadoop 單機系統(tǒng)版本安裝配置

Hadoop 集群系統(tǒng)版本安裝和啟動配置 

使用 Hadoop MapReduce Streaming 快速測試系統(tǒng)

Hadoopcore-site，hdfs-site，mapred-site 配置詳解

模塊五 Hadoop和數(shù)據(jù)庫技術(shù)優(yōu)劣勢對比 Hadoop/Hive 對比 Oracle 在構(gòu)建數(shù)據(jù)倉庫上的優(yōu)劣勢

Hadoop 如何和傳統(tǒng)IT系統(tǒng)配合完成原來不可能的任務 Apache社區(qū)版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本

模塊六 編寫MapReduce高級程序 使用 Hadoop MapReduce Streaming 編程

MapReduce流程          

剖析一個MapReduce程序 

基本MapReduceAPI 概念  

驅(qū)動代碼 Mapper、Reducer

Hadoop流 

API 使用Eclipse進行快速開發(fā)               

新MapReduce API 

MapReduce的優(yōu)化

MapReduce的任務調(diào)度

MapReduce編程實戰(zhàn)

如何利用其他Hadoop相關(guān)技術(shù)，包括Apache Hive， Apache Pig，Sqoop和Oozie等 

滿足解決實際數(shù)據(jù)分析問題的高級Hadoop API Hadoop Streaming 和 Java MapReduce Api 差異。

 MapReduce 實現(xiàn)數(shù)據(jù)庫功能

利用Combiners來減少中間數(shù)據(jù)

數(shù)據(jù)壓縮解壓算法

基于統(tǒng)計模型的壓縮算法 ：Huffman編碼、算數(shù)編碼、PPM算法

基于字典模型的編碼：LZ77算法、LZ78算法、LZW算法

面向?qū)崟r數(shù)據(jù)的專用壓縮算法：矩形波串法、后向斜率法、旋轉(zhuǎn)門壓縮算法。

其他壓縮算法：RLE文本壓縮算法、BWT算法

編寫Partitioner來優(yōu)化負載平衡

 直接訪問Hadoop分布式文件系統(tǒng)（HDFS）

Hadoop的join操作

輔助排序在Reducer方的合并

 定制Writables和WritableComparables 

使用SequenceFiles和Avro文件保存二進制數(shù)據(jù) 

創(chuàng)建InputFormats OutputFormats

Hadoop的二次排序

Hadoop的海量日志分析

在Map方的合并       

模塊七 集成Hadoop到現(xiàn)有工作流 

及Hadoop API深入探討 存儲系統(tǒng) 

利用Sqoop從關(guān)系型數(shù)據(jù)庫系統(tǒng)中導入數(shù)據(jù)到Hadoop 

利用Flume導入實時數(shù)據(jù)到Hadoop 

ToolRunner介紹、使用MRUnit進行測試 

使用Configure和Close方法來進行Map/Reduce設置和關(guān)閉 使用FuseDFS和Hadoop訪問HDFS

使用分布式緩存（Distributed Cache）

直接訪問Hadoop分布式文件系統(tǒng)（HDFS） 

利用Combiners來減少中間數(shù)據(jù)

編寫Partitioner來優(yōu)化負載平衡  

模塊八 使用Hive和Pig開發(fā)及技巧 Hive和Pig基礎              

Hive的作用和原理說明

Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系

Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流

Hive 部署和安裝

Hive Cli 的基本用法

HQL基本語法

使用Oozie的動機      

 Oozie工作流定義格式   使用JDBC 連接Hive進行查詢和分析

使用正則表達式加載數(shù)據(jù)

HQL高級語法

編寫UDF函數(shù)

編寫UDAF自定義函數(shù)

使用Sqoop進行數(shù)據(jù)分析

使用oozie配置工作流

phpHiveAdmin 安裝和使用

模塊九 實用開發(fā)技巧 排序和搜索索引            

用Mahout進行機器學習 

Term Frequency – Inverse Document Frequency 

圖論簡介   Word Co-Occurrenc

用Hadoop表示圖

一個圖算法的實現(xiàn)：單源最短路徑

二、培訓時間及地點

    2013年12月13日—12月16日 （13日全天報到）  深圳

　　　2014年 1月14日— 1月17日  （14日全天報到）  北京

  “機房建設與管理”的課程(所有內(nèi)容QQ:931053300)

　　　2013年12月 3日—12月6日   （3日全天報到 ）上海

　　　2014年1月 12日—1月15日   （12日全天報到 ）海南*海口

  “信息安全與網(wǎng)絡攻防”的課程(所有內(nèi)容QQ:931053300)

　　　2013年12月6日—12月9日  （6日全天報到）  上海

　　　2014月1月9日-1月12日    （9日全天報到）  海南*海口

三、培訓對象

　　　各地政府云計算、物聯(lián)網(wǎng)產(chǎn)業(yè)相關(guān)負責人，各企業(yè)CIO、信息中心負責人、技術(shù)總監(jiān)，云計算產(chǎn)業(yè)投資團隊，云計算應用開發(fā)商，云計算硬件設備供應商，云服務提供商，高校、科研院所云計算項目負責人，設計師、架構(gòu)師、系統(tǒng)管理員、開發(fā)經(jīng)理、測試經(jīng)理、產(chǎn)品經(jīng)理、項目經(jīng)理等。

四、培訓特色：

　　　注重應用：分析國內(nèi)實際情況，結(jié)合國際、國內(nèi)成功經(jīng)驗。Hadoop采用實戰(zhàn)的項目，讓學員在短時間內(nèi)掌握Hadoop基本運維思路和方法；對Hadoop集群進行管理和優(yōu)化。并進行高效的大數(shù)據(jù)清洗和分析。

五、師資力量：

　　　屆時將邀請國家信息化專家咨詢委員會大數(shù)據(jù)專家、中國計算機學會大數(shù)據(jù)專家委員會的一線專家，擁有豐富的工程技術(shù)經(jīng)驗，從事大數(shù)據(jù)的大型項目，擁有資深的技術(shù)底蘊和專業(yè)背景，并結(jié)合實際互動答疑。   

 六、培訓費用及頒發(fā)證書

　   每人培訓費3900元（含培訓、教材、專家、場地、證書、學習用品費等），食宿統(tǒng)一安排，費用自理。

　　　參加相關(guān)培訓并通過考試的學員，可以獲得：《大數(shù)據(jù)分析工程師》證書。并且可通過國家信息技術(shù)人才服務網(wǎng)（www.ciso.net.cn）查詢。

　　　該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務的重要依據(jù)。

咨詢與聯(lián)系方式：

此表復印有效；請將回執(zhí)表及銀行匯款憑證傳真至010-51137523

 電  話：010-51458793   51137523      傳   真：010-51137523

 電子郵件：cx99@vip.sina.com             QQ號：931053300

 聯(lián)系人：李棟梁（老師）