中國信息協(xié)會(huì)

中信網(wǎng)培字[2013]019號(hào)

關(guān)于舉辦“大數(shù)據(jù)的處理技巧及案例分析”高級(jí)研修班的通知

各有關(guān)單位：

　　　大數(shù)據(jù)分析作為數(shù)據(jù)分析的前沿技術(shù)，廣泛應(yīng)用于物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等新興產(chǎn)業(yè)。為加強(qiáng)大數(shù)據(jù)分析，創(chuàng)新發(fā)展頂層設(shè)計(jì)和科學(xué)布局，推動(dòng)相關(guān)人員更好理解和掌握大數(shù)據(jù)分析的關(guān)鍵技術(shù)原理和未來發(fā)展方向，使各企事業(yè)單位利益最大化，中國信息協(xié)會(huì)信息服務(wù)網(wǎng)絡(luò)委員會(huì)決定舉辦“大數(shù)據(jù)的處理技巧及案例分析”高級(jí)研修班，并委托北京中建研信息管理咨詢中心承辦，望各單位收到通知后組織相關(guān)人員參加。現(xiàn)將有關(guān)事宜通知如下：

課程內(nèi)容

課程模塊 課程主題 主要內(nèi)容 案例和演示

模塊一 Hadoop的來源和動(dòng)機(jī) 傳統(tǒng)大規(guī)模系統(tǒng)存在的問題 

Hadoop概述 

Hadoop分布式文件系統(tǒng)      

MapReduce工作原理         

Hadoop集群剖析            

 Hadoop生態(tài)系統(tǒng)對(duì)一種新的解決方案的需求

Hadoop的行業(yè)應(yīng)用案例分析

Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系 Hadoop在淘寶、支付寶的作用

電商眼中的Hadoop和推薦系統(tǒng)。

移動(dòng)大云項(xiàng)目(big cloud)中的Hadoop

聯(lián)通使用Hadoop/Hbase解決3G詳單查詢問題。

模塊二 Hadoop生態(tài)系統(tǒng)介紹和演示 Hadoop HDFS 和 MapReduce 

Hadoop數(shù)據(jù)庫之HBase 

Hadoop數(shù)據(jù)倉庫之Hive

Hadoop數(shù)據(jù)處理腳本Pig 

Hadoop數(shù)據(jù)接口Sqoop和Flume，Scribe DataX 

Hadoop工作流引擎 Oozie Yahoo如何使用Hadoop構(gòu)建大規(guī)模搜索的應(yīng)用

FaceBook 基于Hadoop構(gòu)建數(shù)據(jù)倉庫

模塊三 Hadoop組件詳解 Hadoop HDFS 基本結(jié)構(gòu)

Hadoop HDFS 副本存放策略

Hadoop NameNode 詳解

Hadoop SecondaryNameNode 詳解 

Hadoop DataNode 詳解

Hadoop JobTracker 詳解 

Hadoop TaskTracker 詳解 Hadoop Mapper類核心代碼

Hadoop Reduce類核心代碼

Hadoop 核心代碼

模塊四 Hadoop安裝和部署 Hadoop系統(tǒng)模塊組件概述

Hadoop試驗(yàn)集群的部署結(jié)構(gòu)

Hadoop 安裝依賴關(guān)系

Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)

Hadoop集群部署

Hadoop 高可用配置方法

Hadoop 集群簡單測試方法 

Hadoop 集群異常Debug方法 Hadoop安裝部署實(shí)驗(yàn)

Red hat Linux基礎(chǔ)環(huán)境搭建

Hadoop 單機(jī)系統(tǒng)版本安裝配置

Hadoop 集群系統(tǒng)版本安裝和啟動(dòng)配置 

使用 Hadoop MapReduce Streaming 快速測試系統(tǒng)

Hadoopcore-site，hdfs-site，mapred-site 配置詳解

模塊五 Hadoop和數(shù)據(jù)庫技術(shù)優(yōu)劣勢對(duì)比 Hadoop/Hive 對(duì)比 Oracle 在構(gòu)建數(shù)據(jù)倉庫上的優(yōu)劣勢

Hadoop 如何和傳統(tǒng)IT系統(tǒng)配合完成原來不可能的任務(wù) Apache社區(qū)版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本

模塊六 編寫MapReduce高級(jí)程序 使用 Hadoop MapReduce Streaming 編程

MapReduce流程          

剖析一個(gè)MapReduce程序 

基本MapReduceAPI 概念  

驅(qū)動(dòng)代碼 Mapper、Reducer

Hadoop流 

API 使用Eclipse進(jìn)行快速開發(fā)               

新MapReduce API 

MapReduce的優(yōu)化

MapReduce的任務(wù)調(diào)度

MapReduce編程實(shí)戰(zhàn)

如何利用其他Hadoop相關(guān)技術(shù)，包括Apache Hive， Apache Pig，Sqoop和Oozie等 

滿足解決實(shí)際數(shù)據(jù)分析問題的高級(jí)Hadoop API Hadoop Streaming 和 Java MapReduce Api 差異。

 MapReduce 實(shí)現(xiàn)數(shù)據(jù)庫功能

利用Combiners來減少中間數(shù)據(jù)

數(shù)據(jù)壓縮解壓算法

基于統(tǒng)計(jì)模型的壓縮算法 ：Huffman編碼、算數(shù)編碼、PPM算法

基于字典模型的編碼：LZ77算法、LZ78算法、LZW算法

面向?qū)崟r(shí)數(shù)據(jù)的專用壓縮算法：矩形波串法、后向斜率法、旋轉(zhuǎn)門壓縮算法。

其他壓縮算法：RLE文本壓縮算法、BWT算法

編寫Partitioner來優(yōu)化負(fù)載平衡

 直接訪問Hadoop分布式文件系統(tǒng)（HDFS）

Hadoop的join操作

輔助排序在Reducer方的合并

 定制Writables和WritableComparables 

使用SequenceFiles和Avro文件保存二進(jìn)制數(shù)據(jù) 

創(chuàng)建InputFormats OutputFormats

Hadoop的二次排序

Hadoop的海量日志分析

在Map方的合并       

模塊七 集成Hadoop到現(xiàn)有工作流 

及Hadoop API深入探討 存儲(chǔ)系統(tǒng) 

利用Sqoop從關(guān)系型數(shù)據(jù)庫系統(tǒng)中導(dǎo)入數(shù)據(jù)到Hadoop 

利用Flume導(dǎo)入實(shí)時(shí)數(shù)據(jù)到Hadoop 

ToolRunner介紹、使用MRUnit進(jìn)行測試 

使用Configure和Close方法來進(jìn)行Map/Reduce設(shè)置和關(guān)閉 使用FuseDFS和Hadoop訪問HDFS

使用分布式緩存（Distributed Cache）

直接訪問Hadoop分布式文件系統(tǒng)（HDFS） 

利用Combiners來減少中間數(shù)據(jù)

編寫Partitioner來優(yōu)化負(fù)載平衡  

模塊八 使用Hive和Pig開發(fā)及技巧 Hive和Pig基礎(chǔ)              

Hive的作用和原理說明

Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系

Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流

Hive 部署和安裝

Hive Cli 的基本用法

HQL基本語法

使用Oozie的動(dòng)機(jī)      

 Oozie工作流定義格式   使用JDBC 連接Hive進(jìn)行查詢和分析

使用正則表達(dá)式加載數(shù)據(jù)

HQL高級(jí)語法

編寫UDF函數(shù)

編寫UDAF自定義函數(shù)

使用Sqoop進(jìn)行數(shù)據(jù)分析

使用oozie配置工作流

phpHiveAdmin 安裝和使用

模塊九 實(shí)用開發(fā)技巧 排序和搜索索引            

用Mahout進(jìn)行機(jī)器學(xué)習(xí) 

Term Frequency – Inverse Document Frequency 

圖論簡介   Word Co-Occurrenc

用Hadoop表示圖

一個(gè)圖算法的實(shí)現(xiàn)：單源最短路徑

二、培訓(xùn)時(shí)間及地點(diǎn)

    2013年12月13日—12月16日 （13日全天報(bào)到）  深圳

　　　2014年 1月14日— 1月17日  （14日全天報(bào)到）  北京

  “機(jī)房建設(shè)與管理”的課程(所有內(nèi)容QQ:931053300)

　　　2013年12月 3日—12月6日   （3日全天報(bào)到 ）上海

　　　2014年1月 12日—1月15日   （12日全天報(bào)到 ）海南*海口

  “信息安全與網(wǎng)絡(luò)攻防”的課程(所有內(nèi)容QQ:931053300)

　　　2013年12月6日—12月9日  （6日全天報(bào)到）  上海

　　　2014月1月9日-1月12日    （9日全天報(bào)到）  海南*海口

三、培訓(xùn)對(duì)象

　　　各地政府云計(jì)算、物聯(lián)網(wǎng)產(chǎn)業(yè)相關(guān)負(fù)責(zé)人，各企業(yè)CIO、信息中心負(fù)責(zé)人、技術(shù)總監(jiān)，云計(jì)算產(chǎn)業(yè)投資團(tuán)隊(duì)，云計(jì)算應(yīng)用開發(fā)商，云計(jì)算硬件設(shè)備供應(yīng)商，云服務(wù)提供商，高校、科研院所云計(jì)算項(xiàng)目負(fù)責(zé)人，設(shè)計(jì)師、架構(gòu)師、系統(tǒng)管理員、開發(fā)經(jīng)理、測試經(jīng)理、產(chǎn)品經(jīng)理、項(xiàng)目經(jīng)理等。

四、培訓(xùn)特色：

　　　注重應(yīng)用：分析國內(nèi)實(shí)際情況，結(jié)合國際、國內(nèi)成功經(jīng)驗(yàn)。Hadoop采用實(shí)戰(zhàn)的項(xiàng)目，讓學(xué)員在短時(shí)間內(nèi)掌握Hadoop基本運(yùn)維思路和方法；對(duì)Hadoop集群進(jìn)行管理和優(yōu)化。并進(jìn)行高效的大數(shù)據(jù)清洗和分析。

五、師資力量：

　　　屆時(shí)將邀請(qǐng)國家信息化專家咨詢委員會(huì)大數(shù)據(jù)專家、中國計(jì)算機(jī)學(xué)會(huì)大數(shù)據(jù)專家委員會(huì)的一線專家，擁有豐富的工程技術(shù)經(jīng)驗(yàn)，從事大數(shù)據(jù)的大型項(xiàng)目，擁有資深的技術(shù)底蘊(yùn)和專業(yè)背景，并結(jié)合實(shí)際互動(dòng)答疑。   

 六、培訓(xùn)費(fèi)用及頒發(fā)證書

　   每人培訓(xùn)費(fèi)3900元（含培訓(xùn)、教材、專家、場地、證書、學(xué)習(xí)用品費(fèi)等），食宿統(tǒng)一安排，費(fèi)用自理。

　　　參加相關(guān)培訓(xùn)并通過考試的學(xué)員，可以獲得：《大數(shù)據(jù)分析工程師》證書。并且可通過國家信息技術(shù)人才服務(wù)網(wǎng)（www.ciso.net.cn）查詢。

　　　該證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級(jí)和晉升職務(wù)的重要依據(jù)。

咨詢與聯(lián)系方式：

此表復(fù)印有效；請(qǐng)將回執(zhí)表及銀行匯款憑證傳真至010-51137523

 電  話：010-51458793   51137523      傳   真：010-51137523

 電子郵件：cx99@vip.sina.com             QQ號(hào)：931053300

 聯(lián)系人：李棟梁（老師）