單元1 Hive概述1
任務(wù)1.1 Hive的產(chǎn)生背景1
1 Hive的產(chǎn)生背景2
2 Hive的發(fā)展歷史和現(xiàn)狀4
3 Hive與Hadoop4

任務(wù)1.2 Hive的概念9
1 Hive的系統(tǒng)與部署架構(gòu)9
2 Hive與RDBM對(duì)比12
3數(shù)據(jù)倉(cāng)庫(kù)的理解12
4 Hive的數(shù)據(jù)模型15
5 HiveQL與數(shù)據(jù)存儲(chǔ)16
任務(wù)1.3 Hadoop生態(tài)與Hive20
1 Pig20
2 HBase21
單元小結(jié)25

單元2 環(huán)境準(zhǔn)備26
任務(wù)2.1 VMware與SecureCRT  Portable26
1 VMware簡(jiǎn)介26
2 VMware的虛擬化27
任務(wù)2.2 JDK的配置37
1 JDK的簡(jiǎn)介37
2 JDK的版本37
3上傳JDK的介質(zhì)37
4 tar的解壓與壓縮37
任務(wù)2.3 免密登錄41
1 免密登錄用戶41
2免密登錄的優(yōu)點(diǎn)42
單元小結(jié)46

單元3 Hadoop搭建和配置47
任務(wù)3.1 Hadoop搭建47
1上傳Hadoop的介質(zhì)47
2解壓Hadoop壓縮包48
3配置Hadoop的環(huán)境變量48
4配置Hadoop環(huán)境變量48
5修改Hadoop的配置文件49
6啟動(dòng)Hadoop服務(wù)51
7檢查Hadoop的成功52
任務(wù)3.2 Hadoop配置57
1 Hadoop簡(jiǎn)介57
2 MapReduce綜述61
單元小結(jié)70

單元4 安裝Hive的基礎(chǔ)操作71
任務(wù)4.1 Hive的模式71
1本地模式72
2遠(yuǎn)程模式72
3內(nèi)嵌模式73
任務(wù)4.2 安裝Hive實(shí)驗(yàn)88
1 Hive簡(jiǎn)介88
2 Hive的定義88
3設(shè)計(jì)特征88
4數(shù)據(jù)存儲(chǔ)89
任務(wù)4.3 Hive命令95
1創(chuàng)建表語(yǔ)句95
2加載數(shù)據(jù)96
3改變表98
4替換101
5刪除表102
6分區(qū)103
任務(wù)4.4 Hive命令行界面107
1 CLI選項(xiàng)107
2變量和屬性111
3在Hive內(nèi)使用Hadoop的DFS命令112
任務(wù)4.5 數(shù)據(jù)類型和文件格式114
1基本數(shù)據(jù)類型114
2文件格式116
3壓縮編碼119
4集合數(shù)據(jù)類型121
任務(wù)4.6 Hive權(quán)限管理125
1開(kāi)啟權(quán)限126
2權(quán)限操作128
任務(wù)4.7 Hive常用優(yōu)化方法137
1控制Reducer數(shù)量137
2使用Map Join138
3使用distinct+union all 代替union139
4解決數(shù)據(jù)傾斜的通用方法140
單元小結(jié)141
單元5 HiveQL的數(shù)據(jù)定義143
任務(wù)5.1 HiveQL的數(shù)據(jù)定義143
1 HiveQL的數(shù)據(jù)定義143
2 HiveQL和SQL的區(qū)別146
任務(wù)5.2 Hive數(shù)據(jù)庫(kù)150
1 Hive的數(shù)據(jù)庫(kù)150
2修改數(shù)據(jù)庫(kù)屬性151
任務(wù)5.3 修改表157
1增加、修改和刪除表分區(qū)157
2表重命名157
3增加列157
4刪除或者替換列157
5修改表屬性158
6修改存儲(chǔ)屬性158
7修改表語(yǔ)句158
單元小結(jié)162
單元6 HiveQL語(yǔ)句163
任務(wù)6.1 SELECT、FROM語(yǔ)句的概念163
1使用正則表達(dá)式來(lái)指定列163
2使用列值進(jìn)行計(jì)算165
3算術(shù)運(yùn)算符165
4使用函數(shù)168
5 LIMIT語(yǔ)句169
6列的別名169
7 CASE、WHEN、THEN句式169
8嵌套SELECT語(yǔ)句172
任務(wù)6.2 GROUP BY178
任務(wù)6.3 抽樣查詢180
1數(shù)據(jù)塊抽樣180
2分桶表的輸入裁剪180
任務(wù)6.4 WHERE語(yǔ)句181
1謂語(yǔ)操作符182
2浮點(diǎn)數(shù)比較183
任務(wù)6.5 JOIN語(yǔ)句184
1 JOIN優(yōu)化185
2 LEFT OUTER JOIN186
3 INNER JOIN187
4 FULL OUTER JOIN189
5 LEFT SEMIJOIN189
6 RIGHT OUTER JOIN190
7 OUTER JOIN190
8笛卡兒積JOIN191
9 mapsidejoin192
單元小結(jié)194
單元7 Hive綜合應(yīng)用195
任務(wù)7.1 Hive和亞馬遜網(wǎng)絡(luò)服務(wù)系統(tǒng)(AWS)195
1彈性MapReduce的優(yōu)點(diǎn)196
2注意事項(xiàng)196
3 EMR上的實(shí)例196
任務(wù)7.2 Hive綜合案例199
1 Hive操作演示199
2交易數(shù)據(jù)演示207
單元小結(jié)227
參考文獻(xiàn)228