第1章 概論
1.1 引子
1.2 大數(shù)據(jù)挑戰(zhàn)
1.3 大數(shù)據(jù)的存儲(chǔ)和管理
1.3.1 并行數(shù)據(jù)庫
1.3.2 NoSQL數(shù)據(jù)管理系統(tǒng)
1.3.3 NewSQL數(shù)據(jù)管理系統(tǒng)
1.3.4 云數(shù)據(jù)管理
1.4 大數(shù)據(jù)的處理和分析
1.5 小結(jié)
參考文獻(xiàn)
理 論 篇
第2章 數(shù)據(jù)一致性理論
2.1 CAP理論
2.2 數(shù)據(jù)一致性模型
2.3 ACID與BASE
2.4 數(shù)據(jù)一致性實(shí)現(xiàn)技術(shù)
2.4.1 Quorum系統(tǒng)NRW策略
2.4.2 兩階段提交協(xié)議
2.4.3 時(shí)間戳策略
2.4.4 Paxos
2.4.5 向量時(shí)鐘
2.5 小結(jié)
參考文獻(xiàn)
第3章 數(shù)據(jù)存儲(chǔ)模型
3.1 總論
3.2 鍵值存儲(chǔ)
3.2.1 Redis
3.2.2 Dynamo
3.3 列式存儲(chǔ)
3.3.1 Bigtable
3.3.2 Cassandra與HBase
3.4 文檔存儲(chǔ)
3.4.1 MongoDB
3.4.2 CouchDB
3.5 圖形存儲(chǔ)
3.5.1 Neo4j
3.5.2 GraphDB
3.6 本章小結(jié)
參考文獻(xiàn)
第4章 數(shù)據(jù)分區(qū)與放置策略
4.1 分區(qū)的意義
4.1.1 為什么要分區(qū)
4.1.2 分區(qū)的優(yōu)點(diǎn)
4.2 范圍分區(qū)
4.3 列表分區(qū)
4.4 哈希分區(qū)
4.5 三種分區(qū)的比較
4.6 放置策略
4.6.1 一致性哈希算法
4.6.2 容錯(cuò)性與可擴(kuò)展性分析
4.6.3 虛擬節(jié)點(diǎn)
4.7 小結(jié)
參考文獻(xiàn)
第5章 海量數(shù)據(jù)處理方法
5.1 MapReduce簡介
5.2 MapReduce數(shù)據(jù)流
5.3 MapReduce數(shù)據(jù)處理
5.3.1 提交作業(yè)
5.3.2 初始化作業(yè)
5.3.3 分配任務(wù)
5.3.4 執(zhí)行任務(wù)
5.3.5 更新任務(wù)執(zhí)行進(jìn)度和狀態(tài)
5.3.6 完成作業(yè)
5.4 Dryad簡介
5.4.1 DFS Cosmos介紹
5.4.2 Dryad執(zhí)行引擎
5.4.3 DryadLINQ解釋引擎
5.4.4 DryadLINQ編程
5.5 Dryad數(shù)據(jù)處理步驟
5.6 MapReduce vs Dryad
5.7 小結(jié)
參考文獻(xiàn)
第6章 數(shù)據(jù)復(fù)制與容錯(cuò)技術(shù)
6.1 海量數(shù)據(jù)復(fù)制的作用和代價(jià)
6.2 海量數(shù)據(jù)復(fù)制的策略
6.2.1 Dynamo的數(shù)據(jù)庫復(fù)制策略
6.2.2 CouchDB的復(fù)制策略
6.2.3 PNUTS的復(fù)制策略
6.3 海量數(shù)據(jù)的故障發(fā)現(xiàn)與處理
6.3.1 Dynamo的數(shù)據(jù)庫的故障發(fā)現(xiàn)與處理
6.3.2 CouchDB的故障發(fā)現(xiàn)與處理
6.3.3 PNUTS的故障發(fā)現(xiàn)與處理
6.4 小結(jié)
參考文獻(xiàn)
第7章 數(shù)據(jù)壓縮技術(shù)
7.1 數(shù)據(jù)壓縮原理
7.1.1 數(shù)據(jù)壓縮的定義
7.1.2 數(shù)據(jù)為什么可以壓縮
7.1.3 數(shù)據(jù)壓縮分類
7.2 傳統(tǒng)壓縮技術(shù)[1]
7.2.1 霍夫曼編碼
7.2.2 LZ77算法
7.3 海量數(shù)據(jù)帶來的3V挑戰(zhàn)
7.4 Oracle混合列壓縮
7.4.1 倉庫壓縮
7.4.2 存檔壓縮
7.5 Google數(shù)據(jù)壓縮技術(shù)
7.5.1 尋找長的重復(fù)串
7.5.2 壓縮算法
7.6 Hadoop壓縮技術(shù)
7.6.1 LZO簡介
7.6.2 LZO原理[5]
7.7 小結(jié)
參考文獻(xiàn)
第8章 緩存技術(shù)
8.1 分布式緩存簡介
8.1.1 分布式緩存的產(chǎn)生
8.1.2 分布式緩存的應(yīng)用
8.1.3 分布式緩存的性能
8.1.4 衡量可用性的標(biāo)準(zhǔn)
8.2 分布式緩存的內(nèi)部機(jī)制
8.2.1 生命期機(jī)制
8.2.2 一致性機(jī)制
8.2.3 直讀與直寫機(jī)制
8.2.4 查詢機(jī)制
8.2.5 事件觸發(fā)機(jī)制
8.3 分布式緩存的拓?fù)浣Y(jié)構(gòu)
8.3.1 復(fù)制式拓?fù)?br />8.3.2 分割式拓?fù)?br />8.3.3 客戶端緩存拓?fù)?br />8.4 小結(jié)
參考文獻(xiàn)
系 統(tǒng) 篇
第9章 key-value數(shù)據(jù)庫
9.1 key-value模型綜述
9.2 Redis
9.2.1 Redis概述
9.2.2 Redis下載與安裝
9.2.3 Redis入門操作
9.2.4 Redis在業(yè)內(nèi)的應(yīng)用
9.3 Voldemort
9.3.1 Voldemort概述
9.3.2 Voldemort下載與安裝
9.3.3 Voldemort配置
9.3.4 Voldemort開發(fā)介紹[3]
9.4 小結(jié)
參考文獻(xiàn)
第10章 Column-Oriented數(shù)據(jù)庫
10.1 Column-Oriented數(shù)據(jù)庫簡介
10.2 Bigtable數(shù)據(jù)庫
10.2.1 Bigtable數(shù)據(jù)庫簡介
10.2.2 Bigtable數(shù)據(jù)模型
10.2.3 Bigtable基礎(chǔ)架構(gòu)
10.3 Hypertable數(shù)據(jù)庫
10.3.1 Hypertable簡介
10.3.2 Hypertable安裝
10.3.3 Hypertable架構(gòu)
10.3.4 基本概念和原理
10.3.5 Hypertable的查詢
10.4 Cassandra數(shù)據(jù)庫
10.4.1 Cassandra簡介
10.4.2 Cassandra配置
10.4.3 Cassandra數(shù)據(jù)庫的連接
10.4.4 Cassandra集群機(jī)制
10.4.5 Cassandra的讀/寫機(jī)制
10.5 小結(jié)
參考文獻(xiàn)
第11章 文檔數(shù)據(jù)庫
11.1 文檔數(shù)據(jù)庫簡介
11.2 CouchDB數(shù)據(jù)庫
11.2.1 CouchDB簡介
11.2.2 CouchDB安裝
11.2.3 CouchDB入門
11.2.4 CouchDB查詢
11.2.5 CouchDB的存儲(chǔ)結(jié)構(gòu)
11.2.6 SQL和CouchDB
11.2.7 分布式環(huán)境中的CouchDB
11.3 MongoDB數(shù)據(jù)庫
11.3.1 MongoDB簡介
11.3.2 MongoDB的安裝
11.3.3 MongoDB入門
11.3.4 MongoDB索引
11.3.5 SQL與MongoDB
11.3.6 MapReduce與MongoDB
11.3.7 MongoDB與CouchDB對比
11.4 小結(jié)
參考文獻(xiàn)
第12章 圖存數(shù)據(jù)庫
12.1 圖存數(shù)據(jù)庫的由來及基本概念
12.1.1 圖存數(shù)據(jù)庫的由來
12.1.2 圖存數(shù)據(jù)庫的基本概念
12.2 Neo4j圖存數(shù)據(jù)庫
12.2.1 Neo4j簡介
12.2.2 Neo4j使用教程
12.2.3 分布式Neo4j--Neo4j HA
12.2.4 Neo4j工作機(jī)制及優(yōu)缺點(diǎn)淺析
12.3 GraphDB
12.3.1 GraphDB簡介
12.3.2 GraphDB的整體架構(gòu)
12.3.3 GraphDB的數(shù)據(jù)模型
12.3.4 GraphDB的安裝
12.3.5 GraphDB的使用
12.4 OrientDB
12.4.1 背景
12.4.2 OrientDB是什么
12.4.3 OrientDB的原理及相關(guān)技術(shù)
12.4.4 Windows下OrientDB的安裝與使用
12.4.5 相關(guān)Web應(yīng)用
12.5 三種圖存數(shù)據(jù)庫的比較
12.5.1 特征矩陣
12.5.2 分布式模式及應(yīng)用比較
12.6 小結(jié)
參考文獻(xiàn)
第13章 基于Hadoop的數(shù)據(jù)管理系統(tǒng)
13.1 Hadoop簡介
13.2 HBase
13.2.1 HBase體系結(jié)構(gòu)
13.2.2 HBase數(shù)據(jù)模型
13.2.3 HBase的安裝和使用
13.2.4 HBase與RDBMS
13.3 Pig
13.3.1 Pigr的安裝和使用
13.3.2 Pig Latin語言
13.3.3 Pig實(shí)例
13.4 Hive
13.4.1 Hive的數(shù)據(jù)存儲(chǔ)
13.4.2 Hive的元數(shù)據(jù)存儲(chǔ)
13.4.3 安裝Hive
13.4.4 HiveQL簡介
13.4.5 Hive的網(wǎng)絡(luò)接口（WebUI）
13.4.6 Hive的JDBC接口
13.5 小結(jié)
參考文獻(xiàn)
第14章 NewSQL數(shù)據(jù)庫
14.1 NewSQL數(shù)據(jù)庫簡介
14.2 MySQL Cluster
14.2.1 概述
14.2.2 MySQL Cluster的層次結(jié)構(gòu)
14.2.3 MySQL Cluster的優(yōu)勢和應(yīng)用
14.2.4 海量數(shù)據(jù)處理中的sharding技術(shù)
14.2.5 單機(jī)環(huán)境下MySQL Cluster的安裝
14.2.6 MySQL Cluster的分布式安裝與配置指導(dǎo)
14.3 VoltDB
14.3.1 傳統(tǒng)關(guān)系數(shù)據(jù)庫與VoltDB
14.3.2 VoltDB的安裝與配置
14.3.3 VoltDB組件
14.3.4 Hello World
14.3.5 使用Generate腳本
14.3.6 Eclipse集成開發(fā)
14.4 小結(jié)
參考文獻(xiàn)
第15章 分布式緩存系統(tǒng)
15.1 Memcached緩存技術(shù)
15.1.1 背景介紹
15.1.2 Memcached緩存技術(shù)的特點(diǎn)
15.1.3 Memcached安裝[3]
15.1.4 Memcached中的數(shù)據(jù)操作
15.1.5 Memcached的使用
15.2 Microsoft Velocity分布式緩存系統(tǒng)
15.2.1 Microsoft Velocity簡介
15.2.2 數(shù)據(jù)分類
15.2.3 Velocity核心概念
15.2.4 Velocity安裝
15.2.5 一個(gè)簡單的Velocity客戶端應(yīng)用
15.2.6 擴(kuò)展型和可用性
15.3 小結(jié)
參考文獻(xiàn)
應(yīng) 用 篇
第16章 企業(yè)應(yīng)用
16.1 Instagram
16.1.1 Instagram如何應(yīng)對數(shù)據(jù)的急劇增長
16.1.2 Instagram的數(shù)據(jù)分片策略
16.2 Facebook對Hadoop以及HBase的應(yīng)用
16.2.1 工作負(fù)載類型
16.2.2 為什么采用Apache Hadoop和HBase
16.2.3 實(shí)時(shí)HDFS
16.2.4 Hadoop HBase的實(shí)現(xiàn)
16.3 淘寶大數(shù)據(jù)解決之道
16.3.1 淘寶數(shù)據(jù)分析
16.3.2 淘寶大數(shù)據(jù)挑戰(zhàn)
16.3.3 淘寶OceanBase數(shù)據(jù)庫
16.3.4 淘寶將來的工作
16.4 小結(jié)
參考文獻(xiàn)