日韩精品 中文字幕 动漫,91亚洲午夜一区,在线不卡日本v一区v二区丶,久久九九国产精品自在现拍

注冊(cè) | 登錄讀書好,好讀書,讀好書!
讀書網(wǎng)-DuShu.com
當(dāng)前位置: 首頁(yè)出版圖書科學(xué)技術(shù)計(jì)算機(jī)/網(wǎng)絡(luò)家庭與辦公軟件Flink技術(shù)內(nèi)幕:架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理

Flink技術(shù)內(nèi)幕:架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理

Flink技術(shù)內(nèi)幕:架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理

定 價(jià):¥99.00

作 者: 羅江宇,趙士杰,李涵淼,閔文俊 著
出版社: 機(jī)械工業(yè)出版社
叢編項(xiàng):
標(biāo) 簽: 暫缺

ISBN: 9787111696292 出版時(shí)間: 2021-12-01 包裝: 平裝
開(kāi)本: 16開(kāi) 頁(yè)數(shù): 340 字?jǐn)?shù):  

內(nèi)容簡(jiǎn)介

  內(nèi)容簡(jiǎn)介 這是一部從源代碼角度出發(fā),通過(guò)分析Flink的各個(gè)功能模塊的實(shí)現(xiàn)來(lái)剖析Flink的架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)原理的著作。它將能指導(dǎo)讀者更好地對(duì)Flink進(jìn)行性能調(diào)優(yōu)、可用性保障、效能優(yōu)化和二次開(kāi)發(fā)。 四位作者都是非常資深的Flink專家,部分作者是Flink源代碼的維護(hù)者和改造者,本書總結(jié)了他們?cè)诎⒗锇桶?、螞蟻集團(tuán)、滴滴等企業(yè)的大規(guī)模Flink實(shí)踐經(jīng)驗(yàn)。 全書共11章,主要內(nèi)容如下。 第1章 閱讀Flink源代碼前的準(zhǔn)備 主要介紹了Flink源代碼的獲取、編譯、調(diào)試,以及它的目錄結(jié)構(gòu)、設(shè)計(jì)理念和基本架構(gòu)。此外,還分析了Flink與Hadoop MapReduce、Spark在設(shè)計(jì)上的差異。 第2~8章 Flink功能模塊源代碼和架構(gòu)解析 從源碼角度分析了Flink的編程模型與API、運(yùn)行時(shí)組件與通信、狀態(tài)管理與容錯(cuò)、任務(wù)提交與執(zhí)行、Flink網(wǎng)絡(luò)棧、Flink Connector、部署模式等功能模塊的原理。力求讓讀者深入理解Flink的原理,而不只是跟著本書讀一遍Flink源代碼。原理和思想是不局限于某一個(gè)框架和技術(shù),了解了Flink的原理和思想,可以將其擴(kuò)展到其他框架和技術(shù)上。 第9~10章 Flink Table、SQL與Flink CEP 編程方式逐漸從原先基于Map-Reduce的任務(wù)模式向SQL化演進(jìn),SQL意味著標(biāo)準(zhǔn)和效率。這兩章重點(diǎn)講解了StreamTableEnvironment的實(shí)現(xiàn)過(guò)程、SQL的解析過(guò)程、Table Connector以及Flink CEP的內(nèi)部實(shí)現(xiàn)原理。 第11章 Flink監(jiān)控 主要講解了Flink的監(jiān)控指標(biāo)、常用系統(tǒng)指標(biāo)和監(jiān)控體系的建設(shè),以及常用的定位手段。

作者簡(jiǎn)介

  作者簡(jiǎn)介 羅江宇 Flink技術(shù)專家,先后就職于新浪微博、滴滴和某大型電商公司。先后主導(dǎo)或參與了多家公司的Flink實(shí)時(shí)計(jì)算服務(wù)的構(gòu)建、對(duì)超大規(guī)模集群的維護(hù)以及Flink引擎的改造。擁有豐富的實(shí)時(shí)計(jì)算實(shí)戰(zhàn)經(jīng)驗(yàn),目前專注于Kubernetes調(diào)度、Flink SQL及Flink流批一體化方向。 趙士杰 資深大數(shù)據(jù)技術(shù)專家,曾就職于滴滴、阿里巴巴等一線互聯(lián)網(wǎng)公司。從0到1深度參與了滴滴的大數(shù)據(jù)建設(shè),擁有非常豐富的大數(shù)據(jù)平臺(tái)一線建設(shè)經(jīng)驗(yàn),對(duì)于大數(shù)據(jù)領(lǐng)域的計(jì)算和存儲(chǔ)引擎也有深入研究。 李涵淼 大數(shù)據(jù)研發(fā)專家,曾任滴滴大數(shù)據(jù)開(kāi)發(fā)工程師。從事大數(shù)據(jù)領(lǐng)域工作多年,參與過(guò)多家公司流計(jì)算平臺(tái)的設(shè)計(jì)與研發(fā),目前專注于批流一體、OLAP技術(shù)方向的研究與應(yīng)用。 閔文俊 螞蟻集團(tuán)技術(shù)專家、開(kāi)源大數(shù)據(jù)社區(qū)愛(ài)好者、Flink Contributor,在實(shí)時(shí)計(jì)算領(lǐng)域工作多年,深度參與了滴滴、螞蟻集團(tuán)的實(shí)時(shí)計(jì)算平臺(tái)建設(shè)。

圖書目錄

前 言
第1章 閱讀Flink源代碼前的準(zhǔn)備 1
11 環(huán)境準(zhǔn)備 1
12 獲取、編譯和調(diào)試Flink的源代碼 4
121 獲取與導(dǎo)入Flink源代碼 4
122 編譯與調(diào)試Flink源代碼 6
13 Flink源代碼的目錄結(jié)構(gòu) 9
14 Flink設(shè)計(jì)理念與基本架構(gòu) 11
141 Flink與主流計(jì)算引擎對(duì)比 11
142 Flink基本架構(gòu) 14
15 本章小結(jié) 17
第2章 編程模型與API 18
21 DataStream 18
22 算子 21
23 窗口 28
231 窗口的基本概念 28
232 窗口的執(zhí)行流程 30
233 窗口分配器 32
234 觸發(fā)器 37
235 窗口函數(shù) 41
24 本章小結(jié) 43
第3章 運(yùn)行時(shí)組件與通信 44
31 運(yùn)行時(shí)組件 44
311 REST 45
312 Dispatcher 54
313 ResourceManager 61
314 JobMaster 75
315 TaskExecutor 85
32 組件間通信 95
321 Akka與Actor模型 95
322 組件間通信實(shí)現(xiàn) 99
33 運(yùn)行時(shí)組件的高可用 117
331 Master節(jié)點(diǎn)上組件的高可用 117
332 現(xiàn)有運(yùn)行時(shí)組件高可用存在的問(wèn)題及其解決方案 126
34 本章小結(jié) 128
第4章 狀態(tài)管理與容錯(cuò) 129
41 狀態(tài) 129
411 狀態(tài)的原理與實(shí)現(xiàn) 129
412 狀態(tài)生存時(shí)間的原理與實(shí)現(xiàn) 134
42 檢查點(diǎn) 137
421 檢查點(diǎn)機(jī)制原理 137
422 檢查點(diǎn)執(zhí)行過(guò)程 137
423 任務(wù)容錯(cuò) 140
43 狀態(tài)后端 143
44 本章小結(jié) 148
第5章 任務(wù)提交與執(zhí)行 149
51 任務(wù)提交整體流程 149
52 DAG轉(zhuǎn)換 152
521 DAG的4層轉(zhuǎn)換 152
522 WordCount轉(zhuǎn)換過(guò)程 152
53 Slot分配 160
531 相關(guān)概念和實(shí)現(xiàn)類 160
532 Slot申請(qǐng)流程 162
533 任務(wù)部署 168
54 任務(wù)執(zhí)行機(jī)制 170
541 任務(wù)執(zhí)行過(guò)程 170
542 MailBox線程模型 174
55 本章小結(jié) 177
第6章 Flink網(wǎng)絡(luò)棧 178
61 內(nèi)存管理 178
62 網(wǎng)絡(luò)傳輸 182
621 什么是Flink網(wǎng)絡(luò)棧 182
622 非流控模型的網(wǎng)絡(luò)傳輸流程 184
623 流控模型的網(wǎng)絡(luò)傳輸流程 197
63 流批一體的shuffle架構(gòu) 199
631 生命周期管理 199
632 數(shù)據(jù)shuffle 207
64 本章小結(jié) 208
第7章 Flink Connector的設(shè)計(jì)與實(shí)現(xiàn) 209
71 Kafka Connector實(shí)現(xiàn)原理 209
711 Kafka Source Connector實(shí)現(xiàn) 209
712 Kafka Sink Connector 實(shí)現(xiàn) 216
72 HBase Table Connector 實(shí)現(xiàn)原理 220
721 HBase Source Connector和Sink Connector的工廠實(shí)現(xiàn) 221
722 HBase維表實(shí)現(xiàn) 222
73 本章小結(jié) 224
第8章 部署模式 225
81 Local部署 225
82 Standalone部署 228
83 Flink on YARN模式 240
831 YARN基本架構(gòu) 240
832 Flink on YARN模式介紹 241
833 Flink on YARN啟動(dòng)過(guò)程 243
84 Flinkon Kubernetes模式 260
85 本章小結(jié) 265
第9章 Flink Table與SQL 266
91 StreamTableEnvironment類介紹 266
911 StreamExecution-Environment類 267
912 EnvironmentSettings類 267
913 TableConfig類 268
914 StreamTableEnvironment的創(chuàng)建過(guò)程 269
92 SQL解析過(guò)程 270
921 SQL解析 270
922 SQL優(yōu)化 277
923 RelNode轉(zhuǎn)換 279
93 Table Connector 281
931 TableSource 282
932 TableSink 286
933 SPI機(jī)制在Table Connector中的應(yīng)用 288
94 UDF與內(nèi)置算子 292
941 UDF 292
942 內(nèi)置算子 294
95 本章小結(jié) 297
第10章 Flink CEP 原理解析 298
101 CEP的基本概念 298
1011 什么是Flink CEP 298
1012 Pattern 298
1013 量詞 300
1014 條件 301
1015 連接 302
1016 Flink CEP作業(yè)編寫舉例 302
102 CEP內(nèi)部實(shí)現(xiàn)原理 304
1021 NFA簡(jiǎn)介 305
1022 匹配過(guò)程 305
1023 CEP狀態(tài)存儲(chǔ) 310
1024 CEP和SQL結(jié)合 313
103 本章小結(jié) 315
第11章 Flink監(jiān)控 316
111 監(jiān)控指標(biāo) 316
1111 指標(biāo)類型 316
1112 系統(tǒng)指標(biāo)及自定義指標(biāo) 318
1113 指標(biāo)的使用 319
112 常用系統(tǒng)指標(biāo) 322
113 監(jiān)控體系建設(shè) 324
1131 指標(biāo)監(jiān)控及展示 324
1132 日志分析處理 326
1133 定位手段 326
114 本章小結(jié) 327

本目錄推薦

掃描二維碼
Copyright ? 讀書網(wǎng) rgspecialties.com 2005-2020, All Rights Reserved.
鄂ICP備15019699號(hào) 鄂公網(wǎng)安備 42010302001612號(hào)