《Hadoop技術(shù)內(nèi)幕：深入解析Hadoop Common和HDFS架構(gòu)設(shè)計與實現(xiàn)原理》PDF 下載
轉(zhuǎn)載自：https://download.csdn.net/download/weixin_37662589/10308231
下載地址：
版權(quán)歸出版社和原作者所有，鏈接已刪除，請購買正版
圖書簡介：
“Hadoop技術(shù)內(nèi)幕”共兩冊，分別從源代碼的角度對“Common+HDFS”和MapReduce的架構(gòu)設(shè)計和實現(xiàn)原理進行了極為詳細的分析?！禜adoop技術(shù)內(nèi)幕：深入解析HadoopCommon和HDFS架構(gòu)設(shè)計與實現(xiàn)原理》由騰訊數(shù)據(jù)平臺的資深Hadoop專家、X-RIME的作者親自執(zhí)筆，對Common和HDFS的源代碼進行了分析，旨在為Hadoop的優(yōu)化、定制和擴展提供原理性的指導。除此之外，本書還從源代碼實現(xiàn)中對分布式技術(shù)的精髓、分布式系統(tǒng)設(shè)計的優(yōu)秀思想和方法，以及Java語言的編碼技巧、編程規(guī)范和對設(shè)計模式的精妙運用進行了總結(jié)和分析，對提高讀者的分布式技術(shù)能力和Java編程能力都非常有幫助。本書適合Hadoop的二次開發(fā)人員、應用開發(fā)工程師、運維工程師閱讀。
全書9章，共分為三個部分：第一部分（第1章）主要介紹了Hadoop源代碼的獲取和源代碼閱讀環(huán)境的搭建；第二部分（第2~5章）對Hadoop公共工具Common的架構(gòu)設(shè)計和實現(xiàn)原理進行了深入分析，包含Hadoop的配置信息處理、面向海量數(shù)據(jù)處理的序列化和壓縮機制、Hadoop的遠程過程調(diào)用，以及滿足Hadoop上各類應用訪問數(shù)據(jù)的Hadoop抽象文件系統(tǒng)和部分具體文件系統(tǒng)等內(nèi)容；第三部分（第6~9章）對Hadoop的分布式文件系統(tǒng)HDFS的架構(gòu)設(shè)計和實現(xiàn)原理進行了詳細的分析，這部分內(nèi)容采用了總分總的結(jié)構(gòu)，第6章對HDFS的各個實體和實體間接口進行了分析；第7章和第8章分別詳細地研究了數(shù)據(jù)節(jié)點和名字節(jié)點的實現(xiàn)原理，并通過第9章對客戶端的解析，回顧了HDFS各節(jié)點間的配合，完整地介紹了一個大規(guī)模數(shù)據(jù)存儲系統(tǒng)的實現(xiàn)。
相關(guān)截圖：
圖書目錄：
前 言
第一部分 環(huán)境準備
第1章 源代碼環(huán)境準備
1.1 什么是Hadoop
1.1.1 Hadoop簡史
1.1.2 Hadoop的優(yōu)勢
1.1.3 Hadoop生態(tài)系統(tǒng)
1.2 準備源代碼閱讀環(huán)境
1.2.1 安裝與配置JDK
1.2.2 安裝Eclipse
1.2.3 安裝輔助工具Ant
1.2.4 安裝類UNIX Shell環(huán)境Cygwin
1.3 準備Hadoop源代碼
1.3.1 下載Hadoop
1.3.2 創(chuàng)建Eclipse項目
1.3.3 Hadoop源代碼組織
1.4 小結(jié)
第二部分 Common的實現(xiàn)
第2章 Hadoop配置信息處理
2.1 配置文件簡介
2.1.1 Windows操作系統(tǒng)的配置文件
2.1.2 Java配置文件
2.2 Hadoop Configuration詳解
2.2.1 Hadoop配置文件的格式
2.2.2 Configuration的成員變量
2.2.3 資源加載
2.2.4 使用get*和set*訪問設(shè)置配置項
2.3 Configurable接口
2.4 小結(jié)
第3章 序列化與壓縮
3.1 序列化
3.1.1 Java內(nèi)建序列化機制
3.1.2 Hadoop序列化機制
3.1.3 Hadoop序列化機制的特征
3.1.4 Hadoop Writable機制
3.1.5 典型的Writable類詳解
3.1.6 Hadoop序列化框架
3.2 壓縮
3.2.1 Hadoop壓縮簡介
3.2.2 Hadoop壓縮API應用實例
3.2.3 Hadoop壓縮框架
3.2.4 Java本地方法
3.2.5 支持Snappy壓縮
3.3 小結(jié)
第4章 Hadoop遠程過程調(diào)用
4.1 遠程過程調(diào)用基礎(chǔ)知識
4.1.1 RPC原理
4.1.2 RPC機制的實現(xiàn)
4.1.3 Java遠程方法調(diào)用
4.2 Java動態(tài)代理
4.2.1 創(chuàng)建代理接口
4.2.2 調(diào)用轉(zhuǎn)發(fā)
4.2.3 動態(tài)代理實例
4.3 Java NIO
4.3.1 Java基本套接字
4.3.2 Java NIO基礎(chǔ)
4.3.3 Java NIO實例：回顯服務器
4.4 Hadoop中的遠程過程調(diào)用
4.4.1 利用Hadoop IPC構(gòu)建簡單的分布式系統(tǒng)
4.4.2 Hadoop IPC的代碼結(jié)構(gòu)
4.5 Hadoop IPC連接相關(guān)過程
4.5.1 IPC連接成員變量
4.5.2 建立IPC連接
4.5.3 數(shù)據(jù)分幀和讀寫
4.5.4 維護IPC連接
4.5.5 關(guān)閉IPC連接
4.6 Hadoop IPC方法調(diào)用相關(guān)過程
4.6.1 Java接口與接口體
4.6.2 IPC方法調(diào)用成員變量
4.6.3 客戶端方法調(diào)用過程
4.6.4 服務器端方法調(diào)用過程
4.7 Hadoop IPC上的其他輔助過程
4.7.1 RPC.getProxy()和RPC.stopProxy()
4.7.2 RPC.getServer()和Server的啟停
4.8 小結(jié)
第5章 Hadoop文件系統(tǒng)
5.1 文件系統(tǒng)
5.1.1 文件系統(tǒng)的用戶界面
5.1.2 文件系統(tǒng)的實現(xiàn)
5.1.3 文件系統(tǒng)的保護控制
5.2 Linux文件系統(tǒng)
5.2.1 Linux本地文件系統(tǒng)
5.2.2 虛擬文件系統(tǒng)
5.2.3 Linux文件保護機制
5.2.4 Linux文件系統(tǒng)API
5.3 分布式文件系統(tǒng)
5.3.1 分布式文件系統(tǒng)的特性
5.3.2 基本NFS體系結(jié)構(gòu)
5.3.3 NFS支持的文件操作
5.4 Java文件系統(tǒng)
5.4.1 Java文件系統(tǒng)API
5.4.2 URI和URL
5.4.3 Java輸入輸出流
5.4.4 隨機存取文件
5.5 Hadoop抽象文件系統(tǒng)
5.5.1 Hadoop文件系統(tǒng)API
5.5.2 Hadoop輸入輸出流
5.5.3 Hadoop文件系統(tǒng)中的權(quán)限
5.5.4 抽象文件系統(tǒng)中的靜態(tài)方法
5.5.5 Hadoop文件系統(tǒng)中的協(xié)議處理器
5.6 Hadoop具體文件系統(tǒng)
5.6.1 FileSystem層次結(jié)構(gòu)
5.6.2 RawLocalFileSystem的實現(xiàn)
5.6.3 ChecksumFileSystem的實現(xiàn)
5.6.4 RawInMemoryFileSystem的實現(xiàn)
5.7 小結(jié)
第三部分 Hadoop分布式文件系統(tǒng)
第6章 HDFS概述
6.1 初識HDFS
6.1.1 HDFS主要特性
6.1.2 HDFS體系結(jié)構(gòu)
6.1.3 HDFS源代碼結(jié)構(gòu)
6.2 基于遠程過程調(diào)用的接口
6.2.1 與客戶端相關(guān)的接口
6.2.2 HDFS各服務器間的接口
6.3 非遠程過程調(diào)用接口
6.3.1 數(shù)據(jù)節(jié)點上的非IPC接口
6.3.2 名字節(jié)點和第二名字節(jié)點上的非IPC接口
6.4 HDFS主要流程
6.4.1 客戶端到名字節(jié)點的文件與目錄操作
6.4.2 客戶端讀文件
6.4.3 客戶端寫文件
6.4.4 數(shù)據(jù)節(jié)點的啟動和心跳
6.4.5 第二名字節(jié)點合并元數(shù)據(jù)
6.5 小結(jié)
第7章 數(shù)據(jù)節(jié)點實現(xiàn)
7.1 數(shù)據(jù)塊存儲
7.1.1 數(shù)據(jù)節(jié)點的磁盤目錄文件結(jié)構(gòu)
7.1.2 數(shù)據(jù)節(jié)點存儲的實現(xiàn)
7.1.3 數(shù)據(jù)節(jié)點升級
7.1.4 文件系統(tǒng)數(shù)據(jù)集的工作機制
7.2 流式接口的實現(xiàn)
7.2.1 DataXceiverServer和DataXceiver
7.2.2 讀數(shù)據(jù)
7.2.3 寫數(shù)據(jù)
7.2.4 數(shù)據(jù)塊替換、數(shù)據(jù)塊拷貝和讀數(shù)據(jù)塊檢驗信息
7.3 作為整體的數(shù)據(jù)節(jié)點
7.3.1 數(shù)據(jù)節(jié)點和名字節(jié)點的交互
7.3.2 數(shù)據(jù)塊掃描器
7.3.3 數(shù)據(jù)節(jié)點的啟停
7.4 小結(jié)
第8章 名字節(jié)點實現(xiàn)
8.1 文件系統(tǒng)的目錄樹
8.1.1 從i-node到INode
8.1.2 命名空間鏡像和編輯日志
8.1.3 第二名字節(jié)點
8.1.4 FSDirectory的實現(xiàn)
8.2 數(shù)據(jù)塊和數(shù)據(jù)節(jié)點管理
8.2.1 數(shù)據(jù)結(jié)構(gòu)
8.2.2 數(shù)據(jù)節(jié)點管理
8.2.3 數(shù)據(jù)塊管理
8.3 遠程接口ClientProtocol的實現(xiàn)
8.3.1 文件和目錄相關(guān)事務
8.3.2 讀數(shù)據(jù)使用的方法
8.3.3 寫數(shù)據(jù)使用的方法
8.3.4 工具dfsadmin依賴的方法
8.4 名字節(jié)點的啟動和停止
8.4.1 安全模式
8.4.2 名字節(jié)點的啟動
8.4.3 名字節(jié)點的停止
8.5 小結(jié)
第9章 HDFS客戶端
9.1 認識DFSClient
9.1.1 DFSClient的構(gòu)造和關(guān)閉
9.1.2 文件和目錄、系統(tǒng)管理相關(guān)事務
9.1.3 刪除HDFS文件目錄的流程
9.2 輸入流
9.2.1 讀數(shù)據(jù)前的準備：打開文件
9.2.2 讀數(shù)據(jù)
9.2.3 關(guān)閉輸入流
9.2.4 讀取HDFS文件數(shù)據(jù)的流程
9.3 輸出流
9.3.1 寫數(shù)據(jù)前的準備：創(chuàng)建文件
9.3.2 寫數(shù)據(jù)：數(shù)據(jù)流管道的建立
9.3.3 寫數(shù)據(jù)：數(shù)據(jù)包的發(fā)送
9.3.4 寫數(shù)據(jù)：數(shù)據(jù)流管道出錯處理
9.3.5 寫數(shù)據(jù)：租約更新
9.3.6 寫數(shù)據(jù)：DFSOutputStream.sync()的作用
9.3.7 關(guān)閉輸出流
9.3.8 向HDFS文件寫入數(shù)據(jù)的流程
9.4 DistributedFileSystem的實現(xiàn)
9.5 HDFS常用工具
9.5.1 FsShell
9.5.2 DFSAdmin
9.6 小結(jié)
|
蘇公網(wǎng)安備 32061202001004號
