0%

Hadoop技术内幕_深入解析HadoopCommon和HDFS架构设计与实现原理PDF下载

《Hadoop技术内幕_深入解析HadoopCommon和HDFS架构设计与实现原理》

链接: https://pan.baidu.com/s/1jOadD77nyb77JjvxQomioQ 提取码: c3gx

Hadoop技术内幕”共两册,分别从源代码的角度对“Common HDFS”和MapReduce的架构设计和实现原理进行了极为详细的分析。《Hadoop技术内幕:深入解析HadoopCommon和HDFS架构设计与实现原理》由腾讯数据平台的资深Hadoop专家、X-RIME的作者亲自执笔,对Common和HDFS的源代码进行了分析,旨在为Hadoop的优化、定制和扩展提供原理性的指导。除此之外,本书还从源代码实现中对分布式技术的精髓、分布式系统设计的思想和方法,以及Java语言的编码技巧、编程规范和对设计模式的精妙运用进行了总结和分析,对提高读者的分布式技术能力和Java编程能力都非常有帮助。本书适合Hadoop的二次开发人员、应用开发工程师、运维工程师阅读。

  

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373

目录

前 言

部分 环境准备

章 源代码环境准备

1.1 什么是Hadoop

1.1.1 Hadoop简史

1.1.2 Hadoop的优势

1.1.3 Hadoop生态系统

1.2 准备源代码阅读环境

1.2.1 安装与配置K

1.2.2 安装Eclipse

1.2.3 安装辅助工具Ant

1.2.4 安装类UNIX Shell环境Cygwin

1.3 准备Hadoop源代码

1.3.1 下载Hadoop

1.3.2 创建Eclipse项目

1.3.3 Hadoop源代码组织

1.4 小结

第二部分 Common的实现

第2章 Hadoop配置信息处理

2.1 配置文件简介

2.1.1 Windows操作系统的配置文件

2.1.2 Java配置文件

2.2 Hadoop Configuration详解

2.2.1 Hadoop配置文件的格式

2.2.2 Configuration的成员变量

2.2.3 资源加载

2.2.4 使用get和set访问设置配置项

2.3 Configurable接口

2.4 小结

第3章 序列化与压缩

3.1 序列化

3.1.1 Java内建序列化机制

3.1.2 Hadoop序列化机制

3.1.3 Hadoop序列化机制的特征

3.1.4 Hadoop Writable机制

3.1.5 典型的Writable类详解

3.1.6 Hadoop序列化框架

3.2 压缩

3.2.1 Hadoop压缩简介

3.2.2 Hadoop压缩API应用实例

3.2.3 Hadoop压缩框架

3.2.4 Java本地方法

3.2.5 支持Snappy压缩

3.3 小结

第4章 Hadoop远程过程调用

4.1 远程过程调用基础知识

4.1.1 RPC原理

4.1.2 RPC机制的实现

4.1.3 Java远程方法调用

4.2 Java动态代理

4.2.1 创建代理接口

4.2.2 调用转发

4.2.3 动态代理实例

4.3 Java NIO

4.3.1 Java基本套接字

4.3.2 Java NIO基础

4.3.3 Java NIO实例:回显服务器

4.4 Hadoop中的远程过程调用

4.4.1 利用Hadoop IPC构建简单的分布式系统

4.4.2 Hadoop IPC的代码结构

4.5 Hadoop IPC连接相关过程

4.5.1 IPC连接成员变量

4.5.2 建立IPC连接

4.5.3 数据分帧和读写

4.5.4 维护IPC连接

4.5.5 关闭IPC连接

4.6 Hadoop IPC方法调用相关过程

4.6.1 Java接口与接口体

4.6.2 IPC方法调用成员变量

4.6.3 客户端方法调用过程

4.6.4 服务器端方法调用过程

4.7 Hadoop IPC上的其他辅助过程

4.7.1 RPC.getProxy和RPC.stopProxy

4.7.2 RPC.getServer和Server的启停

4.8 小结

第5章 Hadoop文件系统

5.1 文件系统

5.1.1 文件系统的用户界面

5.1.2 文件系统的实现

5.1.3 文件系统的保护控制

5.2 Linux文件系统

5.2.1 Linux本地文件系统

5.2.2 虚拟文件系统

5.2.3 Linux文件保护机制

5.2.4 Linux文件系统API

5.3 分布式文件系统

5.3.1 分布式文件系统的特性

5.3.2 基本NFS体系结构

5.3.3 NFS支持的文件操作

5.4 Java文件系统

5.4.1 Java文件系统API

5.4.2 URI和URL

5.4.3 Java输入输出流

5.4.4 存取文件

5.5 Hadoop抽象文件系统

5.5.1 Hadoop文件系统API

5.5.2 Hadoop输入输出流

5.5.3 Hadoop文件系统中的权限

5.5.4 抽象文件系统中的静态方法

5.5.5 Hadoop文件系统中的协议处理器

5.6 Hadoop具体文件系统

5.6.1 FileSystem层次结构

5.6.2 RawLocalFileSystem的实现

5.6.3 ChecksumFileSystem的实现

5.6.4 RawInMemoryFileSystem的实现

5.7 小结

第三部分 Hadoop分布式文件系统

第6章 HDFS概述

6.1 初识HDFS

6.1.1 HDFS主要特性

6.1.2 HDFS体系结构

6.1.3 HDFS源代码结构

6.2 基于远程过程调用的接口

6.2.1 与客户端相关的接口

6.2.2 HDFS各服务器间的接口

6.3 非远程过程调用接口

6.3.1 数据节点上的非IPC接口

6.3.2 名字节点和第二名字节点上的非IPC接口

6.4 HDFS主要流程

6.4.1 客户端到名字节点的文件与目录操作

6.4.2 客户端读文件

6.4.3 客户端写文件

6.4.4 数据节点的启动和心跳

6.4.5 第二名字节点合并元数据

6.5 小结

第7章 数据节点实现

7.1 数据块存储

7.1.1 数据节点的磁盘目录文件结构

7.1.2 数据节点存储的实现

7.1.3 数据节点升级

7.1.4 文件系统数据集的工作机制

7.2 流式接口的实现

7.2.1 DataXceiverServer和DataXceiver

7.2.2 读数据

7.2.3 写数据

7.2.4 数据块替换、数据块拷贝和读数据块检验信息

7.3 作为整体的数据节点

7.3.1 数据节点和名字节点的交互

7.3.2 数据块扫描器

7.3.3 数据节点的启停

7.4 小结

第8章 名字节点实现

8.1 文件系统的目录树

8.1.1 从i-node到INode

8.1.2 命名空间镜像和编辑日志

8.1.3 第二名字节点

8.1.4 FSDirectory的实现

8.2 数据块和数据节点管理

8.2.1 数据结构

8.2.2 数据节点管理

8.2.3 数据块管理

8.3 远程接口ClientProtocol的实现

8.3.1 文件和目录相关事务

8.3.2 读数据使用的方法

8.3.3 写数据使用的方法

8.3.4 工具dfsadmin依赖的方法

8.4 名字节点的启动和停止

8.4.1 安全模式

8.4.2 名字节点的启动

8.4.3 名字节点的停止

8.5 小结

第9章 HDFS客户端

9.1 认识DFSClient

9.1.1 DFSClient的构造和关闭

9.1.2 文件和目录、系统管理相关事务

9.1.3 删除HDFS文件目录的流程

9.2 输入流

9.2.1 读数据前的准备:打开文件

9.2.2 读数据

9.2.3 关闭输入流

9.2.4 读取HDFS文件数据的流程

9.3 输出流

9.3.1 写数据前的准备:创建文件

9.3.2 写数据:数据流管道的建立

9.3.3 写数据:数据包的发送

9.3.4 写数据:数据流管道出错处理

9.3.5 写数据:租约更新

9.3.6 写数据:DFSOutputStream.sync的作用

9.3.7 关闭输出流

9.3.8 向HDFS文件写入数据的流程

9.4 DistributedFileSystem的实现

9.5 HDFS常用工具

9.5.1 FsShell

9.5.2 DFSAdmin

9.6 小结


最后,这里为大家准备了几百本的互联网电子书,有需要的过来取吧。点击获取

本页书籍均来自网络,如有侵权,请联系我立即删除。我的邮箱:yaojianguolq@163.com

------ 全文结束------