第一周关于Hadoop的一些学习记录 （难是真的难）

Hadoop

###初识Hadoop
Hadoop是一种用Java编写，允许分布在集群使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展，每个机器都可以提供本地计算和存储。

Hadoop出现是受到了Google开发的用于处理大量数据的算法MapReduce的启发，MapReduce能将任务分成小份并分配到多台机器上，并从机器收取结果综合，形成结果数据集。
Hadoop的核心分为两个层次：
1.加工/计算层(MapReduce)
2.储存层(Hadoop分布式文件系统HDFS)

HDFS

（一）什么是HDFS

HDFS 是 Hadoop Distributed File System 的缩写，是Hadoop核心架构的基础。它是基于谷歌文件系统(Google File System)，并提供了一个设计在普通硬件上运行的分布式文件系统。它与现有的分布式文件系统有许多相似之处。来自其他分布式文件系统的差别是显著。它高度容错并设计成部署在低成本的硬件。提供了高吞吐量的应用数据访问，并且适用于具有大数据集的应用程序。

HDFS拥有超大型的数据量，并提供更轻松地访问。为了存储这些庞大的数据，这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的数据损失，在发生故障时。 HDFS也使得可用于并行处理的应用程序。

HDFS的特点

• 它适用于在分布式存储和处理。
• Hadoop提供的命令接口与HDFS进行交互。
• 名称节点和数据节点的帮助用户内置的服务器能够轻松地检查集群的状态。
• 流式访问文件系统数据。
• HDFS提供了文件的权限和验证。

（二）HDFS的架构

HDFS遵循主从架构，它具有以下元素：

• 名称节点（NameNode）
• 数据节点（DataNode）
• 块（Block）

名称节点

NameNode是包含GNU/Linux操作系统和软件名称节点的普通硬件。它是一个可以在商品硬件上运行的软件。具有名称节点系统作为主服务器，它执行以下任务：

• 管理文件系统命名空间。
• 规范客户端对文件的访问。
• 它也执行文件系统操作，如重命名，关闭和打开的文件和目录。

数据节点

DataNode具有GNU/Linux操作系统和软件Datanode的普通硬件。对于集群中的每个节点(普通硬件/系统)，有一个数据节点。这些节点管理数据存储在它们的系统。

• 数据节点上的文件系统执行的读写操作，根据客户的请求。
• 还根据名称节点的指令执行操作，如块的创建，删除和复制。

块

一般用户数据存储在HDFS文件。在一个文件系统中的文件将被划分为一个或多个段和/或存储在个人数据的节点。这些文件段被称为块。换句话说，数据的HDFS可以读取或写入的最小量被称为一个块。缺省的块大小为64MB，但它可以增加按需要在HDFS配置来改变。

HDFS架构图

上图为个人理解作出的HDFS架构图
当客户端要读取数据时，先从NameNode中的数据块地图中获取要读取文件的位置，然后再与DataNode交互，从特定位置读取数据。
NameNode则管理着HDFS的名称空间以及数据块的映射信息。
DataNode存储着实际的数据块，它可以执行对数据块的读写操作。

（三）HDFS文件读写流程

HDFS对文件的操作分为读写两部分，以下则分析HDFS文件的具体读写流程

HDFS读取文件

HDFS的文件读取原理，主要包括以下几个步骤：

• 首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem的实例。
• DistributedFileSystem通过RPC(远程过程调用)获得文件的第一批block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面。
• 前两步会返回一个FSDataInputStream对象，该对象会被封装成 DFSInputStream对象，DFSInputStream可以方便的管理datanode和namenode数据流。客户端调用read方法，DFSInputStream就会找出离客户端最近的datanode并连接datanode。
• 数据从datanode源源不断的流向客户端。
• 如果第一个block块的数据读完了，就会关闭指向第一个block块的datanode连接，接着读取下一个block块。这些操作对客户端来说是透明的，从客户端的角度来看只是读一个持续不断的流。
• 如果第一批block都读完了，DFSInputStream就会去namenode拿下一批blocks的location，然后继续读，如果所有的block块都读完，这时就会关闭掉所有的流。

HDFS写入文件

HDFS的文件写入原理，主要包括以下几个步骤：

• 客户端通过调用 DistributedFileSystem 的create方法，创建一个新的文件。
• DistributedFileSystem 通过 RPC（远程过程调用）调用 NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode 会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，NameNode 就会记录下新文件，否则就会抛出IO异常。
• 前两步结束后会返回 FSDataOutputStream 的对象，和读文件的时候相似，FSDataOutputStream 被封装成 DFSOutputStream，DFSOutputStream 可以协调 NameNode和 DataNode。客户端开始写数据到DFSOutputStream,DFSOutputStream会把数据切成一个个小packet，然后排成队列 data queue。
• DataStreamer 会去处理接受 data queue，它先问询 NameNode 这个新的 block 最适合存储的在哪几个DataNode里，比如重复数是3，那么就找到3个最适合的 DataNode，把它们排成一个 pipeline。DataStreamer 把 packet 按队列输出到管道的第一个 DataNode 中，第一个 DataNode又把 packet 输出到第二个 DataNode 中，以此类推。
• DFSOutputStream 还有一个队列叫 ack queue，也是由 packet 组成，等待DataNode的收到响应，当pipeline中的所有DataNode都表示已经收到的时候，这时akc queue才会把对应的packet包移除掉。
• 客户端完成写数据后，调用close方法关闭写入流。
• DataStreamer 把剩余的包都刷到 pipeline 里，然后等待 ack 信息，收到最后一个 ack 后，通知 DataNode 把文件标示为已完成。

（四）NameNode的HA机制

NameNode的HA为High Availability，即高可用性。
对HA机制的理解还不够深刻，仅写下自己粗浅的理解。

为什么要有HA机制？

因为在整个HDFS系统中，NameNode处于一个非常重要的位置，如果NameNode在运行的时候宕机，存储服务则会停止，系统也无法进行数据的读写，甚至可能导致数据的丢失。

如何实现HA机制？

1. 如何保持主和备NameNode的状态同步，并让Standby在Active挂掉后迅速提供服务，namenode启动比较耗时，包括加载fsimage和editlog（获取file to block信息），处理所有datanode第一次blockreport（获取block to datanode信息），保持NN的状态同步，需要这两部分信息同步。

2. 脑裂（split-brain），指在一个高可用（HA）系统中，当联系着的两个节点断开联系时，本来为一个整体的系统，分裂为两个独立节点，这时两个节点开始争抢共享资源，结果会导致系统混乱，数据损坏。

3. NameNode切换对外透明，主Namenode切换到另外一台机器时，不应该导致正在连接的客户端失败，主要包括Client，Datanode与NameNode的链接。

（关于配置方面，因为还没有动手实操，再仔细研究后再具体写下如何实现HA的架构）