Hadoop 入门实践

Hadoop 2.0 架构

Hadoop 包括如下几个模块:

  1. Hadoop Common:公共基础组件;
  2. Hadoop Distributed File System(HDFS):分布式文件系统;
  3. Hadoop YARN:任务和资源管理框架;
  4. Hadoop MapReduce:基于YARN的并行数据处理系统;
  5. 其它基于Hadoop的项目(包括Pig,Hive,Spark等)。

Hadoop-2.0 图片来源:Icons and Stencils for Hadoop

了解基本架构之后先在本地安装一下最新版本的 Hadoop,我安装在阿里云服务器:

Ubuntu 14.04.3 LTS

Hadoop 单节点安装

依赖

  1. Java 1.5.X
  2. ssh
wget http://javadl.oracle.com/webapps/download/AutoDL?BundleId=116021
mv AutoDL\?BundleId=116021 jre-7u7-linux-x64.tar.gz
tar zxvf jre-7u7-linux-x64.tar.gz

sudo mkdir -p /usr/java
sudo cp -r jre1.8.0_73/* /usr/java/

export JAVA_PATH=/usr/java

下载 Hadoop

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz
tar zxvf hadoop-2.6.4.tar.gz
cd hadoop-2.6.4

export HADOOP_INSTALL=/path/to/hadoop-2.6.4
export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

三种集群模式

Hadoop 共有三种模式,运行前需要先了解它们的差别:

  1. 单机(本地)模式
  2. 伪分布式模式
  3. 完全分布式模式

单机模式只是运行一次 MapReduce 程序,不生成 daemon,适合调试程序;伪分布式模式 daemon 运行在本地,只是模拟集群;完全分布式的 daemon 运行在多个机器上。

文章开始介绍的 Hadoop 架构中提到两个主要模块:HDFS 和 YAEN,运行 Hadoop 前需要分别对其进行配置,在配置之前需要先了解一下它们分别是什么。

HDFS & YARN 配置

HDFS

HDFS 是基于 Google File System(GFS)的一种实现,由 Java 实现的一种分布式、可扩展、可移植的文件系统。HDFS 由两部分组成:

  1. NameNode:主机(master machine),用于管理所有集群数据的元数据;
  2. DataNode:HDFS 中真正用于保存数据的部分,通常包含多个DN;

除此之外,在多节点集群模式下,还配备一个 Secondary NameNode,用于生成主机数据操作的缓存镜像,结构如下图所示:

HDFS

图片来源:见参考1

选择伪分布式模式,我们先配置启动 HDFS。由于需要用到ssh,先对本机设置ssh无密码登录模式:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh localhost

创建新的配置目录:

mkdir init_config
cp $HADOOP_INSTALL/etc/hadoop/*.xml init_config/

编辑 init_config/core-site.xmlinit_config/hdfs-site.xml

<!-- core-site.xml -->
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>
<!-- hdfs-site.xml -->
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

格式化HDFS,然后运行启动脚本:

hadoop namenode -format
start-dfs.sh --config /absolute/path/to/init_config

# 遇到错误
# localhost: Error: JAVA_HOME is not set and could not be found.
# 可能与我用 zsh 有关,JAVA_HOME 已设置在 ~/.zshrc
# 解决方案
cp $HADOOP_INSTALL/etc/hadoop/hadoop-env.sh init_config/
# 编辑 init_config/hadoop-env.sh
export JAVA_HOME=/usr/java

启动之后,可以从通过浏览器访问http://localhost:50070

hdfs-web-interface

YARN

YARN 还是基于 Google MapReduce 的实现,具体 MapReduce 的原理有时间可以研究一下这篇论文。 MapReduce 的基本过程如下:

(input) <k1, v1>->map-><k2, v2>->combine-><k2, v2>->reduce-><k3, v3> (output)

map/reduce 的过程对数据进行分块并行处理,而 Hadoop 提供的 YARN 框架由JobTrackerTaskTracker两部分组成,输入和输出都是来自/存入 HDFS,YARN 只是负责调度和监控,其架构如下图所示:

YARN 图片来源:见参考1

要启动 YARN 同样需要配置 init_config/yarn-site.xml

<!-- yarn-site.xml -->
<configuration>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8032</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
  </property>
</configuration>

之后运行:

start-yarn.sh --config /absolute/path/to/init_config

# 若出现 cat: /path/to/init_config/slaves: No such file or directory
# 则需要从 $HADOOP_INSTALL/etc/hadoop/ 中 copy 过来。

启动成功之后同样可以通过 http://localhost:8088 访问 Web 管理界面:

Yarn-web-interface

总结

到此为止已经完成了 Hadoop 单机节点下的伪分布式模式的启动,接下来需要分别学习:

  • HDFS 的一些指令操作以及 Web 管理界面
  • MapReduce 原理
  • 基于 Python 的 MapReduce 数据操作以及 YARN 的 Web 管理界面

Hadoop 负责数据的存储于基本处理,HDFS 与 MapReduce 分别实现数据存储处理过程的分布式并行加工。有了数据基础之后,才可以进一步应用到机器学习模型中,或者是实现更加高效的查询或计算,这就需要后续更多基于 Hadoop 之上的应用,例如 Pig/Hive/Spark。

参考

  1. A Beginners Guide to Hadoop
  2. Book《Hadoop: The Definitive Guide》
  3. Wikipedia: Apache Hadoop
  4. Hadoop 新 MapReduce 框架 Yarn 详解