javazx 发表于 2017-4-12 20:31:49

《深入解析YARN架构设计与实现原理》第1章 环境准备【1.1】

1.1 准备学习环境
对于大部分公司而言, 实验和生产环境中的服务器集群部署的是Linux操作系统, 考虑到Linux在服务器市场中具有统治地
位, Hadoop从一开始便是基于Linux操作系统开发的, 因而对Linux有非常完美的支持。 尽管Hadoop采用了具有跨平台特性的Java
作为主要编程语言, 但由于它的一些功能实现用到了Linux操作系统相关的技术, 因而对其他平台支持不够友好, 且没有进行过
严格测试。 换句话说, 其他操作系统( 如Windows) 仅可 作为开发环境 , 不可作为生产环境。 对于学习源代码而言, 操作系
统的选择显得不是非常重要, 读者可根据个人爱好自行决定。 本节以64bit Linux为例, 介绍如何在单机上准备Hadoop源代码学习
环境。
1.1.1 基础软件下载
前面提到Hadoop采用的开发语言主要是Java, 因而搭建Hadoop环境所需的最基础软件首先应该包括Java基础开发包JDK和
Java项目管理工具Maven, 考虑到源代码阅读和调试的便利性, 本书采用功能强大的集成开发环境Eclipse。 搭建Hadoop阅读环境
需要的各种软件以及下载方式如表1-1所示。
表1-1 搭建Hadoop阅读环境所需的软件
Galileo以上版本: 注意, Indigo及以上版本与Hadoop Eclipse插件可能存在兼容问题。
1.1.2 如何准备Linux环境
本节主要介绍如何准备Linux下Hadoop学习环境。 搭建Linux学习环境需要安装JDK和Eclipse等软件。 为了方便1.6节介绍
Hadoop源代码编译方法, 本节顺便安装Hadoop项目管理工具Maven。 本文以64bit Ubuntu为例, 介绍安装这些软件的方法, 最终安
装完成的目录结构为:
ROOT
├─home
│ └─dong
│ └─eclipse
└─
usr
└─
lib
├─apache-maven-3.0.5
└─
jvm
└─
jdk1.6.0_25
1.JDK安装与配置
一般而言, Ubuntu系统会自带JDK, 如果没有或者版本不合要求, 可按以下步骤进行安装。
步骤1 安装JDK。
将下载的.bin文件复制到Linux的某个目录下, 比如/usr/lib/jvm/, 然后在Shell中执行以下命令为该文件添加可执行权限:
chmod +x /usr/lib/jvm/jdk1.6.0_25.bin
然后执行以下命令安装JDK:
sudo /usr/lib/jvm/jdk1.6.0_25.bin
之后将会出现安装信息, 直至屏幕显示要求按下回车键, 此时输入回车键后, 会把JDK解压到文件夹jdk1.6.0_25中。 至
此, JDK已安装完毕, 下面进行配置。
步骤2 配置JDK。
修改/etc/profile文件, 在里面添加以下内容:
export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_25
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
输入以下命令使配置生效:
source /etc/profile
步骤3 修改默认JDK版本。
Ubuntu中可能会有默认的JDK, 如openjdk, 因而我们需要将自己安装的JDK设置为默认JDK版本, 执行下面的代码:
sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.6.0_25/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.6.0_25/bin/javac 300
sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk1.6.0_25/bin/jar 300
sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm jdk1.6.0_25/bin/javah 300
sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/jdk1.6.0_25/bin/javap 300
然后执行以下代码选择我们安装的JDK版本:
sudo update-alternatives --config java
步骤4 验证JDK是否安装成功。
重启Shell终端, 执行java -version命令, 若输出以下内容, 则说明安装成功:
java version "1.6.0_25"
Java(TM) SE Runtime Environment (build 1.6.0_25-b06)
Java HotSpot(TM) Client VM (build 20.0-b11, mixed mode, sharing)
2.安装、 配置Maven及Eclipse
下面介绍Maven和Eclipse的安装、 配置方法。
( 1) 安装与配置Maven
首先解压下载包, 比如解压到文件/usr/lib/apache-maven-3.0.5目录下, 然后修改/etc/profile文件, 在里面添加以下内容:
export MAVEN_HOME=/usr/lib/apache-maven-3.0.5
export PATH=$PATH$:$ANT_HOME/bin
输入以下命令使配置生效:
source /etc/profile
同Windows下的验证方式一样, 重启终端, 执行mvn --version命令, 若输出以下内容, 则说明安装成功:
Apache Maven version 3.0.5 compiled on June 27 2008
( 2) 安装Eclipse
同Windows环境下安装方式一样, 直接解压即可使用。
截至本书结稿时, Apache Hadoop SVN中已经出现了针对Windows操作系统的分支, 具体见http://svn.
apache.org/repos/asf/hadoop/common/branches/下的branch-1-win和branch-trunk-win, 且Hortonworks公司发布了Windows安装版本, 具体
见 http://hortonworks.com/partners/microsoft/。

页: [1]
查看完整版本: 《深入解析YARN架构设计与实现原理》第1章 环境准备【1.1】