hadoop下载安装教程
AI摘要
leondoo.com
1
HADOOP_HOME=/usr/
PATH=
$HADOOP_HOME/etc/hadoop
$HADOOP_HOME
$PATH
%HADOOP_HOME%\bin
/bin:
/etc/profile
/hadoop
/output
/in
/usr/local/hadoop/tmp
1
2
3
4
6
7
8
:
<
>
HADOOP_HOME
Hadoop下载与安装环境准备
Hadoop安装包下载与解压
Hadoop的配置集中在$HADOOP_HOME/etc/hadoop目录下，需根据部署模式调整以下文件：
JAVA_HOME
Ja路径错误
Ja路径错误：确保JAVA_HOME在hadoop-env.sh 和系统环境变量中一致。 权限不足：Hadoop临时目录需赋予hadoop用户读写权限。 端口冲突：9870、8088等端口是否被占用，必要时修改配置文件。 验证安装成功后，可通过HDFS文件上传测试功能：
Ja路径错误：确保JAVA_HOME在hadoop-env.sh 和系统环境变量中一致。
PATH
Windows环境下需额外配置环境变量HADOOP_HOME，并将winutils.exe 等支持文件放入%HADOOP_HOME%\bin目录。修改core-site.xml 和hdfs-site.xml 时，路径需使用反斜杠并空格。启动服务前需以管理员身份运行令行，执行hadoop namenode -format初始化文件系统。MapReduce任务测试可通过示例程序验证，例如：
Windows系统特殊配置
bash export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/in
bash hadoop jar hadoop-mapreduce-examples-3.2.1.jar wordcount /input/README.txt /output
bash hdfs dfs -mkdir /input hdfs dfs -put localfile.txt /input
bash
bash
bin
core-site.xml ：定义HDFS默认地址及临时目录，如：
core-site.xml
export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/in
export HADOOP_HOME=/usr/local/hadoop
export JAVA_HOME=/usr/lib/jvm/ja-8-openjdk-amd64
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/in
export
fs.defaultFS
hadoop jar hadoop-mapreduce-examples-3.2.1.jar wordcount /input/README.txt /output
hadoop namenode -format
hadoop version
hadoop-env.sh ：明确指定Ja路径，例如export JAVA_HOME=/usr/lib/jvm/ja-8-openjdk-amd64。 core-site.xml ：定义HDFS默认地址及临时目录，如：
hadoop-env.sh ：明确指定Ja路径，例如export JAVA_HOME=/usr/lib/jvm/ja-8-openjdk-amd64。
hadoop-env.sh
hadoop.dll
hadoop.tmp.dir
hadoop
hdfs dfs -mkdir /input hdfs dfs -put localfile.txt /input
hdfs dfs -mkdir /input
hdfs dfs -put localfile.txt /input
hdfs namenode -format
hdfs-site.xml ：配置副本数及数据存储路径，伪分布式模式下副本数设为1。 mapred-site.xml ：指定MapReduce框架为YARN，添加mapreduce.framework.name 属性。 yarn-site.xml ：配置资源管理参数，如NodeManager资源检测方式及服务地址。124
hdfs-site.xml ：配置副本数及数据存储路径，伪分布式模式下副本数设为1。
hdfs-site.xml
hdfs://localhost:9000
http://
http://
jps
local
mapred-site.xml ：指定MapReduce框架为YARN，添加mapreduce.framework.name 属性。
mapred-site.xml
mapreduce.framework.name
mv hadoop-3.2.1 hadoop
name
property
sles
source /etc/profile
ssh-keygen
start-all.sh
start-dfs.sh
start-yarn.sh
sudo apt-get install openssh-server
sudo useradd -m hadoop -s /bin/bash
tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local
value
winutils.exe
xml
xml
xml
yarn-site.xml ：配置资源管理参数，如NodeManager资源检测方式及服务地址。124
yarn-site.xml
~/.bashrc
从Apache官网下载Hadoop二进制压缩包（如hadoop-3.2.1.tar.gz ），建议选择稳定版本。Windows用户需额外下载winutils.exe 和hadoop.dll 支持文件，放置于Hadoop安装目录的bin子目录下。解压令为tar -zxvf hadoop-3.2.1.tar.gz -C /usr/local，解压后可重名文件夹简化路径，例如mv hadoop-3.2.1 hadoop。配置系统环境变量，在/etc/profile或用户环境文件中添加HADOOP_HOME路径及PATH变量：
任务完成后在HDFS的/output目录查看结果文件。368
分布式模式部署与启动
单节点启动：start-dfs.sh 和start-yarn.sh
批量启动：start-all.sh
通过jps令进程，正常应包含NameNode、DataNode、ResourceManager等。Web界面访问http://
单节点启动：start-dfs.sh 和start-yarn.sh
在安装Hadoop前需完成基础环境配置。对于Linux系统（如Ubuntu或CentOS），建议创建专用用户hadoop以提升安全性，通过令sudo useradd -m hadoop -s /bin/bash创建用户并赋予管理员权限。更新系统软件源后，安装SSH服务以实现节点间无密码通信，执行sudo apt-get install openssh-server安装服务端，并通过ssh-keygen生成密钥对，将公钥加入授权文件实现免密登录。Ja环境是Hadoop运行的基础，需安装OpenJDK或Oracle JDK，配置JAVA_HOME路径至~/.bashrc文件，例如export JAVA_HOME=/usr/lib/jvm/ja-8-openjdk-amd64。127
安装过程中需注意：
完全分布式需在多台节点上重复上述配置，并在sles文件中添加所有DataNode主机名。格式化HDFS文件系统：hdfs namenode -format，随后启动集群服务：
常见问题与验证
执行source /etc/profile使配置生效，验证安装通过hadoop version令。367
批量启动：start-all.sh
通过jps令进程，正常应包含NameNode、DataNode、ResourceManager等。Web界面访问http://
权限不足
权限不足：Hadoop临时目录需赋予hadoop用户读写权限。
心配置文件修改
端口冲突
端口冲突：9870、8088等端口是否被占用，必要时修改配置文件。 验证安装成功后，可通过HDFS文件上传测试功能：
若操作无报错且Web界面显示文件列表，则表明Hadoop环境部署完成。247
相关问答
发表评论