本篇文章单节点安装 hdfs hive ,实乃学习大数据必备的教程,环境为:Centos7 JDK8.0 cdh5.15.1

下载地址: http://archive.cloudera.com/cdh5/cdh/5/

hadoop版本:hadoop-2.6.0-cdh5.15.1.tar.gz

hive: http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz

官方hadoop单节点安装教程: http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

关闭防火墙

systemctl status firewalld.service

systemctl disable firewalld.service

配置java 环境变量

export JAVA_HOME=/usr/local/java

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

配置ssh免密登录

注意:单节点机器也需要配置本机 ssh无密码登录 ssh-keygen -t rsa

cat id_rsa.pub >> authorized_keys

chmod g-w authorized_keys 设置权限 否则不起效

解压到 app目录

/home/hadoop/app/hadoop-2.6.0-cdh5.15.1

  • hadoop目录基本了解
  • bin/ hadoop客户端
  • etc/hadoop hadoop 相关配置目录
  • sbin 启动hadoop相关进程脚本
  • share 示例程序

配置 hadoop-env.sh

vim hadoop-env.sh

#配置 java_home
export JAVA_HOME=/usr/local/java/jdk1.8.0_221

配置 core-site.xml

配置HDFS文件默认系统主节点和端口

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop:8020</value>
	</property>
</configuration>

配置 hdfs-site.xml

因为是单节点,所以要调整副本系数

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

还需要配置 hadoop.tmp.dir 临时目录放在我们 /home/hadop/app/tmp 下

<property>
 <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/app/tmp</value>
 </property>

配置datanode机器地址

vim  slaves   填入  hadoop

配置hadoop到环境变量

vim ~/.bash_profile
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.15.1
export PATH=$HADOOP_HOME/bin:$PATH

启动 hdfs

第一次执行的时候一定要格式化 hdfs 文件系统。

hdfs namenode -format

正式启动 到 hadoop/sbin目录下面

./start-dfs.sh

浏览器查看 http://192.168.1.100:50070/dfshealth.html#tab-overview

停止 hdfs

./stop-dfs.sh 

单独启动

hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
hadoop-daemon.sh start secondarynamenode

标题:单节点安装cdh版 hdfs hive
作者:gwyy
地址:https://liangtian.me/hadoop1
微信公众号:胡说代码

添加新评论