hadoop2.2.0集群搭建 centos6.4 32位_dfs2222.cop-程序员宅基地

技术标签: hadoop2.2.0  hadoop  centos6.4  centos  

centos6.4 32位 hadoop2.2.0 搭建
参考传智播客hadoop1.0的视频以及《Hadoop 技术内幕深入解析 YARN 架构设计与实现原理》中的配置和 网友帖子

环境:VMware 10,jdk:jdk-6u24-linux-i586 centos6.4 32位  hadoop2.2.0

在搭建的过程中遇到很多问题
1.SSH免登陆,参考传智播客的视频做SSH还是不能免登陆,最后不得已,只得将没有问题的CentOS克隆了过来,这个问题才算解决
2.hadoop2.2.0与hadoop1.x的配置区别很大,有很多地方不能完全按hadoop1.x去配置

一共有2个节点
namenode 192.168.126.101  主机名:hadoop
datanode 192.168.126.102    主机名:slave1



 
2.hadoop的安装步骤
    使用root用户登录
 2.1设置静态ip
           在centos桌面右上角的图标上,右键修改。
           重启网卡,执行命令service network restart
           验证:执行命令ifconfig
  2.2修改主机名,方便操作 而且主机名比ip名稳定,换ip不换主机名   Linux上vi(vim)编辑器使用教程
       执行命令 vi /etc/sysconfig/network 将hostname改为hadoop(192.168.126.101上),                                   slave1(192.168.126.102上)
  2.3将主机名和ip绑定  vi /etc/hosts    添加192.168.126.101 ,192.168.126.102
     
    验证 ping hadoop    ctrl+z可以退出ping       重启命令reboot -h now
  2.4关闭防火墙 hadoop端口的原因  不安全?
        service iptables stop
       验证 service iptables status 

  2.5关闭防火墙自动运行
      chkconfig --list |grep iptables   查看iptables服务是否关闭
        
        有打开的
        关闭iptables服务
        
 2.6 SSH(secure shell)的免密码登录 远程连接 安全
      2.6.1 执行命令ssh-keygen -t rsa 产生秘钥,在~/.ssh文件中执行该命令,只需一直回车就可以
      
      2.6.2 执行命令cp id_rsa.pub authorized_keys  即将公钥复制到对方电脑authorized_keys, 必须在.ssh文件夹下执行
             验证ssh localhost
 2.7安装jdk
      2.7.1执行命令rm -rt /usr/local/* 删除所有内容
      2.7.2使用winscp把jdk文件从windows复制到/usr/local目录下
      2.7.3赋予执行权限 chmod u+x jdk-6u42-linux-i586.bin
      2.7.4执行命令 ./jdk-6u42-linux-i586.bin 解压
      2.7.5重命名 mv jdk1.6.0_24 jdk
      2.7.6设置环境变量 vi /etc/profile 增加两行内容
             export JAVA_HOME=/usr/local/jdk
             export PATH=.:$JAVA_HOME/bin:$PATH
             让该设置立即生效 source /etc/profile
            验证 java -version                                    自动补全命令按tab     
  2.8 
         2.8.1执行命令 tar -zxvf hadoop-2.2.0.tar.gz 进行解压缩  
         2.8.2执行命令 mv hadoop-2.2.0 hadoop重命名
         2.8.3设置环境变量 vi /etc/profile 增加
                export HADOOP_HOME =/usr/local/hadoop
                export PATH=.: $HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH   
             这里的配置要注意hadoop2.2.0与hadoop1.x bin目录下的文件有差异
             hadoop2.2.0中的bin目录
                
             hadoop1.x中的bin目录
             
             让该设置立即生效 source /etc/profile
         2.8.4 修改hadoop的配置文件,位于HADOOP_HOME/etc下
1)设置环境变量。在 ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh 中,添加 JAVA 安装目录,注意路径要改成自己jdk所在的路径,命令如下:
export JAVA_HOME=/usr/local/jdk
修改 conf 目录下的 mapred-site.xml、core-site.xml、yarn-site.xml 和 hdfs-site.xml 四个文件,在 <configuration> 与 </configuration> 之间添加的内容见下面的介绍。
2)在 ${HADOOP_HOME}/etc/hadoop/ 下, 将 mapred-site.xml.templat 重命名成 mapred-site.xml(与hadoop1不同的地方),并添加以下内容:
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
【解释】相比于 Hadoop1.0,用户无须再配置 mapred.job.tracker,这是因为 JobTracker
相关实现已变成客户端的一个库(实际上在 Hadoop 2.0 中,JobTracker 已经不存在,它的
功能由另外一个称为 MRAppMaster 的组件实现),它可能被随机调度到任何一个 slave 上,也就是它的位置是动态生成的。需要注意的是,在该配置文件中需用 mapreduce.framework.name 指定采用的运行时框架的名称,在此指定“yarn”。
3)在 ${HADOOP_HOME}/etc/hadoop/ 中,修改 core-site.xml,为了简单,我们仍采
用 Hadoop 1.0 中的 HDFS 工作模式(不配置 HDFS Federation), 修改后如下,其中要填自己的hostname,而端口好像不是确定的,待研究
<property>
  <name>fs.default.name</name>
  <value>hdfs://hostname: 8020</value>
</property>
其中,YARN001 表示节点的 IP 或者 host。
4)在 ${HADOOP_HOME}/etc/hadoop/ 中,修改 yarn-site.xml,修改后如下:
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce-shuffle</value>
</property>
【解释】为了能够运行 MapReduce 程序,需要让各个 NodeManager 在启动时加载
shuffle server,shuffle server 实际上是 Jetty/Netty Server,Reduce Task 通过该 server 从各个NodeManager 上远程复制 Map Task 产生的中间结果。上面增加的两个配置均用于指定 shuffleserver。
5)修改 ${HADCOP_HOME}/etc/hadoop 中的 hdfs-site.xml 文件:
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
【解释】默认情况下,HDFS 数据块副本数是 3,而在集群规模小于 3 的集群中该参数
会导致出现错误,这可通过将 dfs.replication 调整为 1 解决。
注意 如果你是在虚拟机中搭建 Hadoop 环境,且虚拟机经常关闭与重启,为了避免每次重
新虚拟机后启动 Hadoop 时出现各种问题,建议在 core-site.xml 中将 hadoop.tmp.dir 属性设置为一个非 /tmp 目录,比如 /data 或者 /home/dongxicheng/data(注意该目录对当前用户需具有读写权限)。 我没有改
 
注意 修改slaves文件,把node节点的机器名添加进去,如下图:

2.8.5启动 Hadoop。
在 Hadoop 安装目录中,按以下三步操作启动 Hadoop,我们单步启动每一个服务,以
便于排查错误,如果某一个服务没有启动成功,可查看对应的日志查看启动失败原因。
1) 格式化 HDFS,命令如下:
bin/hadoop namenode -format
2)启动 HDFS。你可以使用以下命令分别启动 NameNode 和 DataNode:
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
如果有多个 DataNode,可使用 hadoop-daemons.sh 启动所有 DataNode,具体命令如下:
sbin/hadoop-daemons.sh start datanode
你也可以使用以下命令一次性启动 NameNode 和所有 DataNode:
sbin/ start-dfs.sh
3)启动 YARN。你可以使用以下命令分别启动 ResourceManager 和 NodeManager:
sbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start nodemanager
如果有多个 NodeManager,可使用 yarn-daemon.sh 启动所有 NodeManager,具体命令如下:
sbin/yarn-daemon.sh start nodemanager
你也可以使用以下命令一次性启动 ResourceManager 和所有 NodeManager:
sbin/start-yarn.sh
通过如下 jps 命令查看是否启动成功:
dong@YARN001:/opt/hadoop/hadoop-2.0$ jps
27577 NameNode
30315 ResourceManager
27924 SecondaryNameNode
16803 NodeManager

可以在NameNode机器上面执行:hdfs dfsadmin -report 查看下DataNode是否连上NameNode:
hdfs dfsadmin -report 

如上图,就说明搭建成功了。如果jps看两台机器没问题,但是这里面Datanodes是0的话,说明DataNode没能连上,可以从它们各自的logs目录下看到日志文件。一般出现这个情况,都是操作系统环境的问题,防火墙没关,或者hosts文件设置不对。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/chen820655096/article/details/28901819

智能推荐

Linux电源管理(11)_Runtime PM之功能描述_rpm的child_count-程序员宅基地

文章浏览阅读827次。转自:http://www.wowotech.net/pm_subsystem/rpm_overview.html1. Runtime PM的软件框架 RPM的代码在“drivers/base/power/runtime.c”中,软件框架如下: device driver(或者driver所在的bus、class等)需要提供3个回调函数,runtime_suspend、_rpm的child_count

用jQuery的clone()方法拷贝元素_jquery element clone-程序员宅基地

文章浏览阅读9.7k次。Clone an Element Using jQuery除了移动元素,你还可以拷贝元素。简单理解:移动元素就是剪切,拷贝元素就是复制。jQuery的clone()方法可以拷贝元素。比如,如果我想把target2从left-well拷贝到right-well,我们可以这样写:$("#target2").clone().appendTo("#right-well");你有没有发现两个jQuery方法..._jquery element clone

枚举 注解_编写一个person类,使用override注解它的tostring方法-程序员宅基地

文章浏览阅读157次。10.1 枚举类的使用 主要内容:  如何自定义枚举类  如何使用关键字enum定义枚举类  Enum类的主要方法  实现接口的枚举类10.1.1 枚举类的使用:入门  类的对象只有有限个,确定的。举例如下:  星期:Monday(星期一)、......、Sunday(星期天)  性别:Man(男)、Woman(女)  季节:Spring(春节)......Winter(冬天)  支付方式:Cash(现金)、WeChatPay(微信)、Alipay(_编写一个person类,使用override注解它的tostring方法

传统蓝牙RFCOMM协议概念介绍-Bluetooth rfcomm-程序员宅基地

文章浏览阅读9.2k次,点赞3次,收藏17次。零. 概述本文章主要讲下蓝牙RFCOMM协议(bluetooth rfcomm)的概念以及在整个蓝牙协议栈中的起的作用一. 声明本专栏文章我们会以连载的方式持续更新,本专栏计划更新内容如下:第一篇:蓝牙综合介绍 ,主要介绍蓝牙的一些概念,产生背景,发展轨迹,市面蓝牙介绍,以及蓝牙开发板介绍。第二篇:Transport层介绍,主要介绍蓝牙协议栈跟蓝牙芯片之前的硬件传输协议,比如基于UART的H4,H5,BCSP,基于USB的H2等第三篇:传统蓝牙controller介绍,主要介绍传_rfcomm

python 删除特定列_pandas删除某一列的方法(drop函数)-程序员宅基地

文章浏览阅读6w次,点赞7次,收藏53次。呆瓜半小时入门python数据分析(博主录制)方法一:直接del df['column-name']删除sub_grade_列,输入del df['sub_grade_x']方法二:采用drop方法,有下面三种等价的表达式:1. df= df.drop('column_name', 1)输入:df,drop('num',axix=1),不改变内存,及输入df的时候,它还是显示原数据2. df.d..._pandas drop列

最牛逼的java代码_分享史上java最牛逼,最简短的代码-程序员宅基地

文章浏览阅读1.7k次。确实是12306的最核心代码呀alert("当前访问用户过多,请稍后重试!");确实牛public class Test{static{System.out.println("hello world!");System.exit(0);}}这代码style逆袭了public class ZuiNiu{public static void main(String[] args){System.out..._java好用的代码

随便推点

itertools-程序员宅基地

文章浏览阅读49次。1. 组合数取出数组中的组合数import itertoolsprint list(itertools.combinations([1, 2, 3, 4, 5], 2))>>> [(1, 2), (1, 3), (1, 4), (1, 5), (2, 3), (2, 4), (2, 5), (3, 4), (3, 5), (4, 5)]

cannot import name ‘compare_ssim‘ from ‘skimage.measure‘_cannot import name 'compare_ssim' from 'skimage.me-程序员宅基地

文章浏览阅读1.8w次,点赞30次,收藏44次。1.将from skimage.measure import compare_ssim替换成 from skimage import measure2.将compare_ssim()替换成measure.compare_ssim()_cannot import name 'compare_ssim' from 'skimage.measure

MyBaits学习-3_@mapper 取别名-程序员宅基地

文章浏览阅读151次。MyBatus学习-3再经过MyBatis的Helloworld程序学习,我们知道Mapper的配置文件就是MyBatis的核心,也是他的魅力所在,魔法之源,至尊奥义。接下来我们先去补全我们的增删改查操作,在EmployeeMappper接口中添加剩下的三个方法: public boolean addEmp(Employee employee); public void upd..._@mapper 取别名

matlab如何用二分法求函数零点,如何用二分法求函数的“零点”的近似值-程序员宅基地

文章浏览阅读2.6k次。什么是二分法?定义:对于区间 【a , b】上连续的,且 f ( a ) - f ( b ) < 0="" 的函数="" y="f" (="" x="" )="" ,通过不断地把函数="" f="" (="" x="" )="">怎么用二分法求函数的零点的近似值?用二分法求函数零点的近似值步骤如下:第一步:确定区间 【a , b】,验证:f(a)·f(b)<0,给定精确度;第二步:求区..._二分法求函数零点matlab

Oracle10g RAC在线更换OCR votedisk-程序员宅基地

文章浏览阅读123次。操作之前确认集群状态都正常1、替换OCR# ./ocrconfig -replace ocrmirror /dev/rhdisk11# ./ocrcheckStatus of Oracle Cluster Registry is as follows : Version : 2 Total s..._oracle 10g rac替换ocr

颜色识别_csdn颜色识别-程序员宅基地

文章浏览阅读456次。【OpenCV】颜色识别实例(瓶盖) 原创 ..._csdn颜色识别

推荐文章

热门文章

相关标签