技术标签: hadoop2.2.0 hadoop centos6.4 centos
1)设置环境变量。在 ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh 中,添加 JAVA 安装目录,注意路径要改成自己jdk所在的路径,命令如下:export JAVA_HOME=/usr/local/jdk修改 conf 目录下的 mapred-site.xml、core-site.xml、yarn-site.xml 和 hdfs-site.xml 四个文件,在 <configuration> 与 </configuration> 之间添加的内容见下面的介绍。2)在 ${HADOOP_HOME}/etc/hadoop/ 下, 将 mapred-site.xml.templat 重命名成 mapred-site.xml(与hadoop1不同的地方),并添加以下内容:<property><name>mapreduce.framework.name</name><value>yarn</value></property>【解释】相比于 Hadoop1.0,用户无须再配置 mapred.job.tracker,这是因为 JobTracker相关实现已变成客户端的一个库(实际上在 Hadoop 2.0 中,JobTracker 已经不存在,它的功能由另外一个称为 MRAppMaster 的组件实现),它可能被随机调度到任何一个 slave 上,也就是它的位置是动态生成的。需要注意的是,在该配置文件中需用 mapreduce.framework.name 指定采用的运行时框架的名称,在此指定“yarn”。3)在 ${HADOOP_HOME}/etc/hadoop/ 中,修改 core-site.xml,为了简单,我们仍采用 Hadoop 1.0 中的 HDFS 工作模式(不配置 HDFS Federation), 修改后如下,其中要填自己的hostname,而端口好像不是确定的,待研究:<property><name>fs.default.name</name><value>hdfs://hostname: 8020</value></property>其中,YARN001 表示节点的 IP 或者 host。4)在 ${HADOOP_HOME}/etc/hadoop/ 中,修改 yarn-site.xml,修改后如下:<property><name>yarn.nodemanager.aux-services</name><value>mapreduce-shuffle</value></property>【解释】为了能够运行 MapReduce 程序,需要让各个 NodeManager 在启动时加载shuffle server,shuffle server 实际上是 Jetty/Netty Server,Reduce Task 通过该 server 从各个NodeManager 上远程复制 Map Task 产生的中间结果。上面增加的两个配置均用于指定 shuffleserver。5)修改 ${HADCOP_HOME}/etc/hadoop 中的 hdfs-site.xml 文件:<property><name>dfs.replication</name><value>1</value></property>【解释】默认情况下,HDFS 数据块副本数是 3,而在集群规模小于 3 的集群中该参数会导致出现错误,这可通过将 dfs.replication 调整为 1 解决。注意 如果你是在虚拟机中搭建 Hadoop 环境,且虚拟机经常关闭与重启,为了避免每次重新虚拟机后启动 Hadoop 时出现各种问题,建议在 core-site.xml 中将 hadoop.tmp.dir 属性设置为一个非 /tmp 目录,比如 /data 或者 /home/dongxicheng/data(注意该目录对当前用户需具有读写权限)。 我没有改注意 修改slaves文件,把node节点的机器名添加进去,如下图:
2.8.5启动 Hadoop。
在 Hadoop 安装目录中,按以下三步操作启动 Hadoop,我们单步启动每一个服务,以
便于排查错误,如果某一个服务没有启动成功,可查看对应的日志查看启动失败原因。
1) 格式化 HDFS,命令如下:
bin/hadoop namenode -format
2)启动 HDFS。你可以使用以下命令分别启动 NameNode 和 DataNode:
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
如果有多个 DataNode,可使用 hadoop-daemons.sh 启动所有 DataNode,具体命令如下:
sbin/hadoop-daemons.sh start datanode
你也可以使用以下命令一次性启动 NameNode 和所有 DataNode:
sbin/ start-dfs.sh
3)启动 YARN。你可以使用以下命令分别启动 ResourceManager 和 NodeManager:
sbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start nodemanager
如果有多个 NodeManager,可使用 yarn-daemon.sh 启动所有 NodeManager,具体命令如下:
sbin/yarn-daemon.sh start nodemanager
你也可以使用以下命令一次性启动 ResourceManager 和所有 NodeManager:
sbin/start-yarn.sh
通过如下 jps 命令查看是否启动成功:
dong@YARN001:/opt/hadoop/hadoop-2.0$ jps
27577 NameNode
30315 ResourceManager
27924 SecondaryNameNode
16803 NodeManager
可以在NameNode机器上面执行:hdfs dfsadmin -report 查看下DataNode是否连上NameNode:hdfs dfsadmin -report
如上图,就说明搭建成功了。如果jps看两台机器没问题,但是这里面Datanodes是0的话,说明DataNode没能连上,可以从它们各自的logs目录下看到日志文件。一般出现这个情况,都是操作系统环境的问题,防火墙没关,或者hosts文件设置不对。
文章浏览阅读827次。转自:http://www.wowotech.net/pm_subsystem/rpm_overview.html1. Runtime PM的软件框架 RPM的代码在“drivers/base/power/runtime.c”中,软件框架如下: device driver(或者driver所在的bus、class等)需要提供3个回调函数,runtime_suspend、_rpm的child_count
文章浏览阅读9.7k次。Clone an Element Using jQuery除了移动元素,你还可以拷贝元素。简单理解:移动元素就是剪切,拷贝元素就是复制。jQuery的clone()方法可以拷贝元素。比如,如果我想把target2从left-well拷贝到right-well,我们可以这样写:$("#target2").clone().appendTo("#right-well");你有没有发现两个jQuery方法..._jquery element clone
文章浏览阅读157次。10.1 枚举类的使用 主要内容: 如何自定义枚举类 如何使用关键字enum定义枚举类 Enum类的主要方法 实现接口的枚举类10.1.1 枚举类的使用:入门 类的对象只有有限个,确定的。举例如下: 星期:Monday(星期一)、......、Sunday(星期天) 性别:Man(男)、Woman(女) 季节:Spring(春节)......Winter(冬天) 支付方式:Cash(现金)、WeChatPay(微信)、Alipay(_编写一个person类,使用override注解它的tostring方法
文章浏览阅读9.2k次,点赞3次,收藏17次。零. 概述本文章主要讲下蓝牙RFCOMM协议(bluetooth rfcomm)的概念以及在整个蓝牙协议栈中的起的作用一. 声明本专栏文章我们会以连载的方式持续更新,本专栏计划更新内容如下:第一篇:蓝牙综合介绍 ,主要介绍蓝牙的一些概念,产生背景,发展轨迹,市面蓝牙介绍,以及蓝牙开发板介绍。第二篇:Transport层介绍,主要介绍蓝牙协议栈跟蓝牙芯片之前的硬件传输协议,比如基于UART的H4,H5,BCSP,基于USB的H2等第三篇:传统蓝牙controller介绍,主要介绍传_rfcomm
文章浏览阅读6w次,点赞7次,收藏53次。呆瓜半小时入门python数据分析(博主录制)方法一:直接del df['column-name']删除sub_grade_列,输入del df['sub_grade_x']方法二:采用drop方法,有下面三种等价的表达式:1. df= df.drop('column_name', 1)输入:df,drop('num',axix=1),不改变内存,及输入df的时候,它还是显示原数据2. df.d..._pandas drop列
文章浏览阅读1.7k次。确实是12306的最核心代码呀alert("当前访问用户过多,请稍后重试!");确实牛public class Test{static{System.out.println("hello world!");System.exit(0);}}这代码style逆袭了public class ZuiNiu{public static void main(String[] args){System.out..._java好用的代码
文章浏览阅读49次。1. 组合数取出数组中的组合数import itertoolsprint list(itertools.combinations([1, 2, 3, 4, 5], 2))>>> [(1, 2), (1, 3), (1, 4), (1, 5), (2, 3), (2, 4), (2, 5), (3, 4), (3, 5), (4, 5)]
文章浏览阅读1.8w次,点赞30次,收藏44次。1.将from skimage.measure import compare_ssim替换成 from skimage import measure2.将compare_ssim()替换成measure.compare_ssim()_cannot import name 'compare_ssim' from 'skimage.measure
文章浏览阅读151次。MyBatus学习-3再经过MyBatis的Helloworld程序学习,我们知道Mapper的配置文件就是MyBatis的核心,也是他的魅力所在,魔法之源,至尊奥义。接下来我们先去补全我们的增删改查操作,在EmployeeMappper接口中添加剩下的三个方法: public boolean addEmp(Employee employee); public void upd..._@mapper 取别名
文章浏览阅读2.6k次。什么是二分法?定义:对于区间 【a , b】上连续的,且 f ( a ) - f ( b ) < 0="" 的函数="" y="f" (="" x="" )="" ,通过不断地把函数="" f="" (="" x="" )="">怎么用二分法求函数的零点的近似值?用二分法求函数零点的近似值步骤如下:第一步:确定区间 【a , b】,验证:f(a)·f(b)<0,给定精确度;第二步:求区..._二分法求函数零点matlab
文章浏览阅读123次。操作之前确认集群状态都正常1、替换OCR# ./ocrconfig -replace ocrmirror /dev/rhdisk11# ./ocrcheckStatus of Oracle Cluster Registry is as follows : Version : 2 Total s..._oracle 10g rac替换ocr
文章浏览阅读456次。【OpenCV】颜色识别实例(瓶盖) 原创 ..._csdn颜色识别