1.什么是HA
2.HA的实现场景
3.配置HA环境
1.理解HA的机制
2.掌握HA环境的配置流程
在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个群集都有一个NameNode,如果该机器或进程不可用,整个群集将不可用,直到NameNode重新启动或在单独的计算机上启动为止。这在两个主要方面影响了HDFS集群的总体可用性:
HDFS高可用性功能通过提供在具有热备用的主动/被动配置中的同一群集中运行两个(以及3.0.0多于两个)冗余NameNode的选项来解决上述问题。这允许在计算机崩溃的情况下快速故障转移到新的NameNode,或者为计划维护目的而进行正常的管理员启动的故障转移。
hadoop-HA集群运作机制介绍
所谓HA,即高可用(7*24小时不中断服务)(secondarynamenode只是保证了“可靠性”)实现高可用最关键的是消除单点故障,hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。
HDFS的HA机制详解
通过双namenode消除单点故障,双namenode协调工作的要点:
创建7台机器,设置静态ip分别如下:
| 机器名 | ip |
| ----------------------------- | -------------- |
| CentOs6.4_min_java_hadoop_ha1 | 192.168.18.171 |
| CentOs6.4_min_java_hadoop_ha2 | 192.168.18.172 |
| CentOs6.4_min_java_hadoop_ha3 | 192.168.18.173 |
| CentOs6.4_min_java_hadoop_ha4 | 192.168.18.174 |
| CentOs6.4_min_java_hadoop_ha5 | 192.168.18.175 |
| CentOs6.4_min_java_hadoop_ha6 | 192.168.18.176 |
| CentOs6.4_min_java_hadoop_ha7 | 192.168.18.177 |
设置每台机器的hostname
vi /etc/sysconfig/network #编辑network文件,修改内容如下
NETWORKING=yes
HOSTNAME=ha1
#分别在7台机器上执行上述命令,使得各台机器的hostname对应关系如下:
| 机器名 | hostname |
| ----------------------------- | -------- |
| CentOs6.4_min_java_hadoop_ha1 | ha1 |
| CentOs6.4_min_java_hadoop_ha2 | ha2 |
| CentOs6.4_min_java_hadoop_ha3 | ha3 |
| CentOs6.4_min_java_hadoop_ha4 | ha4 |
| CentOs6.4_min_java_hadoop_ha5 | ha5 |
| CentOs6.4_min_java_hadoop_ha6 | ha6 |
| CentOs6.4_min_java_hadoop_ha7 | ha7 |
修改各个机器的主机名和ip的映射(修改每台机器的hosts文件)
vi /etc/hosts #为hosts文件添加如下内容
192.168.18.171 ha1
192.168.18.172 ha2
192.168.18.173 ha3
192.168.18.174 ha4
192.168.18.175 ha5
192.168.18.176 ha6
192.168.18.177 ha7
为每台机器创建一个名为hadoop的用户
useradd hadoop #添加hadoop用户
passwd hadoop #给hadoop用户 设置密码
为每台机器的hadoop用户配置sudo权限
vi /etc/sudoers #使用root用户编辑 添加如下内容:
hadoop ALL=(ALL) ALL
关闭每台机器的防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
每台机器安装JDK
#创建文件夹
mkdir /home/hadoop/develop_env
#解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/develop_env
vim /etc/profile #将java添加到环境变量中在文件最后添加
export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_65
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
主机名 | 安装的软件 | 运行的进程 |
---|---|---|
ha1 | hadoop | NameNode、DFSZKFailoverController(zkfc) |
ha2 | hadoop | NameNode、DFSZKFailoverController(zkfc) |
Ha3 | hadoop | ResourceManager |
Ha4 | hadoop | ResourceManager |
Ha5 | hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
Ha6 | hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
Ha7 | hadoop、zookeeper | DataNode、NodeManager、JournalNode、QuorumPeerMain |
1.在hadoop2.0中通常由两个NameNode组成,一个处于active状态(激活状态),另一个处于standby状态(后备状态)。ActiveNameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。
hadoop2.0官方提供了两种HDFS HA的解决方案,一种是NFS,另一种是QJM。这里我们使用简单的QJM。在该方案中,主备NameNode之间通过一组JournalNode(jounal 日志)同步元数据信息,一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode
这里还配置了一个zookeeper集群,用于ZKFC(DFSZKFailoverController)故障转移,当ActiveNameNode挂掉了,会自动切换Standby NameNode为standby状态
2.hadoop-2.2.0中依然存在一个问题,就是ResourceManager只有一个,存在单点故障,hadoop-2.4.1解决了这个问题,有两个ResourceManager,一个是Active,一个是Standby,状态由zookeeper进行协调
安装步骤
安装配置zooekeeper集群(在ha5上)(更详细zookeeper安装步骤参见zookeeper安装)
1.1解压
#上传zookeeper-3.4.7.tar.gz到/home/hadoop/develop_env
tar -zxvf zookeeper-3.
文章浏览阅读3.4k次,点赞4次,收藏40次。第一章 大数据概述1.1 进入大数据时代的原因第三次信息化浪潮信息科技为大数据时代提供支撑1)存储设备容量不断增加2)CPU处理能力大幅提升3)网络带宽不断增加数据产生方式的变革促成大数据时代来临1.2 大数据概念:大数据不仅仅是数据的“大量化”,而是包含“快速化”“多样化”和 “价值化”等多重属性1.3 大数据应用大数据关键技术1)大数据处理过程:大数据采集-大数据预处理-大数据存储-大数据分析与挖掘-大数据可视化2)大数据技术体系:数据采集与预处理技术,分布式数据存储技._scribe数据采集
文章浏览阅读1.4k次。sprintf函数可用*号指定字符串的长度 int width = 8; char *buf = new char[width+1]; sprintf(buf, "%0*d", width, 1); cout << buf << endl; delete buf;输出结果:00000001_sprintf 指定宽度
文章浏览阅读291次。JEECG - 基于代码生成器的J2EE智能开发框架 续六 JEECG 前台页面和后台交互讲解_easyui代码生成器 java
文章浏览阅读2.3k次。1."属性页的添加:2."List Control中标题栏(Column)的添加:3."ToolBar和StatusBar中控件的添加:4."通过Control创建的控件,对其属性的动态控制:5."窗口的分割与停靠:6. ①怎样在程序开始的时候让它最大化?②vc++做出来的exe文件在窗体的右上方是没有最大化和最小化按钮的,怎样实现这一功能?_mfc status message
文章浏览阅读2.3w次,点赞145次,收藏780次。C++中用构造函数和析构函数来初始化和清理对象,这两个函数将会被编译器自动调用。对象的初始化和清理是非常重要的,如果我们不提供构造函数与析构函数,编译器会自动提供两个函数的空实现。............_c构造函数和析构函数
文章浏览阅读282次。C++11开始支持多线程编程,之前多线程编程都需要系统的支持,在不同的系统下创建线程需要不同的API如pthread_create(),Createthread(),beginthread()等,使用起来都比较复杂,C++11提供了新头文件、、、等用于支持多线程。使用C++11开启一个线程是比较简单的,下面来看一个简单的例子:#include #include_c11多线程打印abc十次
文章浏览阅读128次。1.上下两个div在ie6下有间距,但在ie7下正常,如何修正? overflow:hidden 两个DIV的样式加上这个overflow:hidden,或者上面的DIV加上这个 2.ie6下png图片和png背景透明 参考资料:http://mynee.blogbus.com/logs/24109302.html 3.区别不同浏览器,CSS hack写法: ..._ie6需要哪个版本.net framework
文章浏览阅读9.9k次,点赞16次,收藏71次。expected_conditions是Selenium的一个模块,selenium.webdriver.support.expected_conditions,可以对网页上元素是否存在,可点击等等进行判断,一般用于断言或与WebDriverWait配合使用。上一次介绍WebDriverWait的时候就曾经提过,WebDriverWait中的until()和until_not()中的方法,必须是可..._python selenium expected_conditions
文章浏览阅读1k次。Chrome 控制台console的用法大家都有用过各种类型的浏览器,每种浏览器都有自己的特色,本人拙见,在我用过的浏览器当中,我是最喜欢Chrome的,因为它对于调试脚本及前端设计调试都有它比其它浏览器有过之而无不及的地方。可能大家对console.log会有一定的了解,心里难免会想调试的时候用alert不就行了,干嘛还要用console.log这么一长串的字符串来替代alert输出_谷歌浏览器console下面如何查找
文章浏览阅读4k次。**问题:**移动端web使用了input type=file点击却无法打开文件选择器(vue),找了好一会才找到问题所在,原因是在input的上级元素上的事件上添加了阻止默认事件。去掉之后就可以打开了。_html 的input 在夸克浏览器中无法使用选择文件
文章浏览阅读5.7k次,点赞3次,收藏23次。Command结构 意图 将一个请求封装为一个对象,从而使你可用不同的请求对客户进行参数化;对请求排队或记录请求日志,以及支持可撤消的操作。适用性 1、抽象出待执行的动作以参数化某对象,你可用过程语言中的回调(c a l l b a c k )函数表达这种参数化机制。所谓回调函数是指函数先在某处注册,而它将在稍后某个需要的时候被调用。C o m m a n d 模式是回调机制的一个面向对象的替_c++中撤销和恢复的设计逻辑
文章浏览阅读1.2w次,点赞11次,收藏128次。核心网络技术总结(三)EPC网络原理EPC网络结构及功能EPC网络中存在着以下几个网元:eNodeB、MME、HSS、PCRF、SGW、PGW我们可以拿坐火车的过程进行类比,我们把数据比作乘客,那么eNodeB就相当于火车站,数据从eNodeB上车。MME和HSS就相当于火车站的播报员和管理员,他们告诉你在哪个候车厅上车、车去哪里。当你知道去哪里候车后,要通过SGW上车,SGW就相当于检票口,过了这个口数据就从用户端到达了PDN端,相当于上了火车通过这里前往别的省份, PDN将带领你前_epc网络架构图