oozie就是一个workflow协调系统,主要用来管理Hadoop作业(job)。属于web应用程序,由oozie client和oozie server两个组件构成。oozie server运行于java servlet容器(tomcat)中的web程序。由于使用HUE需要oozie的支持,所以先介绍oozie的安装配置,后续增加HUE的安装配置文档。
1、环境介绍
前期已配置好Hadoop集群服务。如下图所示:
2、源代码编译
这里下载的是源代码软件包,需要重新编译。
2.1 更改java版本
[hadoop@hdp01 u01]$ wget https://mirrors.cnnic.cn/apache/oozie/4.3.0/oozie-4.3.0.tar.gz
[hadoop@hdp01 u01]$ tar -xzf oozie-4.3.0.tar.gz;mv oozie-4.3.0 oozie
[hadoop@hdp01 u01]$ cd oozie
[hadoop@hdp01 oozie]$ vi pom.xml --将文件里的targetJavaVersion版本改为1.8
2.2 更改hadoop版本
将hadooplibs下的hadoop-auth-2、hadoop-distcp-2、hadoop-utils-2中的pom.xml里对应的hadoop版本改成系统当前运行的版本2.7.4。
2.3 编译
此编译过程中,需要下载大量的依赖包,比较耗时。我这里网速还好,前后一共用了1小时左右编译完成。
[hadoop@hdp01 ~]$ cd /u01/oozie
[hadoop@hdp01 oozie]$ bin/mkdistro.sh -DskipTests -Dhadoop.version=2.7.4
编译成功后,会在/u01/oozie/distro/target目录下生成二进制软件包。如下图所示:
3、安装配置
3.1 安装
这里还是安装在/u01下,将之前的oozie文件夹已迁移到其他目录。
[hadoop@hdp01 ~]$ cd /u01;tar -xzf /u01/oozie/distro/target/oozie-4.3.0-distro.tar.gz
[hadoop@hdp01 u01]$ mv oozie-4.3.0 oozie;cd oozie
编辑oozie-site.xml文件,加入以下内容:
oozie.service.HadoopAccessorService.hadoop.configurations=*=/u01/hadoop/etc/hadoop
oozie.service.WorkflowAppService.system.libpath=hdfs://192.168.120.96:9000/user/hadoop/share/lib
oozie.service.ProxyUserService.proxyuser.#USER#.
oozie.service.ProxyUserService.proxyuser.#USER#.groups
将以上的#USER#替换为运行oozie服务的系统用户。这里为hadoop,如下图所示:
3.2 ExtJS library
Oozie的web控制需要一个ExtJS库,而且还需要hadoop的相关库文件,所以需要将hadoop的相关jar文件复制到libext,并下载 js库 :ext-2.2.zip。oozie server默认使用tomcat 6.0.41,而hadoop也有内置的server,如果按照上面两个命令把hadoop依赖的jar包都拷贝过去,有可能出现冲突,这两个server使用的servlet、jsp版本很可能不一样。所以需要删除libext下的以下jar包(我这里只找到jsp-api一个库):
[hadoop@hdp01 oozie]$ mkdir libext
[hadoop@hdp01 oozie]$ cd libext/
[hadoop@hdp01 libext]$ wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
[hadoop@hdp01 libext]$ cp /u01/hive/lib/mysql-connector-java-5.1.44-bin.jar .
[hadoop@hdp01 libext]$ cp /u01/hadoop/share/hadoop/*/*.jar .
[hadoop@hdp01 libext]$ cp /u01/hadoop/share/hadoop/*/lib/*.jar .
[hadoop@hdp01 libext]$ rm -rf jsp-api-2.1.jar
oozie Server还需要依赖数据库,会把元数据和一些流程信息数据存储在数据库中。这里也一并将mysql的驱动包加进去,方便后续使用MySQL数据库。
3.3 打包库文件
[hadoop@hdp01 ~]$ oozie-setup.sh prepare-war
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
……..
New Oozie WAR file with added 'ExtJS library, JARs' at /u01/oozie/oozie-server/webapps/oozie.war
INFO: Oozie is ready to be started
3.4 创建库文件路径
这里直接在hdfs上创建存放库文件的路径:
[hadoop@hdp01 ~]$ oozie-setup.sh sharelib create -fs hdfs://hdp01:9000
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
……
the destination path for sharelib is: /user/hadoop/share/lib/lib_20171214123559
3.5 创建oozie元数据库
默认情况下,oozie使用的是嵌入式数据库Derby存放元数据等信息。
[hadoop@hdp01 ~]$ oozie-setup.sh db create -run
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Validate DB Connection
DONE
DB schema does not exist
Check OOZIE_SYS table does not exist
DONE
Create SQL schema
DONE
Create OOZIE_SYS table
DONE
Oozie DB has been created for Oozie version '4.3.0'
The SQL commands have been written to: /tmp/ooziedb-8084517656754581469.sql
3.6 启动oozie
[hadoop@hdp01 ~]$ oozied.sh start
Setting OOZIE_HOME: /u01/oozie
Setting OOZIE_CONFIG: /u01/oozie/conf
Sourcing: /u01/oozie/conf/oozie-env.sh
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Setting OOZIE_CONFIG_FILE: oozie-site.xml
Setting OOZIE_DATA: /u01/oozie/data
Setting OOZIE_LOG: /u01/oozie/logs
Setting OOZIE_LOG4J_FILE: oozie-log4j.properties
Setting OOZIE_LOG4J_RELOAD: 10
Setting OOZIE_HTTP_HOSTNAME: hdp01
Setting OOZIE_HTTP_PORT: 11000
Setting OOZIE_ADMIN_PORT: 11001
Setting OOZIE_HTTPS_PORT: 11443
Setting OOZIE_BASE_URL: http://hdp01:11000/oozie
Setting CATALINA_BASE: /u01/oozie/oozie-server
Setting OOZIE_HTTPS_KEYSTORE_FILE: /home/hadoop/.keystore
Setting OOZIE_HTTPS_KEYSTORE_PASS: password
Setting OOZIE_INSTANCE_ID: hdp01
Setting CATALINA_OUT: /u01/oozie/logs/catalina.out
Setting CATALINA_PID: /u01/oozie/oozie-server/temp/oozie.pid
Using CATALINA_OPTS: -Xmx1024m -Dderby.stream.error.file=/u01/oozie/logs/derby.log
Adding to CATALINA_OPTS: -Doozie.home.dir=/u01/oozie -Doozie.config.dir=/u01/oozie/conf -Doozie.log.dir=/u01/oozie/logs -Doozie.data.dir=/u01/oozie/data -Doozie.instance.id=hdp01 -Doozie.config.file=oozie-site.xml -Doozie.log4j.file=oozie-log4j.properties -Doozie.log4j.reload=10 -Doozie.http.hostname=hdp01 -Doozie.admin.port=11001 -Doozie.http.port=11000 -Doozie.https.port=11443 -Doozie.base.url=http://hdp01:11000/oozie -Doozie.https.keystore.file=/home/hadoop/.keystore -Doozie.https.keystore.pass=password -Djava.library.path=
Setting up oozie DB
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Validate DB Connection
DONE
DB schema exists
The SQL commands have been written to: /tmp/ooziedb-4054281256507508551.sql
Using CATALINA_BASE: /u01/oozie/oozie-server
Using CATALINA_HOME: /u01/oozie/oozie-server
Using CATALINA_TMPDIR: /u01/oozie/oozie-server/temp
Using JRE_HOME: /usr/java/jdk1.8.0_152
Using CLASSPATH: /u01/oozie/oozie-server/bin/bootstrap.jar
Using CATALINA_PID: /u01/oozie/oozie-server/temp/oozie.pid
3.7 验证
[hadoop@hdp01 ~]$ oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL
上述命令返回NORMAL说明系统正常启动。
4、MySQL DataStore for Oozie
这里使用的是远程MySQL数据库。
4.1 创建数据库
mysql> create database oozie;
mysql> create user oozie identified by "abcABC@12";
mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by "abcABC@12";
mysql> flush privileges;
4.2 编辑oozie-site.xml文件,加入以下内容:
oozie.service.JPAService.create.db.schema=false
oozie.service.JPAService.jdbc.driver=com.mysql.jdbc.Driver
oozie.service.JPAService.jdbc.url=jdbc:mysql://mydb01:3306/oozie?useSSL=false
oozie.service.JPAService.jdbc.username=oozie
oozie.service.JPAService.jdbc.password=abcABC@12
oozie.service.HadoopAccessorService.hadoop.configurations=*=/u01/hadoop/etc/hadoop
oozie.service.WorkflowAppService.system.libpath=hdfs://192.168.120.96:9000/user/hadoop/share/lib
4.3 启动oozie
[hadoop@hdp01 ~]$ oozie-start.sh
WARN: Use of this script is deprecated; use 'oozied.sh start' instead
Setting OOZIE_HOME: /u01/oozie
Setting OOZIE_CONFIG: /u01/oozie/conf
Sourcing: /u01/oozie/conf/oozie-env.sh
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Setting OOZIE_CONFIG_FILE: oozie-site.xml
Setting OOZIE_DATA: /u01/oozie/data
Setting OOZIE_LOG: /u01/oozie/logs
Setting OOZIE_LOG4J_FILE: oozie-log4j.properties
Setting OOZIE_LOG4J_RELOAD: 10
Setting OOZIE_HTTP_HOSTNAME: hdp01
Setting OOZIE_HTTP_PORT: 11000
Setting OOZIE_ADMIN_PORT: 11001
Setting OOZIE_HTTPS_PORT: 11443
Setting OOZIE_BASE_URL: http://hdp01:11000/oozie
Setting CATALINA_BASE: /u01/oozie/oozie-server
Setting OOZIE_HTTPS_KEYSTORE_FILE: /home/hadoop/.keystore
Setting OOZIE_HTTPS_KEYSTORE_PASS: password
Setting OOZIE_INSTANCE_ID: hdp01
Setting CATALINA_OUT: /u01/oozie/logs/catalina.out
Setting CATALINA_PID: /u01/oozie/oozie-server/temp/oozie.pid
Using CATALINA_OPTS: -Xmx1024m -Dderby.stream.error.file=/u01/oozie/logs/derby.log
Adding to CATALINA_OPTS: -Doozie.home.dir=/u01/oozie -Doozie.config.dir=/u01/oozie/conf -Doozie.log.dir=/u01/oozie/logs -Doozie.data.dir=/u01/oozie/data -Doozie.instance.id=hdp01 -Doozie.config.file=oozie-site.xml -Doozie.log4j.file=oozie-log4j.properties -Doozie.log4j.reload=10 -Doozie.http.hostname=hdp01 -Doozie.admin.port=11001 -Doozie.http.port=11000 -Doozie.https.port=11443 -Doozie.base.url=http://hdp01:11000/oozie -Doozie.https.keystore.file=/home/hadoop/.keystore -Doozie.https.keystore.pass=password -Djava.library.path=
Setting up oozie DB
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Validate DB Connection
DONE
DB schema exists
The SQL commands have been written to: /tmp/ooziedb-1436191594180946798.sql
Using CATALINA_BASE: /u01/oozie/oozie-server
Using CATALINA_HOME: /u01/oozie/oozie-server
Using CATALINA_TMPDIR: /u01/oozie/oozie-server/temp
Using JRE_HOME: /usr/java/jdk1.8.0_152
Using CLASSPATH: /u01/oozie/oozie-server/bin/bootstrap.jar
Using CATALINA_PID: /u01/oozie/oozie-server/temp/oozie.pid
[hadoop@hdp01 ~]$ oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL
文章浏览阅读2k次,点赞5次,收藏24次。【STM32学习笔记】目录I2C 初始化结构体详解 /* I2C 初始化结构体 */ typedef struct { uint32_t I2C_ClockSpeed; // 设置SCL 时钟频率,此值要低于400000 uint16_t I2C_Mode; // 指定工作模式,可选 I2C 模式及 SMBUS 模式 uint16_t I2C_DutyCycle; // 指定时钟占空比,可选 low/high = 2_i2c_mode_i2c
文章浏览阅读1.6k次。错误截图解决方法在ListView下 加个 enableEmptySections = {true} 就可以解决了_rn in this release you can use 'enableemptysections' flag to render empty se
文章浏览阅读474次。网页设计中最大的混淆之一是由font-size属性引起的。最常用的字体大小是像素(px),em和rem。首先,我们将重点关注字体大小属性。在CSS中,可以使用多个单元(例如像素,em和rem),这通常会导致设计人员额外头痛。在本文中,我们将详细介绍这些单位的用法和任何误解。PX单位最常见和最受欢迎的单位是像素(px)。大多数人开始使用像素(px)单元,因为它使您可以完全控制文本大小。如果未指定字体..._字号 em
文章浏览阅读4.6k次,点赞3次,收藏15次。PYTHON解决RSA私钥加密公钥解密的方法。_typeerror: this is not a private key
文章浏览阅读2.1k次。Qt实现一个简单的编译器(软件生成器)本文章只记录如何用Qt实现一个简单编译器,即点击本软件中的按钮便可在另一目录中生成一个新的软件(与本软件不冲突)。文章目录Qt实现一个简单的编译器(软件生成器)前言一、命令行执行Qt程序1.使用Qt for Desktop MinGW 7.3.0 64-bit1.先指定项目目录2.生成makefile文件3.编译程序4.为生成的exe文件生成所依赖的dll5.双击.exe文件,验证结果2.直接使用CMD执行程序1.将刚才找到的qtenv2.bat复制到目录下_qt能直接生成程序吗
文章浏览阅读4.4k次,点赞2次,收藏12次。 在做公司的一个国外项目的时候,需要用到google的三方快捷登录,中间碰到了一些坑,在此Mark一下,如果有同样的问题的小伙伴看到可以少走些弯路,给自己也总结下开发过程。前提是:需要科学上网点击进入谷歌的官方文档,基本上google三方登录的流程条件都在里面了,需要耐心的顺流程1.我按我自己的顺序一点点写吧,找到 https://console.firebase.google.co..._android google三方登录需要使用google服务吗
文章浏览阅读3k次,点赞2次,收藏3次。添加的脚本使用了jquery语法,需要引用jquery调用在线的jquery<script src="http://code.jquery.com/jquery-latest.js"></script>_$(document).ready(function() is not defined
文章浏览阅读1.5k次,点赞3次,收藏3次。用三国人物刘关张和诸葛亮的关系来类比一下APN三个兄弟和三种loss 标准_online triplet loss
文章浏览阅读645次。作为一种轻量级的数据交换格式,json正在逐步取代xml,成为网络数据的通用格式。有的json代码格式比较混乱,可以使用此“http://www.bejson.com/”网站来进行JSON格式化校验(点击打开链接)。此网站不仅可以检测Json代码中的错误,而且可以以视图形式显示json中的数据内容,很是方便。从IOS5开始,APPLE提供了对json的原生支持(NSJSONSe
文章浏览阅读386次。凌云时刻 ·技术导读:这一节来看看如何使用Java编写Kafka Consumer。作者 | 计缘来源 |凌云时刻(微信号:linuxpk)Java Consumer首先创建Cons..._2023-09-14 20:46:55,248 info org.apache.kafka.clients.consumer.internals.abs
文章浏览阅读1.2w次,点赞2次,收藏2次。概述字面值XML中的特殊符号的处理5个特殊符号特殊符号的处理方式关于注入值空格的处理引用其他Bean实例ref元素的3个属性引用父容器中的Bean实例内部Beannull值级联属性概述在Spring配置文件中,不但可以将String、int等字面值注入bean中,还可以将集合、map等类型的数据注入Bean中, 此外还可以注入配置文件中其他定义的Bean.字面值所谓字面值一般_spring 注入bean 有引用其他类
文章浏览阅读781次。What are you doing at the end of the world? Are you busy? Will you save us?Nephren is playing a game with little leprechauns.She gives them an infinite array of strings, f0... ∞.f0 is "W_code_9qlt7