Apache Oozie Installation-程序员宅基地

技术标签: java  数据库  大数据  

oozie就是一个workflow协调系统,主要用来管理Hadoop作业(job)。属于web应用程序,由oozie client和oozie server两个组件构成。oozie server运行于java servlet容器(tomcat)中的web程序。由于使用HUE需要oozie的支持,所以先介绍oozie的安装配置,后续增加HUE的安装配置文档。
1、环境介绍
前期已配置好Hadoop集群服务。如下图所示:
Apache Oozie Installation
2、源代码编译
这里下载的是源代码软件包,需要重新编译。
2.1 更改java版本

[hadoop@hdp01 u01]$ wget https://mirrors.cnnic.cn/apache/oozie/4.3.0/oozie-4.3.0.tar.gz
[hadoop@hdp01 u01]$ tar -xzf oozie-4.3.0.tar.gz;mv oozie-4.3.0 oozie
[hadoop@hdp01 u01]$ cd oozie
[hadoop@hdp01 oozie]$ vi pom.xml         --将文件里的targetJavaVersion版本改为1.8

2.2 更改hadoop版本
将hadooplibs下的hadoop-auth-2、hadoop-distcp-2、hadoop-utils-2中的pom.xml里对应的hadoop版本改成系统当前运行的版本2.7.4。
2.3 编译
此编译过程中,需要下载大量的依赖包,比较耗时。我这里网速还好,前后一共用了1小时左右编译完成。

[hadoop@hdp01 ~]$ cd /u01/oozie
[hadoop@hdp01 oozie]$ bin/mkdistro.sh -DskipTests -Dhadoop.version=2.7.4

编译成功后,会在/u01/oozie/distro/target目录下生成二进制软件包。如下图所示:
Apache Oozie Installation
3、安装配置
3.1 安装
这里还是安装在/u01下,将之前的oozie文件夹已迁移到其他目录。

[hadoop@hdp01 ~]$ cd /u01;tar -xzf /u01/oozie/distro/target/oozie-4.3.0-distro.tar.gz
[hadoop@hdp01 u01]$ mv oozie-4.3.0 oozie;cd oozie

编辑oozie-site.xml文件,加入以下内容:

oozie.service.HadoopAccessorService.hadoop.configurations=*=/u01/hadoop/etc/hadoop
oozie.service.WorkflowAppService.system.libpath=hdfs://192.168.120.96:9000/user/hadoop/share/lib
oozie.service.ProxyUserService.proxyuser.#USER#.
oozie.service.ProxyUserService.proxyuser.#USER#.groups

将以上的#USER#替换为运行oozie服务的系统用户。这里为hadoop,如下图所示:
Apache Oozie Installation
3.2 ExtJS library
Oozie的web控制需要一个ExtJS库,而且还需要hadoop的相关库文件,所以需要将hadoop的相关jar文件复制到libext,并下载 js库 :ext-2.2.zip。oozie server默认使用tomcat 6.0.41,而hadoop也有内置的server,如果按照上面两个命令把hadoop依赖的jar包都拷贝过去,有可能出现冲突,这两个server使用的servlet、jsp版本很可能不一样。所以需要删除libext下的以下jar包(我这里只找到jsp-api一个库):

  • jasper-compiler-5.5.23.jar
  • jasper-runtime-5.5.23.jar
  • jsp-api-2.1.jar
    [hadoop@hdp01 oozie]$ mkdir libext
    [hadoop@hdp01 oozie]$ cd libext/
    [hadoop@hdp01 libext]$ wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
    [hadoop@hdp01 libext]$ cp /u01/hive/lib/mysql-connector-java-5.1.44-bin.jar .
    [hadoop@hdp01 libext]$ cp /u01/hadoop/share/hadoop/*/*.jar .
    [hadoop@hdp01 libext]$ cp /u01/hadoop/share/hadoop/*/lib/*.jar .
    [hadoop@hdp01 libext]$ rm -rf jsp-api-2.1.jar 

    oozie Server还需要依赖数据库,会把元数据和一些流程信息数据存储在数据库中。这里也一并将mysql的驱动包加进去,方便后续使用MySQL数据库。
    3.3 打包库文件

[hadoop@hdp01 ~]$ oozie-setup.sh prepare-war
  setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
……..
New Oozie WAR file with added 'ExtJS library, JARs' at /u01/oozie/oozie-server/webapps/oozie.war

INFO: Oozie is ready to be started

3.4 创建库文件路径
这里直接在hdfs上创建存放库文件的路径:

 [hadoop@hdp01 ~]$ oozie-setup.sh  sharelib  create -fs hdfs://hdp01:9000
  setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
……
the destination path for sharelib is: /user/hadoop/share/lib/lib_20171214123559

3.5 创建oozie元数据库
默认情况下,oozie使用的是嵌入式数据库Derby存放元数据等信息。

[hadoop@hdp01 ~]$ oozie-setup.sh db create -run
  setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Validate DB Connection
DONE
DB schema does not exist
Check OOZIE_SYS table does not exist
DONE
Create SQL schema
DONE
Create OOZIE_SYS table
DONE
Oozie DB has been created for Oozie version '4.3.0'

The SQL commands have been written to: /tmp/ooziedb-8084517656754581469.sql

3.6 启动oozie

[hadoop@hdp01 ~]$ oozied.sh start
Setting OOZIE_HOME:          /u01/oozie
Setting OOZIE_CONFIG:        /u01/oozie/conf
Sourcing:                    /u01/oozie/conf/oozie-env.sh
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Setting OOZIE_CONFIG_FILE:   oozie-site.xml
Setting OOZIE_DATA:          /u01/oozie/data
Setting OOZIE_LOG:           /u01/oozie/logs
Setting OOZIE_LOG4J_FILE:    oozie-log4j.properties
Setting OOZIE_LOG4J_RELOAD:  10
Setting OOZIE_HTTP_HOSTNAME: hdp01
Setting OOZIE_HTTP_PORT:     11000
Setting OOZIE_ADMIN_PORT:     11001
Setting OOZIE_HTTPS_PORT:     11443
Setting OOZIE_BASE_URL:      http://hdp01:11000/oozie
Setting CATALINA_BASE:       /u01/oozie/oozie-server
Setting OOZIE_HTTPS_KEYSTORE_FILE:     /home/hadoop/.keystore
Setting OOZIE_HTTPS_KEYSTORE_PASS:     password
Setting OOZIE_INSTANCE_ID:       hdp01
Setting CATALINA_OUT:        /u01/oozie/logs/catalina.out
Setting CATALINA_PID:        /u01/oozie/oozie-server/temp/oozie.pid

Using   CATALINA_OPTS:        -Xmx1024m -Dderby.stream.error.file=/u01/oozie/logs/derby.log
Adding to CATALINA_OPTS:     -Doozie.home.dir=/u01/oozie -Doozie.config.dir=/u01/oozie/conf -Doozie.log.dir=/u01/oozie/logs -Doozie.data.dir=/u01/oozie/data -Doozie.instance.id=hdp01 -Doozie.config.file=oozie-site.xml -Doozie.log4j.file=oozie-log4j.properties -Doozie.log4j.reload=10 -Doozie.http.hostname=hdp01 -Doozie.admin.port=11001 -Doozie.http.port=11000 -Doozie.https.port=11443 -Doozie.base.url=http://hdp01:11000/oozie -Doozie.https.keystore.file=/home/hadoop/.keystore -Doozie.https.keystore.pass=password -Djava.library.path=

Setting up oozie DB
  setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"

Validate DB Connection
DONE
DB schema exists

The SQL commands have been written to: /tmp/ooziedb-4054281256507508551.sql

Using CATALINA_BASE:   /u01/oozie/oozie-server
Using CATALINA_HOME:   /u01/oozie/oozie-server
Using CATALINA_TMPDIR: /u01/oozie/oozie-server/temp
Using JRE_HOME:        /usr/java/jdk1.8.0_152
Using CLASSPATH:       /u01/oozie/oozie-server/bin/bootstrap.jar
Using CATALINA_PID:    /u01/oozie/oozie-server/temp/oozie.pid

3.7 验证

[hadoop@hdp01 ~]$ oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

上述命令返回NORMAL说明系统正常启动。
4、MySQL DataStore for Oozie
这里使用的是远程MySQL数据库。
4.1 创建数据库

mysql> create database oozie;
mysql> create user oozie identified by "abcABC@12";
mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by "abcABC@12";
mysql> flush privileges;

4.2 编辑oozie-site.xml文件,加入以下内容:

oozie.service.JPAService.create.db.schema=false
oozie.service.JPAService.jdbc.driver=com.mysql.jdbc.Driver
oozie.service.JPAService.jdbc.url=jdbc:mysql://mydb01:3306/oozie?useSSL=false
oozie.service.JPAService.jdbc.username=oozie
oozie.service.JPAService.jdbc.password=abcABC@12
oozie.service.HadoopAccessorService.hadoop.configurations=*=/u01/hadoop/etc/hadoop
oozie.service.WorkflowAppService.system.libpath=hdfs://192.168.120.96:9000/user/hadoop/share/lib

4.3 启动oozie

[hadoop@hdp01 ~]$ oozie-start.sh 
WARN: Use of this script is deprecated; use 'oozied.sh start' instead

Setting OOZIE_HOME:          /u01/oozie
Setting OOZIE_CONFIG:        /u01/oozie/conf
Sourcing:                    /u01/oozie/conf/oozie-env.sh
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Setting OOZIE_CONFIG_FILE:   oozie-site.xml
Setting OOZIE_DATA:          /u01/oozie/data
Setting OOZIE_LOG:           /u01/oozie/logs
Setting OOZIE_LOG4J_FILE:    oozie-log4j.properties
Setting OOZIE_LOG4J_RELOAD:  10
Setting OOZIE_HTTP_HOSTNAME: hdp01
Setting OOZIE_HTTP_PORT:     11000
Setting OOZIE_ADMIN_PORT:     11001
Setting OOZIE_HTTPS_PORT:     11443
Setting OOZIE_BASE_URL:      http://hdp01:11000/oozie
Setting CATALINA_BASE:       /u01/oozie/oozie-server
Setting OOZIE_HTTPS_KEYSTORE_FILE:     /home/hadoop/.keystore
Setting OOZIE_HTTPS_KEYSTORE_PASS:     password
Setting OOZIE_INSTANCE_ID:       hdp01
Setting CATALINA_OUT:        /u01/oozie/logs/catalina.out
Setting CATALINA_PID:        /u01/oozie/oozie-server/temp/oozie.pid

Using   CATALINA_OPTS:        -Xmx1024m -Dderby.stream.error.file=/u01/oozie/logs/derby.log
Adding to CATALINA_OPTS:     -Doozie.home.dir=/u01/oozie -Doozie.config.dir=/u01/oozie/conf -Doozie.log.dir=/u01/oozie/logs -Doozie.data.dir=/u01/oozie/data -Doozie.instance.id=hdp01 -Doozie.config.file=oozie-site.xml -Doozie.log4j.file=oozie-log4j.properties -Doozie.log4j.reload=10 -Doozie.http.hostname=hdp01 -Doozie.admin.port=11001 -Doozie.http.port=11000 -Doozie.https.port=11443 -Doozie.base.url=http://hdp01:11000/oozie -Doozie.https.keystore.file=/home/hadoop/.keystore -Doozie.https.keystore.pass=password -Djava.library.path=

Setting up oozie DB
  setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"

Validate DB Connection
DONE
DB schema exists

The SQL commands have been written to: /tmp/ooziedb-1436191594180946798.sql

Using CATALINA_BASE:   /u01/oozie/oozie-server
Using CATALINA_HOME:   /u01/oozie/oozie-server
Using CATALINA_TMPDIR: /u01/oozie/oozie-server/temp
Using JRE_HOME:        /usr/java/jdk1.8.0_152
Using CLASSPATH:       /u01/oozie/oozie-server/bin/bootstrap.jar
Using CATALINA_PID:    /u01/oozie/oozie-server/temp/oozie.pid
[hadoop@hdp01 ~]$ oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

参考文献:
1、Oozie Installation and Configuration

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_33885253/article/details/85075497

智能推荐

【STM32学习笔记】I2C 读写 EEPROM 实验_i2c_mode_i2c-程序员宅基地

文章浏览阅读2k次,点赞5次,收藏24次。【STM32学习笔记】目录I2C 初始化结构体详解 /* I2C 初始化结构体 */ typedef struct { uint32_t I2C_ClockSpeed; // 设置SCL 时钟频率,此值要低于400000 uint16_t I2C_Mode; // 指定工作模式,可选 I2C 模式及 SMBUS 模式 uint16_t I2C_DutyCycle; // 指定时钟占空比,可选 low/high = 2_i2c_mode_i2c

react-native报错解决方法 in next release empty section headers will be rendered_rn in this release you can use 'enableemptysection-程序员宅基地

文章浏览阅读1.6k次。错误截图解决方法在ListView下 加个 enableEmptySections = {true} 就可以解决了_rn in this release you can use 'enableemptysections' flag to render empty se

html 字体大小em,px,em,rem该选择哪个?css相对字体大小的详细介绍-程序员宅基地

文章浏览阅读474次。网页设计中最大的混淆之一是由font-size属性引起的。最常用的字体大小是像素(px),em和rem。首先,我们将重点关注字体大小属性。在CSS中,可以使用多个单元(例如像素,em和rem),这通常会导致设计人员额外头痛。在本文中,我们将详细介绍这些单位的用法和任何误解。PX单位最常见和最受欢迎的单位是像素(px)。大多数人开始使用像素(px)单元,因为它使您可以完全控制文本大小。如果未指定字体..._字号 em

PYTHON RSA 使用私钥加密公钥解密独家解决方案_typeerror: this is not a private key-程序员宅基地

文章浏览阅读4.6k次,点赞3次,收藏15次。PYTHON解决RSA私钥加密公钥解密的方法。_typeerror: this is not a private key

Qt实现一个简单的编译器(软件生成器)_qt能直接生成程序吗-程序员宅基地

文章浏览阅读2.1k次。Qt实现一个简单的编译器(软件生成器)本文章只记录如何用Qt实现一个简单编译器,即点击本软件中的按钮便可在另一目录中生成一个新的软件(与本软件不冲突)。文章目录Qt实现一个简单的编译器(软件生成器)前言一、命令行执行Qt程序1.使用Qt for Desktop MinGW 7.3.0 64-bit1.先指定项目目录2.生成makefile文件3.编译程序4.为生成的exe文件生成所依赖的dll5.双击.exe文件,验证结果2.直接使用CMD执行程序1.将刚才找到的qtenv2.bat复制到目录下_qt能直接生成程序吗

Android三方登录之google登录_android google三方登录需要使用google服务吗-程序员宅基地

文章浏览阅读4.4k次,点赞2次,收藏12次。    在做公司的一个国外项目的时候,需要用到google的三方快捷登录,中间碰到了一些坑,在此Mark一下,如果有同样的问题的小伙伴看到可以少走些弯路,给自己也总结下开发过程。前提是:需要科学上网点击进入谷歌的官方文档,基本上google三方登录的流程条件都在里面了,需要耐心的顺流程1.我按我自己的顺序一点点写吧,找到 https://console.firebase.google.co..._android google三方登录需要使用google服务吗

随便推点

html 使用 js 脚本 调用$(document).ready(function()报错 Uncaught ReferenceError: $ is not defined_$(document).ready(function() is not defined-程序员宅基地

文章浏览阅读3k次,点赞2次,收藏3次。添加的脚本使用了jquery语法,需要引用jquery调用在线的jquery<script src="http://code.jquery.com/jquery-latest.js"></script>_$(document).ready(function() is not defined

回顾理解Triplet-loss_online triplet loss-程序员宅基地

文章浏览阅读1.5k次,点赞3次,收藏3次。用三国人物刘关张和诸葛亮的关系来类比一下APN三个兄弟和三种loss 标准_online triplet loss

IOS进阶——Json解析-程序员宅基地

文章浏览阅读645次。作为一种轻量级的数据交换格式,json正在逐步取代xml,成为网络数据的通用格式。有的json代码格式比较混乱,可以使用此“http://www.bejson.com/”网站来进行JSON格式化校验(点击打开链接)。此网站不仅可以检测Json代码中的错误,而且可以以视图形式显示json中的数据内容,很是方便。从IOS5开始,APPLE提供了对json的原生支持(NSJSONSe

Kafka从上手到实践 - 实践真知:Kafka Java Consumer | 凌云时刻-程序员宅基地

文章浏览阅读386次。凌云时刻 ·技术导读:这一节来看看如何使用Java编写Kafka Consumer。作者 | 计缘来源 |凌云时刻(微信号:linuxpk)Java Consumer首先创建Cons..._2023-09-14 20:46:55,248 info org.apache.kafka.clients.consumer.internals.abs

Spring-注入参数详解-[字面值及引用其他Bean]_spring 注入bean 有引用其他类-程序员宅基地

文章浏览阅读1.2w次,点赞2次,收藏2次。概述字面值XML中的特殊符号的处理5个特殊符号特殊符号的处理方式关于注入值空格的处理引用其他Bean实例ref元素的3个属性引用父容器中的Bean实例内部Beannull值级联属性概述在Spring配置文件中,不但可以将String、int等字面值注入bean中,还可以将集合、map等类型的数据注入Bean中, 此外还可以注入配置文件中其他定义的Bean.字面值所谓字面值一般_spring 注入bean 有引用其他类

codeforce897C_code_9qlt7-程序员宅基地

文章浏览阅读781次。What are you doing at the end of the world? Are you busy? Will you save us?Nephren is playing a game with little leprechauns.She gives them an infinite array of strings, f0... ∞.f0 is "W_code_9qlt7

推荐文章

热门文章

相关标签