CDH6.3.2集群 oozie使用遇到的坑

拖拽任务后找不到相应文件

oozie添加spark等,出现搜索文档,点下拉框或搜索关键字时,一直找不到任务文件。在工作区添加了相关的脚本或jar包,还是找不到。

在这里插入图片描述

后来经过试验和提示,发现首先是要下图中,先进行操作和保存,然后拖拽这个类型时,下拉框才会出来相关的文件。

YARN资源不足

运行报错如下:

please note that maximum allowed allocation is calculated by scheduler based on maximum resource of registered NodeManagers, which might be less than configured maximum allocation=
原因是 yarn配置的最大容器申请资源是1024M,oozie配置的启动资源要2048M,在CM中修改oozie的相关配置。

在这里插入图片描述



spark shell中的路径要为hdfs的路径

提交spark任务,jar包和依赖文件刚开始用服务器本地路径,发现提示找不到相关的包和主类,后来修改为hdfs下的路径就顺利执行了。

spark-submit --class com.xxx.Main --jars hdfs://cdh01:8020/data/apps/jars/fastjson-1.2.51.jar,hdfs://cdh01:8020/data/apps/jars/a.jar,hdfs://cdh01:8020/data/apps/jars/b.jar hdfs://cdh01:8020/data/apps/myspark-0.0.1-SNAPSHOT.jar

限制数据量的大小

执行shell任务出错,错误如下:

java.io.IOException: output.properties data exceeds its limit [2048]
原因是由于shell脚本中一次提交的hql-mr作业量太大,其中包含的信息超过oozie launcher一次容许的最大值2K(2K是默认值)

非CDH集成的修改如下:

<property>
<name>oozie.action.max.output.data</name>
<value>204800</value>
</property>

CDH集群中修改 oozie-site.xml 的 Oozie Server 高级配置代码段(安全阀),如图:

串行引用同一个Shell脚本,配置参数后都指向同一个参数

1个Spark Shell脚本,串行引用这个shell脚本,通过配置shell参数,本来想通过调用不同的class来实现复用这个脚本,但实践后发现最终的参数都指向同一个了。最后还是老老实实搞多个shell脚本。

时区的差8个小时的问题(在界面和Oozie存数据的数据库)

步骤1:非CDH集群修改如下

在/conf/oozie-site.xml,添加如下属性:

<!-- Time Zone -->
<property>
        <name>oozie.processing.timezone</name>
        <value>GMT+0800</value>
</property>

在CDH集群添加如下图:

此图像的alt属性为空;文件名为L3Byb3h5L2h0dHBzL2ltZzIwMTguY25ibG9ncy5jb20vYmxvZy8xNDQ5Nzc0LzIwMTgwOS8xNDQ5Nzc0LTIwMTgwOTIzMTcyNTA5OTI5LTE1NzQ0NzY1MzkucG5n.jpg

步骤2:在/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/oozie/embedded-oozie-server/webapp 文件夹中找到oozie-console.js,修改下面时区相关的代码:

function getTimeZone() {
    Ext.state.Manager.setProvider(new Ext.state.CookieProvider());
    return Ext.state.Manager.get("TimezoneId","GMT+0800");
}

上传的shell脚本可以在hue文件浏览器修改,workflow.xml修改没有效果

workflow在文件浏览器修改,运行后又会变化修改前。要修改workflow.xml,需要在hue的Oozie编辑器定义参数等方式来修改。

Oozie定时任务没有如期执行

有2个要注意的地方

1、Oozie安装的默认时区不是东八区,需要在hue进行指定时区。

2、保存后需要提交才能生效

关注公众号“大模型全栈程序员”回复“小程序”获取1000个小程序打包源码。更多免费资源在http://www.gitweixin.com/?p=2627

发表评论

邮箱地址不会被公开。 必填项已用*标注