2022年 – 第2页

Hive 8月 10,2022

Oozie重复执行和Container exited with a non-zero exit code 143

写了1个比较复杂的spark任务，用shell脚本来执行。用shell脚本直接执行时一点问题都没有。但用hue配置了Oozie任务后，经常执行不到一半就中断，看到又重复执行，但没多久就中止了。

查了很久原因，后来在yarn的Oozie执行日志找到下面这个

[2022-08-04 17:05:36.981]Container killed on request. Exit code is 143
[2022-08-04 17:05:36.998]Container exited with a non-zero exit code 143.

通过各种相关关键字在网上找原因和解决方案，后来在差不多放弃时，看到一个留言：

通过将部署模式从客户端更改为群集解决了此问题。我正在从oozie应用程序触发spark作业。因此，在客户端模式下，驱动程序将在oozie JVM上启动。为了避免这种情况，我将模式设置为集群。

进行修改尝试，果然顺利执行成功：

spark-submit –master yarn –deploy-mode cluster –class com.xxx.Test –jars hdfs://cdh1:8020/data/apps/jars/fastjson-1.2.51.jar,hdfs://cdh1:8020/data/apps/jars/hive-jdbc-2.1.1-cdh6.3.2-standalone.jar –conf spark.yarn.maxAppAttempts=0 –driver-memory 2g –driver-cores 1 –executor-memory 3200m –executor-cores 3 –num-executors 4 hdfs://cdh1:8020/data/apps/test.jar

作者 east

Hive 8月 9,2022

sqoop导入mysql带json字段显示不全或乱码

原来是在hive的建表结构如下：

CREATE external TABLE IF NOT EXISTS ods_test_delta(
 id string COMMENT "", 
 create_date string COMMENT "创建时间",
 jsonValue string COMMENT "带json的字段",
 update_date string COMMENT "更新时间",
 del_flag string COMMENT "删除标志"
) COMMENT "测试表"
partitioned by (dt string)
row format delimited
fields terminated by '\u0001'
lines terminated by '\n'
stored as textfile
LOCATION '/data/warehouse/warehouse/ods/ods_test_delta/';

在做ods抽取数据到dwd层时，发现带json的字段显示不全，怀疑是fields terminated影响了。后来想到的一个方法，不预先创建hive的表结构，直接用sqoop导入，发现没有显示不全或乱码。

进入hive的命令行，输入

show create table ods_test_delta

CREATE external TABLE IF NOT EXISTS ods_test_delta(
 id string COMMENT "", 
 create_date string COMMENT "创建时间",
 jsonValue string COMMENT "带json的字段",
 update_date string COMMENT "更新时间",
 del_flag string COMMENT "删除标志"
) COMMENT "测试表"
partitioned by (dt string)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES ( 
  'field.delim'='', 
  'line.delim'='\n', 
  'serialization.format'='')
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION '/data/warehouse/warehouse/ods/ods_test_delta/';

用上面的表结构进行创建hive的表结构，经测试没有json显示不全的问题。

作者 east

运维 7月 25,2022

亲测可以，centos7 安装和配置odbc连接mysql

从软件库安装稳定版本

yum install unixODBC unixODBC-devel libtool-ltdl libtool-ltdl-devel

yum install mysql-connector-odbc

要在rpm 语句后面加上 –nodeps –force，安装时忽略依赖关系，否则会提示error: Failed dependencies:mysql-community-client-plugins

升级驱动到8.0

rpm -ivh mysql-community-libs-8.0.27-1.el7.x86_64.rpm –nodeps –force

vim /etc/odbcinst.ini ,配置修改如下

[PostgreSQL]

Description=ODBC for PostgreSQL

Driver=/usr/lib/psqlodbcw.so

Setup=/usr/lib/libodbcpsqlS.so

Driver64=/usr/lib64/psqlodbcw.so

Setup64=/usr/lib64/libodbcpsqlS.so

FileUsage=1

[MySQL]

Description=ODBC for MySQL

Driver=/usr/lib/libmyodbc5.so

Setup=/usr/lib/libodbcmyS.so

Driver64=/usr/lib64/libmyodbc5.so

Setup64=/usr/lib64/libodbcmyS.so

FileUsage=1

[MySQLw]

Description=ODBC for MySQL w

Driver=/usr/lib/libmyodbc5w.so

Setup=/usr/lib/libodbcmyS.so

Driver64=/usr/lib64/libmyodbc5w.so

Setup64=/usr/lib64/libodbcmyS.so

FileUsage=1

[MySQL ODBC 8.0 Unicode Driver]

Driver=/usr/lib64/libmyodbc8w.so

UsageCount=2

[MySQL ODBC 8.0 ANSI Driver]

Driver=/usr/lib64/libmyodbc8a.so

UsageCount=2

查看已经配置的驱动

odbcinst -q -d

[PostgreSQL]

[MySQL]

[MySQLw]

[MySQL ODBC 8.0 Unicode Driver]

[MySQL ODBC 8.0 ANSI Driver]

vim /etc/odbc.ini,配置修改如下：

[my_db]

Driver = MySQL ODBC 8.0 Unicode Driver

SERVER = 10.0.80.82

Description = MySQLw connection to ‘my_db’ database

PORT = 3306

DATABASE = my_db

OPTION = 67108864

USER = root

PASSWORD = 123456

CHARSET = UTF8

Driver采用的驱动，与odbcinst.ini的名字要对应上
SERVER数据库服务器的IP地址
PORT数据库的端口
DATABASE数据库的名称
OPTION连接数如果是FreeSWITCH的连接需要配置这个
USER数据库用户名
PASSWORD数据库密码

验证是否成功

现在利用isql功能验证能连到你的数据库上，当你输入指令后会看到结果为1的返回值就表明连接成功了

echo “select 1” | isql -v my_db;
+—————————————+
| Connected! |
| |
| sql-statement |
| help [tablename] |
| quit |
| |
+—————————————+
+———————+
| 1 |
+———————+
| 1 |
+———————+

作者 east

大数据开发 7月 21,2022

CDH6.3.2集群 oozie使用遇到的坑

拖拽任务后找不到相应文件

oozie添加spark等，出现搜索文档，点下拉框或搜索关键字时，一直找不到任务文件。在工作区添加了相关的脚本或jar包，还是找不到。

后来经过试验和提示，发现首先是要下图中，先进行操作和保存，然后拖拽这个类型时，下拉框才会出来相关的文件。

YARN资源不足

运行报错如下：

please note that maximum allowed allocation is calculated by scheduler based on maximum resource of registered NodeManagers, which might be less than configured maximum allocation=
原因是 yarn配置的最大容器申请资源是1024M，oozie配置的启动资源要2048M，在CM中修改oozie的相关配置。

spark shell中的路径要为hdfs的路径

提交spark任务，jar包和依赖文件刚开始用服务器本地路径，发现提示找不到相关的包和主类，后来修改为hdfs下的路径就顺利执行了。

spark-submit --class com.xxx.Main --jars hdfs://cdh01:8020/data/apps/jars/fastjson-1.2.51.jar,hdfs://cdh01:8020/data/apps/jars/a.jar,hdfs://cdh01:8020/data/apps/jars/b.jar hdfs://cdh01:8020/data/apps/myspark-0.0.1-SNAPSHOT.jar

限制数据量的大小

执行shell任务出错，错误如下：

java.io.IOException: output.properties data exceeds its limit [2048]
原因是由于shell脚本中一次提交的hql-mr作业量太大，其中包含的信息超过oozie launcher一次容许的最大值2K（2K是默认值）

非CDH集成的修改如下：

<property>
<name>oozie.action.max.output.data</name>
<value>204800</value>
</property>

CDH集群中修改 oozie-site.xml 的 Oozie Server 高级配置代码段（安全阀），如图：

串行引用同一个Shell脚本，配置参数后都指向同一个参数

1个Spark Shell脚本，串行引用这个shell脚本，通过配置shell参数，本来想通过调用不同的class来实现复用这个脚本，但实践后发现最终的参数都指向同一个了。最后还是老老实实搞多个shell脚本。

时区的差8个小时的问题（在界面和Oozie存数据的数据库）

步骤1：非CDH集群修改如下

在/conf/oozie-site.xml，添加如下属性：

<!-- Time Zone -->
<property>
        <name>oozie.processing.timezone</name>
        <value>GMT+0800</value>
</property>

在CDH集群添加如下图：

步骤2：在/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/oozie/embedded-oozie-server/webapp 文件夹中找到oozie-console.js，修改下面时区相关的代码：

function getTimeZone() {
    Ext.state.Manager.setProvider(new Ext.state.CookieProvider());
    return Ext.state.Manager.get("TimezoneId","GMT+0800");
}

上传的shell脚本可以在hue文件浏览器修改，workflow.xml修改没有效果

workflow在文件浏览器修改，运行后又会变化修改前。要修改workflow.xml，需要在hue的Oozie编辑器定义参数等方式来修改。

Oozie定时任务没有如期执行

有2个要注意的地方

1、Oozie安装的默认时区不是东八区，需要在hue进行指定时区。

2、保存后需要提交才能生效

作者 east

Hive 7月 20,2022

Hive批量删除表的工具

在建设数仓时，批量创建了很多表，发现创建错了，想批量删除，一个个删除觉得太麻烦，想批量删除。

可以利用hive打印出所有表名，用shell来搜索关键字，并用shell的管道技术来输出。

#/bin/sh
db_name=$1
#用于筛选出待删除表名的关键字
key_word=$2
hive -e "SHOW TABLES IN ${db_name};"|grep "${key_word}"|xargs -I{} echo drop table ${db_name}.{}\;>>batch_drop.log

然后打开batch_drop.log，就可以批量删除table的命令，复制到hive的shell命令界面中执行就可以。

作者 east

Hive 7月 14,2022

Hive增加字段casecade报“Error while compiling statement: FAILED: NullPointerException null”

最近在使用hive做数仓开发遇到各种坑，使用casecade为了刷新旧分区数据（
cascade的中文翻译为“级联”，也就是不仅变更新分区的表结构（metadata），同时也变更旧分区的表结构）

例如用下面的语句

ALTER TABLE plaintiff_info ADD COLUMNS(test3 STRING ) CASCADE

就遇到下面的错误：Error while compiling statement: FAILED: NullPointerException null

因为之前这样增加字段并刷新历史数据成功过，怀疑过字段为空等，各种怀疑和尝试，最后发现之前成功的是手动创建分区表，失败的是非分区表。非分区表再添加字段时不能加CASCADE 。

分区表，指创建时有

PARTITIONED BY (
dt string)

或者使用spark SQL创建带有 partitionBy(“year”)

作者 east

Spark 7月 12,2022

Idea java和scala混合打包遇到的各种坑

1、采用默认java的maven配置，运行时发现scala的包没打进去。

发现需要配置scala的编译器，网上有2种方式：

方式1：

 <plugin>
                <groupId>org.scala-tools</groupId>
                <artifactId>maven-scala-plugin</artifactId>
                <version>2.15.2</version>
                <configuration><</configuration>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>

            </plugin>

方式2：

<plugin>
    <groupId>net.alchim31.maven</groupId>
    <artifactId>scala-maven-plugin</artifactId>
    <version>3.2.2</version>
    <configuration>
        <recompileMode>incremental</recompileMode>     
    </configuration>
    <executions>
        <execution>
            <goals>
                <goal>compile</goal>
                <goal>testCompile</goal>
            </goals>
        </execution>
    </executions>
</plugin>

2、编译时scala外部依赖包没找到

需要添加

<configuration>                
                    <args>
                        <!-- 编译时使用 libs 目录下的 jar 包，通过 mvn scala:help 查看说明 -->
                        <arg>-extdirs</arg>
                        <arg>D:/code/spark/jars</arg>
                    </args>
                </configuration>

完整配置如下：

 <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <configuration>
                    <recompileMode>incremental</recompileMode>
                    <args>
                        <!-- 编译时使用 libs 目录下的 jar 包，通过 mvn scala:help 查看说明 -->
                        <arg>-extdirs</arg>
                        <arg>D:/code/spark/jars</arg>
                    </args>
                </configuration>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

3、maven打包时提示内存不足

在如图位置,VM Options增加内存就可以

作者 east

Hive, 数据挖掘 7月 1,2022

Datart连接Hive需要的jar包

最近在做数仓开发，把结果输入到datart这个bi工具，刚开始用datart来连接mysql，为了减少层次，想直接连接hive。发现是需要配置jdbc驱动的。

大数据集群用的是CDH6.3.2，需要的jar包跟网上不同。刚开始用hive-jdbc-2.1.1-cdh6.3.2-standalone.jar，发现冲突了。后来从用下面这些包解决了依赖问题。

不过用最新的 datart-1.0.0-beta.3 ，发现存在问题：
无法查询sql 。报错如下：

Request failed with status code 400

github官方论坛提示：该问题已经修复，等beta.4版本发布后升级即可

作者 east

Hadoop, Hive 6月 24,2022

idea远程连接hadoop、hive操作权限不够问题解决

使用idea远程操作hive，进行写数据时提示权限不够：

Permission denied: user=test, access=WRITE, inode=”/data/warehouse/db1/dws/dws_test1″:hdfs:supergroup:drwxr-xr-x

要解决这类问题，最方便方法是hdfs设置HADOOP_USER_NAME，这样远程访问就用指定的名来访问。（如果是CDH安装的，超级用户hdfs ）有几类操作方法：

方法一
打开要设置类文件的Configurations

第二步name中写自己的用户名称就行

再重新运行java文件就可以了

方法二
在java文件中进行设置
FileSystem fs= FileSystem.get(new URI(“hdfs://cdh01:9000”),conf,“hdfs”);

方法三

设置windows环境变量

作者 east

Hive, Spark 5月 27,2022

Idea用Spark SQL远程访问CDH6.3.2的hive

win10的开发环境，想在idea用Spark SQL来访问CDH6.3.2服务器的hive。刚开始用pom配置原生的spark等jar包。发现访问有问题，各种折腾还是没解决。

看到网上说要用cdh的包。就把相关的包替换成cdh的包。没想到用cdh的包各种缺少依赖包，折腾几个小时还没解决。

后来想到一个简单暴力的办法，把cdh集群的的jar包都下载下来，然后idea添加这个文件夹为依赖。

果然解决缺少依赖包的问题，不用1个个去排查添加了。不过新问题随之而来。又提示ANTLR Tool version 4.5 used for code generation does not match the current runtime version 4.7ANTLR

按网上教程处理未果，想到会不会是CDH的jar包版本重复导致的，一看果然是这样，先把antlr4-runtime-4.5.1-1.jar和antlr4-runtime-4.5.jar排除掉。重新运行果然是可以了。

还需要做下面的操作：

在本地安装spark，并把远程服务器hive.xml、core-site.xml、mapred-site.xml和yarn-site.xml拷贝到spark的conf

如果远程服务器是有hostname的，需要修改hosts

作者 east

Hive 5月 24,2022

用Sqoop导入mysql到hive遇到的坑

坑1：所有字段的值都为null

发现原因是在于，建hive表是设定的分割符不恰当，跟从mysql导入过来的数据的分隔符不一样，所以导致hive切分不了数据，于是查询为空，但是这个过程，是不属于导入失败的，所以导入命令没有报错。因为sqoop import实际上是把数据存放到hdfs对应路径上了，而不是“直接导入表里”，查询时，hive会从hdfs的路径上提取数据，再根据hive表的结构和定义，来向我们展示出类似表格的形式。因此，导入过程是不会报错的，但是因为hive定义的分隔符和存在hdfs上数据的分隔符不一致，所以查询是全为NULL的。查看自己hive的建表语句

CREATE TABLE IF NOT EXISTS ods.test1 (
id BIGINT, 
type_id INT, 
parent_id INT,
 name STRING, 
 note_state INT) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE;

可以看到分隔符为：FIELDS TERMINATED BY ‘\t’，而从postgresql或者mysql来的数据的分隔符则应该为：FIELDS TERMINATED BY ‘\u0001’，那我们只要改回来就可以正常导入了。

把表删了,重新建表,指定分隔符为FIELDS TERMINATED BY ‘\u0001’.

CREATE TABLE IF NOT EXISTS ods.test1 (
id BIGINT, 
type_id INT, 
parent_id INT,
 name STRING, 
 note_state INT) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\u0001' STORED AS TEXTFILE;

坑2： tinyint类型的都为null

sqoop运⾏完成之后，发现为tinyint类型的⼀类始终为null，经检查发现上游mysql有值，再查看hdfs⽂件，发现这列被抓换为了boolean类型。解决方案：在jdbc的连接后⾯加上：tinyInt1isBit=false，例如connect jdbc:mysql://192.168.1.80:3306/my_log?tinyInt1isBit=false

作者 east

sklearn 5月 16,2022

随机森林排序特征选择后结果feature_importances为0，normalized_importance的值都为nan,cumulative_importance的值都为nan

在做评分卡的工作，使用随机森林排序特征选择，目测有因素相关联大，但运行下面的代码，最后df_train_woe的结果为空，百思不得其解。

fs = FeatureSelector(data = df_train_woe[sel_var], labels = data_train_bin.target)
    ##一次性去除所有的不满足特征  
    fs.identify_all(selection_params = {'missing_threshold': 0.9,
                                         'correlation_threshold': 0.8,
                                         'task': 'classification',
                                         'eval_metric': 'binary_error',
                                         'max_depth':2,
                                         'cumulative_importance': 0.90})
 df_train_woe = fs.remove(methods = 'all')
    df_train_woe['target'] = data_train_bin.target

调试feature_selector.py的代码，发现identify_zero_importance方法中，feature_importances的值都为0，normalized_importance的值都为nan，cumulative_importance的值都为nan。

后来觉得代码反复验证是没问题，有可能是样本太少（才几十条），手头增加样本到几百条，果然运行后结果没问题了。这真是个坑，在这里先记录一下，有空时深入研究一下代码和原理。

作者 east

年度归档2022