2022年 – gitweixin

shardingsphere, 大数据开发 11月 6,2022

DataX、Sqoop抽取Sharding-Proxy数据遇到问题和解决方案

公司有几十T的数据库数据，采用sharding-proxy来分库分表存取。采用sharding-proxy，可以让客户端像普通单库一样调用，但用datax、sqoop抽取数据却发现那么简单。

原先是用 sharding-proxy 4.1.0 版本，springboot采用druid来读取数据或用navicat高版本来读没问题，所以一直没有升级。

不幸的是，用sqoop 1.4.7来抽取数据时，发生报错“Failed to switch schema, please terminate current transaction”。网上相关的资料很少，后来查到是 sharding-proxy 报的错，在github讨论区有说这个问题，
https://github.com/apache/shardingsphere/issues/5531

刚开始以为是sqoop读取表结构时遇到的问题，改用dataX来抽取数据，还是同样的问题。后来升级 sharding-proxy 到最新版本，终于没报这个问题，但用sqoop抽取时，由于sqoop 1.4.7要先读取mysql的表结构，但是获取
sharding-proxy 的表结构发生错误，这个可以通过修改sqoop代码或别的方式来避开这个问题。

但DataX抽取数据时没这个问题，能很顺利抽取到
sharding-proxy 上面的数据。

作者 east

Hive 11月 3,2022

解决CDH 6.3.2 Hue访问Hive自定义用户密码验证

在前面文章介绍了
CDH 6.3.2 Hive自定义用户名密码验证，如果hue配置不做更改的话，在hue中看不到hive的数据库和执行不了命令，hue会报“thrift TSocket read 0 bytes” 、“
Bad status: 3 (Error validating the login) (code THRIFTTRANSPORT) ”等错误。

解决方法:

（1）修改hue的python代码

cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hue/apps/beeswax/src/beeswax/server
vi hive_server2_lib.py
增加红框中的’CUSTOM’

（2）修改hue的配置
在hue的配置页面，搜索”hue_safety_valve” ,找到hue_safety_valve.ini
添加下面代码：（
auth_username 是在hive的hive-site.xml中配置的，不同的是hive-site的
auth_password 是工具处理后，hue这里的配置需要处理前的原始密码）

[desktop]

auth_username=hdfs
auth_password=未加密前的密码

然后重启hue

作者 east

Hive 11月 3,2022

RDD要获取Driver端的Map、List，或者Spark UDF 需要加载外部资源(如配置参数、白名单)初始化它们的实例。 Spark UDF的输入参数必须是数据列column，在UDF中进行如Redis查询、白/黑名单过滤前，若它们都能被序列化，从Driver端初始化+broadcast的方式可以完成构建。直接传递变量时，在spark用local方式时正常，用yarn-cluster时出现问题。

例如像下面这样：

class MyUDF implements UDF1<Long, String> {
        private Map<Long, String> broadCastMap;
        public MyUDF(Broadcast<Map<Long, String>> broadCastMap) {
           this.broadCastMap = broadCastMap.value();
        }
        public String call(Long id) {
            return id +" -> " + broadCastMap.getOrDefault(id, "No mapping");
        }
    }

 Map<Long, String> map = new HashMap<>();
    map.put(1L, "b");
    map.put(2L, "c");
    Broadcast<Map&<Long, String>> broadCastMap = new JavaSparkContext(spark.sparkContext()).broadcast(map);

    UserDefinedFunction myUdf = udf(new MyUDF(broadCastMap), DataTypes.StringType);

    spark.sqlContext().udf().register("myUdf", myUdf);

如果传递的是类，必须实现了serializable接口

反序列化时serializable版本号不一致时会导致不能反序列化。
子类中实现了serializable接口，父类中没有实现，父类中的变量不能被序列化,序列化后父类中的变量会得到null。注意：父类实现serializable接口,子类没有实现serializable接口时，子类可以正常序列化
被关键字transient修饰的变量不能被序列化。
静态变量不能被序列化，属于类，不属于方法和对象，所以不能被序列化。

例如像下面这样：

import java.io.Serializable;
import java.util.*;
import lombok.Getter;
import lombok.Setter;

@Getter
@Setter
public class AtKwdBo implements Serializable {
    private Set<String> keywords;
    private Set<String> stopwords;
    /**
     * just for test
     * @return
     */
    public static List<AtKwdBo> generateKeyWord() {
        // Keyword
        List<AtKwdBo> atKwdBos = new ArrayList<>();
        AtKwdBo atKwdBo = new AtKwdBo();
        Set<String> keywords = new HashSet<>();
        keywords.add("小米手机");
        keywords.add("雷军");
        keywords.add("小米10周年");
        atKwdBo.setKeywords(keywords);
        Set<String> stopwords = new HashSet<>();
        stopwords.add("华为手机");
        atKwdBo.setStopwords(stopwords);
        atKwdBos.add(atKwdBo);

        return atKwdBos;
    }
}

作者 east

大数据开发 9月 21,2022

解决sqoop从mysql导入到hive时区相差13小时

在CDH6.3.2上，使用sqoop从mysql导入数据到hive，发现时间字段，时间相差13个小时。刚开始有点懵，很多时区是相差8个小时。但觉得应该是同类问题。

可以在Sqoop连接的时候设置时区信息:

jdbc:mysql://$DB_CNX?serverTimezone=Asia/Shanghai

更完整参考如下

sqoop import –connect “jdbc:mysql://cdh2:3306/test_db?tinyInt1isBit=false&serverTimezone=Asia/Shanghai” –username root –password root –table t_test –hive-drop-import-delims -m 1 –hive-import –hive-table entersv.ods_t_test –hive-partition-key dt –hive-partition-value ‘2022-09-21’ –input-fields-terminated-by ‘,’ –input-lines-terminated-by ‘\n’

遇见时间类型转换问题时要小心，保守最好是string，简单的比较大小不会影响后续计算。

造成相差13个小时，在于对CST时区解析混乱造成。
JDBC 误认为会话时区在CST 美国中部时间 UTC-5，那么JDBC会把数据中的 Timestamp 转为 UTC-5，MySQL 认为会话时区在 UTC+8，将时间又按UTC+8进行了转换。

作者 east

大数据开发, 运维 9月 14,2022

解决CDH监控日志磁盘空间不足的问题

cdh的日志默认在/var/lib，由于根分区默认空间大小有限，数据盘是挂载在/data分区。在运行一段时间后，根分区磁盘空间严重不足。

停止服务，想改那个停那个，然后将老的数据文件mv到新的目录,我这里停了host monitor 和 service monitor

mkdir /data/varlib

mv /var/lib/cloudera-host-monitor /data/varlib/

mv /var/lib/cloudera-service-monitor /data/varlib/

点击配置，更改Host Monitor和Service Monitor的目录

重新启动服务就可以看到没报磁盘空间不足的问题了。

作者 east

Java 8月 25,2022

Idea如何远程调试普通java程序

在开发过程中，常常遇到在本地运行好好的，一到服务器就出各种问题。除了使用日志可以帮助定位，更直观灵活的方式是通过远程调试的方式来定位问题。

如何使用IDEA远程调试

打开工程，在菜单栏中选择“Run > Edit Configurations”。
在弹出的配置窗口中用鼠标左键单击左上角的号，在下拉菜单中选择Remote
选择对应要调试的源码模块路径，并配置远端调试参数Host和Port，如下图2所示。其中Host为Spark运行机器IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。

4.在第3步所填的服务器，执行以下命令，远端启动java

例如:

java -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005 -cp spark-examples_2.10.jar com.data.monitor.Main


5、设置调试断点。 在IDEA代码编辑窗口左侧空白处单击鼠标左键设置相应代码行断点

6、启动调试。在IDEA菜单栏中选择“Run > Debug ‘Unnamed’”开启调试窗口，接着开始SparkPi的调试，比如单步调试、查看调用栈、跟踪变量值等，如下图所示。

作者 east

Java 8月 19,2022

Thread.currentThread().getContextClassLoader.getResourceAsStream空指针问题

在idea运行代码时，下面的代码一直空指针

Thread.currentThread().getContextClassLoader.getResourceAsStream(“core.properties”);

网上查解决方案，很多都是说idea需要把工程设置为Resources，查了已经是设置了。后来查到有的说是pom问题，经常摸索，果然是pom问题，是下面的pom设置影响到了。

<resources>
            <resource>
                <directory>${project.basedir}/libs</directory>
                <targetPath>BOOT-INF/lib/</targetPath>
                <includes>
                    <include>**/*.jar</include>
                </includes>
            </resource>
            <resource>
                <directory>src/main/resources</directory>
                <targetPath>BOOT-INF/classes/</targetPath>
            </resource>
        </resources>

配置文件是否能访问，可以看在target/classes文件夹中是否存在

后来修改了pom文件，再运行果然没有报空指针的问题了

<resources>
    <resource>
        <directory>src/main/java</directory>
        <includes>
            <include>**/*.properties</include>
            <include>**/*.xml</include>
        </includes>
        <filtering>false</filtering>
    </resource>
    <resource>
        <directory>${project.basedir}/libs</directory>
        <targetPath>BOOT-INF/lib/</targetPath>
        <includes>
            <include>**/*.jar</include>
        </includes>
    </resource>
</resources>

作者 east

Java 8月 17,2022

解决Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.4.1:enforce

在编译spark-atlas-connector的源码时，遇到下面的报错：

[INFO] --- maven-enforcer-plugin:1.4.1:enforce (enforce-versions) @ spark-atlas-connector-main_2.11 ---
[WARNING] Rule 2: org.apache.maven.plugins.enforcer.RequireOS failed with message:
OS Arch: x86 Family: dos Name: windows 10 Version: 10.0 is not allowed by Family=unix
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] spark-atlas-connector-main_2.11 .................... FAILURE [  2.116 s]
[INFO] spark-atlas-connector_2.11 ......................... SKIPPED
[INFO] spark-atlas-connector-assembly ..................... SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2.189 s
[INFO] Finished at: 2022-08-17T17:06:06+08:00
[INFO] Final Memory: 26M/495M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.4.1:enforce (enforce-versions) on project spark-atlas-connector-main_2.11: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed. -> [Help 1]
[ERROR] 
[ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
[ERROR] Re-run Maven using the -X switch to enable full debug logging.
[ERROR] 
[ERROR] For more information about the errors and possible solutions, please read the following articles:
[ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException

刚开始很头疼，搜索了不少“Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.4.1:enforce”，还是没解决问题。后面发现上面的“

org.apache.maven.plugins.enforcer.RequireOS failed with message:
OS Arch: x86 Family: dos Name: windows 10 Version: 10.0 is not allowed by Family=unix”

原来， Maven Enforcer 插件提供了非常多的通用检查规则，比如检查 JDK 版本、检查 Maven 版本、检查依赖版本，等等

<plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-enforcer-plugin</artifactId>
        <inherited>false</inherited>
        <configuration>
          <rules>
            <requireMavenVersion>
              <version>[3.0.0,)</version>
            </requireMavenVersion>
            <requireJavaVersion>
              <version>[${minJavaVersion}.0,${maxJavaVersion}.1000}]</version>
            </requireJavaVersion>
            <requireOS>
              <family>unix</family>
            </requireOS>
          </rules>
        </configuration>
        <executions>
          <execution>
            <id>clean</id>
            <goals>
              <goal>enforce</goal>
            </goals>
            <phase>pre-clean</phase>
          </execution>
          <execution>
            <id>default</id>
            <goals>
              <goal>enforce</goal>
            </goals>
            <phase>validate</phase>
          </execution>
          <execution>
            <id>site</id>
            <goals>
              <goal>enforce</goal>
            </goals>
            <phase>pre-site</phase>
          </execution>
        </executions>
      </plugin>

由于是在windows编译，而原来是如下配置的：

<requireOS>
  <family>unix</family>
</requireOS>

需要修改如下：

<requireOS>
     <family>windows</family>
 </requireOS>

果然可以顺利编译了。

作者 east

大数据开发 8月 17,2022

CDH6.3.2安装Atlas2.1.0遇到的坑

1、服务器默认是python3,启动atlas报错

Atlas 2.1.0使用的是python2，不支持python3，安装atlas的服务器是默认用python3（用于深度学习），而python3和python2语法差别大，修改了print的语法差异，又报别的错误。

服务器centos默认安装有python2.7了，可以指定python2来执行atlas命令。

例如像下面这样：

/usr/bin/python2.7

2.启动atlas连不上hbase或zookeeper

安装atlas后，访问atlas地址 http://cdh01:21000，看后台日志报错

java.net.ConnectException: Connection refused
	at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
	at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
	at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:350)
	at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1224)
2022-08-16 18:29:03,585 WARN  - [ReadOnlyZKClient-cdh01:2181,cdh02:2181,cdh03:2181@0x120df990:] ~ 0x120df990 to cdh01:2181,cdh02:2181,cdh03:2181 failed for gete/hbaseid, code = CONNECTIONLOSS, retries = 1 (ReadOnlyZKClient$ZKTask$1:192)
2022-08-16 18:29:04,622 WARN  - [main:] ~ org.apache.solr.client.solrj.impl.Krb5HttpClientBuilder is configured without specifying system property 'java.securiogin.config' (Krb5HttpClientBuilder:142)
2022-08-16 18:29:05,105 WARN  - [main-SendThread(cdh03:2181):] ~ Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnntCnxn$SendThread:1245)

网上看原因说是连不上zookeeper，明明CDH有安装zookeeper。又查了别的atlas安装教程，觉得配置是没问题。

在zookeeper的命令行输入

./zkServer.sh status

看到输出的日志是：

JMX enabled by default
Using config: /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/zookeeper/bin/../conf/zoo.cfg
Mode: standalone

想到报错日志是cdh01:2181,cdh02:2181,cdh03:2181，而zookeeper却是单机模式，觉得也许有问题，于是在CDH的管理后台又添加多2个实例

3、访问atlas后台地址一直转圈

由于有别的端口占用21000，导致访问不了，修改atlas-application.properties的端口地址就可以，然后重新启动。

作者 east

Hive 8月 15,2022

用Sqoop 从Hive导入到mysql发生java.lang.NumberFormatException异常

用CDH自带的sqoop，把hive的数据导入到sqoop，发生java.lang.NumberFormatException异常

在Yarn查找到详细日志如下：

java.lang.NumberFormatException
	at java.math.BigDecimal.<init>(BigDecimal.java:494)
	at java.math.BigDecimal.<init>(BigDecimal.java:383)
	at java.math.BigDecimal.<init>(BigDecimal.java:806)
	at org.apache.sqoop.mapreduce.hcat.SqoopHCatExportHelper.convertStringTypes(SqoopHCatExportHelper.java:271)
	at org.apache.sqoop.mapreduce.hcat.SqoopHCatExportHelper.convertToSqoop(SqoopHCatExportHelper.java:211)
	at org.apache.sqoop.mapreduce.hcat.SqoopHCatExportHelper.convertToSqoopRecord(SqoopHCatExportHelper.java:134)
	at org.apache.sqoop.mapreduce.hcat.SqoopHCatExportMapper.map(SqoopHCatExportMapper.java:56)
	at org.apache.sqoop.mapreduce.hcat.SqoopHCatExportMapper.map(SqoopHCatExportMapper.java:35)
	at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146)
	at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:799)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:347)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)

想到可能是定义的mysql表结构，Decimal类型转化出问题。有可能是decimal没有定义精度，尝试先改为string类型，再用sqoop导入hive到mysql中，一切正常，在mysql也顺利看到数据了。

作者 east

年度归档2022