flink 1.12用Flink SQL写入Doris的坑
在flink 1.12,用flink sql写入doris,相关pom配置如下:
<dependency>
<groupId>org.apache.doris</groupId>
<artifactId>flink-doris-connector-1.12_2.11</artifactId>
<version>1.0.3</version>
</dependency>
to_date('2025-01-14')实际写入到doris变成了另外一个日期,非常坑。而且
Flink Connector 24.0.0 版本之后支持使用Arrow Flight SQL 读取数据 ,速度提高非常快。
flink-doris-connector各版本兼容如下。
版本兼容
Connector Version | Flink Version | Doris Version | Java Version | Scala Version |
---|---|---|---|---|
1.0.3 | 1.11,1.12,1.13,1.14 | 0.15+ | 8 | 2.11,2.12 |
1.1.1 | 1.14 | 1.0+ | 8 | 2.11,2.12 |
1.2.1 | 1.15 | 1.0+ | 8 | – |
1.3.0 | 1.16 | 1.0+ | 8 | – |
1.4.0 | 1.15,1.16,1.17 | 1.0+ | 8 | – |
1.5.2 | 1.15,1.16,1.17,1.18 | 1.0+ | 8 | – |
1.6.2 | 1.15,1.16,1.17,1.18,1.19 | 1.0+ | 8 | – |
24.0.1 | 1.15,1.16,1.17,1.18,1.19,1.20 | 1.0+ | 8 | – |
比较好选择是选择Flink 1.16以上(可以兼容hive语法90
%以上)。升级到flink 1.17后,to_date(‘2025-01-14’)返回结果果然正常了。