Flink CDC的日志解析
在开发Flink CDC时,可以看到类似下面的日志:
com.ververica.cdc.connectors.mysql.source.reader.MySqlSourceReader [] – Binlog offset on checkpoint 83: {transaction_id=null, ts_sec=0, file=mysql_binary_log.000031, pos=488646219, kind=SPECIFIC, gtids=0ada2b25-c265-11e9-8a8d-fa163e713fa8:1-2781408, row=0, event=0, server_id=1}
根据日志可以做下面的解析:
- 你的Flink任务是使用Flink CDC Connector来从MySQL读取数据,并且使用MySqlSourceReader来读取MySQL的binlog。
- 你的Flink任务在checkpoint 83时,记录了当前的binlog偏移量,用于在故障恢复时重新定位数据源。
- 你的binlog偏移量包含了以下几个字段:
- transaction_id: 当前事务的ID,如果没有事务,则为null。
- ts_sec: 当前事件的时间戳,单位为秒。
- file: 当前binlog文件的名称。
- pos: 当前binlog文件的位置,单位为字节。
- kind: 当前事件的类型,可以是SPECIFIC(特定事件),ROW(行事件),DDL(数据定义语言事件)或DML(数据操作语言事件)。
- gtids: 当前全局事务标识符集合,用于跨多个MySQL服务器标识事务。
- row: 当前行事件的行号,从0开始。
- event: 当前行事件的事件号,从0开始。
- server_id: 当前MySQL服务器的ID。