DataX、Sqoop抽取Sharding-Proxy数据遇到问题和解决方案

公司有几十T的数据库数据，采用sharding-proxy来分库分表存取。采用sharding-proxy，可以让客户端像普通单库一样调用，但用datax、sqoop抽取数据却发现那么简单。

原先是用 sharding-proxy 4.1.0 版本，springboot采用druid来读取数据或用navicat高版本来读没问题，所以一直没有升级。

不幸的是，用sqoop 1.4.7来抽取数据时，发生报错“Failed to switch schema, please terminate current transaction”。网上相关的资料很少，后来查到是 sharding-proxy 报的错，在github讨论区有说这个问题，
https://github.com/apache/shardingsphere/issues/5531

刚开始以为是sqoop读取表结构时遇到的问题，改用dataX来抽取数据，还是同样的问题。后来升级 sharding-proxy 到最新版本，终于没报这个问题，但用sqoop抽取时，由于sqoop 1.4.7要先读取mysql的表结构，但是获取
sharding-proxy 的表结构发生错误，这个可以通过修改sqoop代码或别的方式来避开这个问题。

但DataX抽取数据时没这个问题，能很顺利抽取到
sharding-proxy 上面的数据。