数据迁移字符集问题

  • 【TiDB 版本】:3.1
  • 【问题描述】:

从原有的mysql数据库迁移数据到tidb,遇到字符集问题。

1.源mysql中表t_pay_detail的编码是gbk,该表中部分字段编码是utf-8。也就是说使用mydumper工具导出的sql文件中,一行数据会有两种编码。

2.对整个文件转码方法不可行,因为一行数据有两种不同的编码,无论怎么转码,都会有乱码。

3.导出为CSV文件的方式可行,但是太慢,数据量太大。

4.使用DM或者Syncer实时同步binlog时,订阅的binlog也存在这个问题,导致TiDB无法执行binlog的插入和更新操作。

···················请问有什么方法吗 (既要离线导入数据,也要实时同步数据。。。)

请参考这个帖子的回答,看下是否可行,多谢