lightning数据导入tidb时报错

🪐 TiDB 技术问题 备份&数据迁移
1

显示数据太大，这个怎么解决？

image
image1696×152 15.8 KB

2

此错误为 tidb 对于事务的大小限制：

image
image795×224 8.04 KB

可以看下 mydumper 在官网中的，使用 –chuck-filessize 来解决此问题

3

我们用mysql做的dump，这个怎么弄？

4

你好，

请提供下 tidb 和 lighting 的版本，多谢

5

tidb 3.0.2 lightning 3.0.2

6

好的 感谢回复，我这边看下~

7

怎么样了？

8

你好，

请确认该表是否存在超大 blob，目前解决你这个问题需要对该超长字段进行处理。

  1. 3.0.2是不能支持大 blob，通过 black-white-list 跳过该表，或者跳过这个 entry

  2. 被过滤表可以通过 mydumper -w ‘length(the_blob) < 5*1048576’ 过滤掉。

9

我们数据库要存这个数据怎么办？怎么才能存入这个数据呢？

10

你好，

大字段对于数据库是不友好的，目前建议通过业务拆分大字段，已满足要求。