将 TiDB 作为数仓,使用 KETTEL 进行 ETL ,有哪些最佳实践?

单位采用 TiDB 作为数仓,但是,有同事提到 使用 KETTEL 进行批量数据导入时,锁会非常影响数据导入的效率,现阶段只能一条一条数据导入。
我想问一下,这类问题有 tidb 是要怎么配置最好,有没有最佳实践。

一般具体问题具体分析,大方向的最佳实现也都有局限性,分析一下你现在的情况,你说的是什么锁影响到了etl导数?etl的过程现在是怎么组织的?

一条一条的导入?你的数据源是什么?

KETTEL 也是可以batch insert 的, KETTEL 也是通过 jdbc 的方式处理的

是不是KETTEL 没配置好?
和 tidb 没多大关系

数仓相关的文章推荐,你可以看一下:

1 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。