Flink 通过tikvClient 写数据太慢

【 TiDB 使用环境】测试
【 TiDB 版本】v5.4.0
【复现路径】通过flink +TIKV Client 写入数据较慢
【遇到的问题：问题现象及影响】 现在遇到 tidb 写瓶颈，想通过tikv 两阶段提交 来优化写

使用flink Stream API 开发 自定义Sink :

两阶段提交代码如下可参考：

public void KVSet(TiSession session, @Nonnull List pairs) {
System.out.println("最后要进行put .size() = " + pairs.size());
Iterator iterator = pairs.iterator();
if (!iterator.hasNext()) {
return;
}

    twoPhaseCommitter = new TwoPhaseCommitter(session, session.getTimestamp().getVersion());
    BytePairWrapper primaryPair = iterator.next();

    try {
        twoPhaseCommitter.prewritePrimaryKey(
                ConcreteBackOffer.newCustomBackOff(2000),
                primaryPair.getKey(),
                primaryPair.getValue());

        if (iterator.hasNext()) {
            twoPhaseCommitter.prewriteSecondaryKeys(
                    primaryPair.getKey(), iterator, 2000);
        }

        twoPhaseCommitter.commitPrimaryKey(
                ConcreteBackOffer.newCustomBackOff(1000),
                primaryPair.getKey(),
                session.getTimestamp().getVersion());
        System.out.println("这里提交了两阶段提交");

    } catch (Throwable ignored) {
        System.out.println("这里出现异常");
        ignored.printStackTrace();
    } finally {
        try {
            twoPhaseCommitter.close();
        } catch (Exception e) {
            System.out.println("这里又出现异常");

            e.printStackTrace();
        }

    }
}

写入测试 后的数据记录：

平均 每秒 130.2条/s

写入设置：最大批次 写入条数 30000条，最大 批次 时间1s

同时我也进行了 最大批次 3000 条数据，最大批次时间1s

结果也是差不多；

我写的方式是单个task ，单线程写入，完全不及JDBC ，大失所望

这里再分享一下自己汇总的 tidb Column.type 和java 数据类型的转化对比 type

image1195×1189 63.9 KB

最后一个疑问： 我们通过tidb JDBC 写入数据在底层实现也是 tikv kvClient put /get /delete 实现的么？是我自己写的方式需要优化么？

哦，对了，没有使用 tikv rawClient ，rawClien 没有找到 encode & decode 相关资料

需要注意以下几点：

1. 请确保您的 TiKV 集群已经正确配置和部署，并且您的 Java 客户端已经正确连接到 TiKV 集群。
2. 请确保您的代码中使用的 TiKV Java 客户端版本与您的 TiKV 集群版本兼容。您可以在 TiKV Java 客户端的 GitHub 仓库中查看版本兼容性信息。
3. 请注意，使用两阶段提交可能会对性能产生一定的影响。在实际使用中，您需要根据具体情况进行测试和优化。

另外，如果您遇到 TiDB 写入性能问题，您可以首先检查 TiDB 相关的仪表盘，如 TiKV-FastTune 仪表盘。如果问题在存储端，您可以在 TiKV-FastTune 仪表盘中查看可能导致性能问题的原因，并检查相应的图表。

你的资源配置是什么样的？

测试环境16G内存四核 3台 机器，部署 Tidb 3, tikv 3, tipd 3 flink 本地部署，16G+12核，但是使用单并行度进行写操作

TiKV-FastTune 仪表盘 这个还没有研究过，得看下

可以 类似 Doris 做 flink-connect-tidb 来优化flink 写 tidb

突然想到，flink操作tikv 是单线程操作，使用本地资源，但是jdbc不是，它会调用集群的资源去写，如此，jdbc 写入速度是单独操作tikv 的 集群总线程的倍数，如此解释好像会合理一些