tidb对非结构化数据的存储和处理性能支持如何

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:

【TiDB 版本】
v5.0.0

【问题描述】
目前考虑项目中使用tidb作为整体存储层方案,存储结构化数据,但还有部分的非结构化数据需要存储和处理,统一使用tidb中的大文本类型进行存储是否可行?大文本字段类型在使用时有哪些注意点?或者这部分数据使用hadoop或者es去进行存储,搭配tidb是否合适?


若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

TiDB 是支持大文本类型的存储的。可以查看以下文档中的各种 lob 类型。
https://docs.pingcap.com/zh/tidb/stable/data-type-string

性能方便建议您使用业务数据先进性简单的测试。
或者可以考虑将文本类型的数据存放到 es 中进行运算。
同时我们也推行了 flink + tidb 这种批流一体的架构。
可以使用 flink 读取 tidb 与 flink 中的数据进行运算后汇总到 tidb。

好的,谢谢您的答复

关于 flink + tidb 的内容介绍,可以参考一下以下的文章:
https://asktug.com/t/topic/68731
https://asktug.com/t/topic/68884

如果您考虑使用 flink 的话,可以联系我们进一步合作。

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。