如何归档mysql中的表数据

为提高效率,请提供以下信息,问题描述清晰能够更快得到解决:
【 TiDB 使用环境】
centos 7.8

【概述】 场景 + 问题概述
场景:用于存放mysql中的归档数据,
问题概述: 比如 order 表,在mysql中每次归档一次,就会产生 order_01,order_02,order_03,order_xx
这样业务每次查询的时候,就要遍历所有的表,进行查询,这样就非常的浪费时间。

【备份和数据迁移策略逻辑】
把历史数据迁移到归档 tidb中,tidb的表对外就是一张表

【背景】 做过哪些操作
尝试过 mysql 到 clickhouse 发现不太理想
【现象】 业务和数据库现象
业务只是偶尔会查询一下归档中的数据
【问题】 当前遇到的问题
不知道tidb有没有这种成熟的归档数据迁移方案。
【业务影响】
对业务的影响是更改数据源,影响不是很大,因为不是实时的数据,
【TiDB 版本】
还没有安装,目前只是在调研阶段
【附件】

  • 相关日志、配置文件、Grafana 监控(https://metricstool.pingcap.com/)
  • TiUP Cluster Display 信息
  • TiUP CLuster Edit config 信息
  • TiDB-Overview 监控
  • 对应模块的 Grafana 监控(如有 BR、TiDB-binlog、TiCDC 等)
  • 对应模块日志(包含问题前后 1 小时日志)

若提问为性能优化、故障排查类问题,请下载脚本运行。终端输出的打印结果,请务必全选并复制粘贴上传。

看下 DM 2.0.6 的官方文档
有关 分库分表 合流复制到 TiDB 相关文章

https://docs.pingcap.com/zh/tidb-data-migration/stable/usage-scenario-simple-migration

1 个赞

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。