dm的配置文件最初使用正则表达式只同步t开头表,后来想同步所有表,修改配置文件为同步全部表。修改完配置文件后重启任务,但是非t开头的表没有同步。什么原因? 使用命令关闭重启: stop-task single start-task task.yaml 修改前:
# 任务名,多个同时运行的任务不能重名。
name: "syncer"
# 全量+增量 (all) 同步模式。
task-mode: "all"
# 下游 TiDB 配置信息。
target-database:
host: "192.168.10.111"
port: 4000
user: "root"
password: "SYUDS9UPfUnc2jSCZ6vya0B+SVgPhNvWQP0="
# 当前数据同步任务需要的全部上游 MySQL 实例配置。
mysql-instances:
-
# 上游实例或者复制组 ID,参考 `inventory.ini` 的 `source_id` 或者 `dm-master.toml` 的 `source-id 配置`。
source-id: "mysql"
# 需要同步的库名或表名的黑白名单的配置项名称,用于引用全局的黑白名单配置,全局配置见下面的 `black-white-list` 的配置。
black-white-list: "global"
# mydumper 的配置项名称,用于引用全局的 mydumper 配置。
mydumper-config-name: "global"
loader-config-name: "global"
syncer-config-name: "global"
# 黑白名单全局配置,各实例通过配置项名引用。
black-white-list:
global:
do-tables: # 需要同步的上游表的白名单。
- db-name: "hydee" # 需要同步的表的库名。
tbl-name: "~^t.*"
# mydumper 全局配置,各实例通过配置项名引用。
mydumpers:
global:
mydumper-path: "./bin/mydumper" # mydumper 二进制文件的路径。
extra-args: "-B hydee --regex=t.*"
loaders:
global:
pool-size: 16
dir: "./dumped_data"
syncers: # syncer 处理单元运行配置参数。
global:
worker-count: 5 # syncer 并发同步 binlog event 的线程数量。
batch: 5 # syncer 同步到下游数据库的一个事务批次 SQL 语句数。
max-retry: 10
修改后:
# 任务名,多个同时运行的任务不能重名。
name: "single"
# 全量+增量 (all) 同步模式。
task-mode: "all"
# 下游 TiDB 配置信息。
target-database:
host: "192.168.10.111"
port: 4000
user: "root"
password: "SYUDS9UPfUnc2jSCZ6vya0B+SVgPhNvWQP0="
# 当前数据同步任务需要的全部上游 MySQL 实例配置。
mysql-instances:
-
# 上游实例或者复制组 ID,参考 `inventory.ini` 的 `source_id` 或者 `dm-master.toml` 的 `source-id 配置`。
source-id: "mysql1"
# 需要同步的库名或表名的黑白名单的配置项名称,用于引用全局的黑白名单配置,全局配置见下面的 `black-white-list` 的配置。
black-white-list: "global"
# mydumper 的配置项名称,用于引用全局的 mydumper 配置。
mydumper-config-name: "global"
loader-config-name: "global"
syncer-config-name: "global"
# 黑白名单全局配置,各实例通过配置项名引用。
black-white-list:
global:
do-tables: # 需要同步的上游表的白名单。
- db-name: "~.*" # 需要同步的表的库名。
tbl-name: "~.*"
# mydumper 全局配置,各实例通过配置项名引用。
mydumpers:
global:
mydumper-path: "./bin/mydumper" # mydumper 二进制文件的路径。
extra-args: ""
loaders:
global:
pool-size: 16
dir: "./dumped_data"
syncers: # syncer 处理单元运行配置参数。
global:
worker-count: 5 # syncer 并发同步 binlog event 的线程数量。
batch: 5 # syncer 同步到下游数据库的一个事务批次 SQL 语句数。
max-retry: 10