dm-worker 持续dump 数据过程中异常

在dump 数据的过程中dm-worker.log 有如下输出


问题1:我在task 文件中的配置如下,只同步一个db的数据,为何还有抽取sys 库的内容 ?
image

问题2:这个worke 在dump数据时一直不停,dump目录忽大忽小的,是否跟上面的报错有关 ?
抽取用户的权限为:

GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, RELOAD, REPLICATION SLAVE, REPLICATION CLIENT ON .

  1. 辛苦上传下完整的 task 文件
  2. dm 版本辛苦说明下。
  3. 尝试将配置写成如下格式,stop-task、start-task 看结果如何
black-white-list:
  rule-1:
    do-dbs: ["~^test3.*"]

dm_version = v1.0.6

---
name: rd_spam                     # global unique
task-mode: all                  # full/incremental/all
is-sharding: false             # whether multi dm-worker do one sharding job 
meta-schema: "dm_meta"         # meta schema in downstreaming database to store meta informaton of dm
remove-meta: false              # remove meta from downstreaming database, now we delete checkpoint and online ddl information
enable-heartbeat: false         # whether to enable heartbeat for calculating lag between master and syncer
case-sensitive: true


target-database:
  host: "172.xxx.34"
  port: 4000
  user: "dm_worker"
  password: "xxxxxxx"
  session:
    sql_mode: "NO_ENGINE_SUBSTITUTION"

mysql-instances:  
  -
    source-id: "rd_spam"
    black-white-list:  "bw-rule-rd_spam"
    mydumper-config-name: "global"   # ref `mydumpers` config
    syncer-config-name: "global"    # ref `syncers` config
    loader:
      pool-size: 4
      dir: "/data/dm_worker7/dumped_data"

black-white-list:
  bw-rule-rd_spam:
    do-dbs: ["spamcenter"]
mydumpers:
  global:
    mydumper-path: "/home/tidb/tidb-tools/bin/mydumper"
    threads: 8
    chunk-filesize: 64
    skip-tz-utc: true
    extra-args: "--no-locks --regex '.*'"
syncers:                 
  global:
    worker-count: 8
    batch: 100

感觉我这配置很正经啊,有些实例只有几个db,所以我就写全名,以后做自动化也方便。这个写法不应该影响过滤规则吧。

另外我将抽取用户授予了all 权限,现在正常了。
dump 目录中除了指定的数据库数据,还抽取了mysql 库和sys 库的数据。如下为部分dump文件

此选项将会 dump 所有数据库表,–no-locks 如果 dump 用户存在 reload 权限,不建议使用哈

此选项如果在 extra-args 中没有对 --tables-list 有影响的,将会以此黑白名单的配置作为 --table-list 的值,在 dm-worker 搜索 tables-list 上面几行会有类似信息输出,


可以将想要同步的数据库写在 black-write-list 中即可,相关的内容在文档中都有体现,可以先看下
https://docs.pingcap.com/zh/tidb-data-migration/stable/feature-overview#过滤规则

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。