DM同步数据过程中dump一直运行但是loader进程一直未启动

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0.5
  • 【问题描述】: DM同步数据过程中dump一直运行,数据库中所有库均为同步,dm-meta库中表也均为空,日志打印没有load的日志。 配置
# 任务名,多个同时运行的任务不能重名。
name: "test_tidb"
# 全量+增量 (all) 同步模式。
task-mode: "all"
# 下游 TiDB 配置信息。
target-database:
  host: "192.168.10.201"
  port: 4000
  user: "root"
  password: "*******"

# 当前数据同步任务需要的全部上游 MySQL 实例配置。
mysql-instances:
#-
#  # 上游实例或者复制组 ID,参考 `inventory.ini` 的 `source_id` 或者 `dm-master.toml` 的 `source-id 配置`。
#  source-id: "mysql1"
#  # 需要同步的库名或表名的黑白名单的配置项名称,用于引用全局的黑白名单配置,全局配置见下面的 `black-white-list` 的配置。
#  black-white-list: "global"
#  # mydumper 的配置项名称,用于引用全局的 mydumper 配置。
#  mydumper-config-name: "global"
#  loader-config-name: "global"
#  syncer-config-name: "global"
-
  source-id: "mysql4"
  black-white-list: "global"
  mydumper-config-name: "global"
  loader-config-name: "global"
  syncer-config-name: "global"

# 黑白名单全局配置,各实例通过配置项名引用。
black-white-list:
  global:
    do-tables:                        # 需要同步的上游表的白名单。
    - db-name: "~^h3.*"              # 需要同步的表的库名。
      tbl-name: "~.*"
# mydumper 全局配置,各实例通过配置项名引用。
mydumpers:
  global:
    mydumper-path: "./bin/mydumper"   # mydumper 二进制文件的路径。
    extra-args: "" 

loaders:
  global:
    pool-size: 16
    dir: "./dumped_data"

syncers:                                            # syncer 处理单元运行配置参数。
  global:
    worker-count: 5                                # syncer 并发同步 binlog event 的线程数量。
    batch: 5                                     # syncer 同步到下游数据库的一个事务批次 SQL 语句数。

日志: dm-worker.log (435.2 KB)

您好: 1. dump日志里有报错: [2020/03/19 09:58:20.949 +08:00] [ERROR] [mydumper.go:142] [“Error dumping schemas (ds0.V_ROLE_FUNC): SHOW VIEW command denied to user ‘h3_34_read’@‘192.168.10.101’ for table ‘V_ROLE_FUNC’”] [task=test_tidb] [unit=dump]
2. 检查以下赋权限再试试

1赞

找到原因了。

mydumpers:
  global:
    mydumper-path: "./bin/mydumper"   # mydumper 二进制文件的路径。
    extra-args: "" 

extra-args: “” 参数我配置完过滤可以成功了,应该就是权限问题,谢谢

好的。。