在dump 数据的过程中dm-worker.log 有如下输出
问题1:我在task 文件中的配置如下,只同步一个db的数据,为何还有抽取sys 库的内容 ?
问题2:这个worke 在dump数据时一直不停,dump目录忽大忽小的,是否跟上面的报错有关 ?
抽取用户的权限为:
GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, RELOAD, REPLICATION SLAVE, REPLICATION CLIENT ON .
在dump 数据的过程中dm-worker.log 有如下输出
问题2:这个worke 在dump数据时一直不停,dump目录忽大忽小的,是否跟上面的报错有关 ?
抽取用户的权限为:
GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, RELOAD, REPLICATION SLAVE, REPLICATION CLIENT ON .
black-white-list:
rule-1:
do-dbs: ["~^test3.*"]
dm_version = v1.0.6
---
name: rd_spam # global unique
task-mode: all # full/incremental/all
is-sharding: false # whether multi dm-worker do one sharding job
meta-schema: "dm_meta" # meta schema in downstreaming database to store meta informaton of dm
remove-meta: false # remove meta from downstreaming database, now we delete checkpoint and online ddl information
enable-heartbeat: false # whether to enable heartbeat for calculating lag between master and syncer
case-sensitive: true
target-database:
host: "172.xxx.34"
port: 4000
user: "dm_worker"
password: "xxxxxxx"
session:
sql_mode: "NO_ENGINE_SUBSTITUTION"
mysql-instances:
-
source-id: "rd_spam"
black-white-list: "bw-rule-rd_spam"
mydumper-config-name: "global" # ref `mydumpers` config
syncer-config-name: "global" # ref `syncers` config
loader:
pool-size: 4
dir: "/data/dm_worker7/dumped_data"
black-white-list:
bw-rule-rd_spam:
do-dbs: ["spamcenter"]
mydumpers:
global:
mydumper-path: "/home/tidb/tidb-tools/bin/mydumper"
threads: 8
chunk-filesize: 64
skip-tz-utc: true
extra-args: "--no-locks --regex '.*'"
syncers:
global:
worker-count: 8
batch: 100
感觉我这配置很正经啊,有些实例只有几个db,所以我就写全名,以后做自动化也方便。这个写法不应该影响过滤规则吧。
另外我将抽取用户授予了all 权限,现在正常了。
dump 目录中除了指定的数据库数据,还抽取了mysql 库和sys 库的数据。如下为部分dump文件
此选项将会 dump 所有数据库表,–no-locks 如果 dump 用户存在 reload 权限,不建议使用哈
此选项如果在 extra-args 中没有对 --tables-list 有影响的,将会以此黑白名单的配置作为 --table-list 的值,在 dm-worker 搜索 tables-list 上面几行会有类似信息输出,
此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。