DM可否支持在同步数据时,对某些字段的值进行转换?比如用于敏感字段脱敏。

我知道 Column mapping 可以在分表合并时,重写主键ID。

那么,有没有类似的功能,可以支持对某些字段进行转换处理呢,比如支持使用正则替换的方式,用于手机号、身份证号字段的字符脱敏。

希望有这么个功能,可以用于将TiDB作为数据仓库进行建设并实现实时脱敏能力。

https://github.com/pingcap/dm/issues/996

很好的建议,我们记录在了上面的issue里,不过近期没有开发排期了。

方便介绍一下什么业务、怎样的审计下希望有这个特性吗,如果仅在TiDB中实现敏感字段的屏蔽可以满足要求吗

我司目前的业务库仍然使用的是阿里云的RDS,数据分析这块是通过DM同步各业务数据到TiDB作为数据仓库使用的,有时候需要给产品同学或其他同学开一些数据访问账号,那我就希望开放的这些底层数据里,就直接屏蔽掉敏感字段。

TIDB这里好像只能实现表级别的权限控制?如果有类似解决方案,也请教我一下,谢谢。

用比较新的TiDB的话,已经支持VIEW了,可以试一下

https://docs.pingcap.com/zh/tidb/stable/views#使用-show-create-table-view_name-或-show-create-view-view_name-语句

啊哈,是的,计划中是准备用视图来实现的。

然后这两天在翻DM资料,想到能不能源头就直接转换掉字段,所以才来提这么个建议。

:handshake: