tidb慢sql插入有什么优化方案？

我知道是为了去重，我的意思是为什么会有重复数据，是否可以在插入之前将重复数据过滤掉。这样全量推给数据库，只不过是性能瓶颈转移了，并没有解决实际问题。