为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
- 【TiDB 版本】:V4.0.0
- 【问题描述】:如题通过lightning和LOAD DATA LOCAL INFILE都会出现
表结构如下:
导入CSV数据文件如下:
导入结果如下:
烦请指导一下是哪里出错了…
为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。
目前发现是csv文件里面的日期字段外部有双引号,应该是导入的时候默认为字符串然后当做非法日期字段重置为0000-00-00,请问有什么办法可以让导入程序识别YYYY-MM-DD的日期格式字符串吗?
能否试下先手工去掉双引号,只有日期能否导入,多谢
已经确认,只有日期是可以的。现在问题是源文件比较大,手动或者脚本去除有点麻烦,希望求助看是否有更好的处理方式?
关键是不是所有的字段都是被"包围,例如有一些int字段等等,目前临时解决办法还是通过脚本来批量替换…
现在导入正常了吗?上面的问题最终是通过替换符号来解决的?
@Hacker_O739CLjV tidb-lightning 里面有如下设置:
[mydumper.csv]
delimiter = '"'
指定字符串的分隔符,麻烦确认一下你使用的配置里面是不是这个,如果不是的话,那么「"」 字符就会被作为字符串的一部分导致解析不符合预期
嗯,通过脚本批量去掉里面日期字段的"然后导入就正常了
我的字段是通过|来分割的,所以直接当做字符串来解析了
字段分割和字符串边界对应两个不同的字段:
[mydumper.csv]
separator = '|' # 分割字段
delimiter = '"' # 处理字符串边界
好的,我再试试
有进展再反馈吧,多谢。