csv导入数据时,双引号导致切分串字段

通过load data导入数据时,出现串字段问题

load参数

结果

tidb

clickhouse

异常数据


“dfe862235726nd”,“”,“MESSAGE_NEW_INSERT_3”,“ndragnet”,“2021069”,“广东”,“2102696”,“2100997”,“2010001”,“700364918,2010001,2100944,2100997,2100999,2101046,zhoushengwei,wanglihong02,2010001,2021069,2102696”,“sunlandscom”,“xx”,“15891975262097359”,“2102774”,“wanglihong02”,“xx-A”,“”,“FOLLOWING”,“sem”,0,“2010001”,“2030222”,“【尚德机构】自考,MBA,注册会计师,教师资格证,人力资源师培训-中国新锐的互联网大学 19:46:23”,“32”,“2021069”,“xx”,“xx”,“2”,“2020-05-12 11:24:03”,“xx”,“xx-A”,“xx-DY-7C-0507”,“13”,“”,“13”,“0”,“700364918,2010001,2100944,2100997,2100999,2101046,zhoushengwei,wanglihong02,2010001,2021069,2102696,13,206”,“APP”,“mb”,“700364918”,“xx”,“2102696”,“3”,“2102756”,“xx”,“2010001,2021069,2102696,2102756,2102774,liuqiguang02-pq”,“xx”,“1367221013**”,“xx”,“2020-05-20 10:32:04”,“2101046”,“2010001”,“2010001”,“xx”,“zhoushengwei”,“a446a1a0698ae394d9b8d8f5e607e5fb”,“xx”,“4270EA0105A6719EA6A4B17E516F3E2D”,“xx”,“2020-05-20 10:32:04”,“xx”,“”,“”,“1649913516903431”,“liuqiguang02-pq”,“”,“xx”,“2100944”,“toutiao”,“xx-B5”,“”,“2010001”,“362237575”,“ISMOBILE”,“xx-B5”,“206”,“700364918,2010001,2100944,2100997,2100999,2101046,zhoushengwei,wanglihong02”,“32”,“【尚德机构】自考,MBA,注册会计师,教师资格证,人力资源师培训-中国新锐的互联网大学”“,”“orit”“:900000000,”“req_id”“:”“1589197522589_e904d699a56e4774923af2e6e0c7a08du1683"”,““rit””:913206037,““sign””:““D41D8CD98F00B204E9800998ECF8427E””,““uid””:109018035531,““ut””:12}",“1589197581699”,“2100944”,“2021069”,“1”,“xx-A”,“1045”,“xx”,“62235726”,“2100999”,189,1184,34.238,32.3,“2020-05-12 10:00:38”,“2021069”,“2102774”,“2010001”,“xx-B5”,“1”,“xx-A”,“2020-05-12 11:24:03”,“xx”,“FOLLOWING”,“2102756”,“liuqiguang02-pq”,“2102696”,“2020-05-12 11:24:02”,“xx”,“1”,“2020-05-20 09:33:15”,“2020-05-12 11:24:02”,“2”,“A2”

麻烦给一下表结构 和 几条测试语句 ,我试一下导入 mysql 的结果,多谢。

有表结构和一条数据,重点是url字段

data.txt (8.6 KB)

多谢,我先测试一下,这里有 lightning 的配置信息,您可以看下是否满足要求

https://pingcap.com/docs-cn/v3.0/tidb-lightning/migrate-from-csv-using-tidb-lightning/

lightning我看lighting会导致tidb短时间不可用,就没用这个。

您好,我在mysql 测试,也是这样,您之前是从哪里导出的呢? 导入的方法,我还没有找到,数据量很大吗?能否先手工修改要导入的数据?

我是从clickhouse中用INTO OUTFILE ‘f_mid_business_card’ FORMAT CSVWithNames,导出的是标准csv,这个要怎么避免这种问题啊

你这里正好解析为了一个分隔符,看下数据量如果比较少,可以改一下,如果比较多,看下导出时有没有方法避免,多谢。

image

好的,谢谢老师了。

我通过jdbc写入了,但是我觉得这个问题需要修复一下,毕竟那是一个标准的csv文件https://tools.ietf.org/html/rfc4180

好的,多谢建议