Tidb Lightning导入Dumpling sql文件 ["syntax error"]

关于第二个问题,麻烦在 db_crm.t_customer_contacts.1.sql 里面搜索一下「(()」 这个,看看是否存在一行的开始是这样的

目前看起来问题是出在解析 sql 文件的时候出错了,因为使用不同 backend 应该不会有区别

SQL文件中没有[(()],我目前使用mysqldump+source方式导出导入的 没有报错

這個要看看下游數據庫和 /data/dump/t_customer/db_crm.t_customer-schema.sql 裡有沒有一個名為 “0x” 的列, 或者包含 0x 兩個字的東西

這個要檢查 /data/dump/t_customer_contacts/db_crm.t_customer_contacts.1.sql 在 offset=31384834 是寫成怎樣的

head -c 31384900 /data/dump/t_customer_contacts/db_crm.t_customer_contacts.1.sql | tail
(157400,28,1,1,'李虓',NULL,'',NULL,'01053368662',NULL,'',NULL,'',NULL,0,NULL,NULL,'','','2018-11-05 17:39:32','2016-07-07 12:04:26',1,'2018-11-05 17:39:31',NULL,12,1,1271497443065729096,NULL,0,0,0,0),
(157401,28781,1,1,'李世浩',NULL,'',NULL,'13521730741',NULL,'',NULL,'',NULL,0,NULL,NULL,'','',NULL,'2016-07-07 12:04:26',1,NULL,NULL,12,1,1271497443149619241,NULL,0,0,0,0),
(157402,143445,1,1,'崔峻岗',NULL,'',NULL,'69470306',NULL,'',NULL,'',NULL,0,NULL,NULL,'','','2017-08-07 09:18:44','2016-07-07 12:04:26',1,'2017-08-07 09:18:44',NULL,12,1,1271497443560656898,NULL,0,0,0,0),
(157403,143446,1,1,'已退休','','',NULL,'13693093891',NULL,'',NULL,'',NULL,0,NULL,NULL,'','',NULL,'2016-07-07 12:04:27',1,'2020-02-20 15:08:42',NULL,12,1,1271497443858456579,NULL,0,0,0,0),
(157404,143447,1,0,'林宝明',NULL,'',NULL,'15011221599',NULL,'',NULL,'',NULL,0,NULL,NULL,'','','2018-10-29 14:51:04','2016-07-07 12:04:27',1,'2019-08-22 16:49:08',NULL,12,1,1271497444001058837,NULL,0,0,0,0),
(157405,106040,1,1,'徐水波',NULL,'',NULL,'02160255635',NULL,'',NULL,'',NULL,0,NULL,NULL,'','','2017-03-08 10:53:47','2016-07-07 12:04:28',1,'2017-03-08 10:53:41',NULL,14,1,1271497444105916456,NULL,0,0,0,0),
(157406,106040,1,1,'徐水波',NULL,'',NULL,'02160255635',NULL,'',NULL,'',NULL,0,NULL,NULL,'','',NULL,'2016-07-07 12:04:28',1,NULL,NULL,12,1,1271497444231749638,NULL,0,0,0,0),
(157407,143448,1,1,'吴锦文',NULL,'',NULL,'18610287719',NULL,'',NULL,'',NULL,0,NULL,NULL,'','',NULL,'2016-07-07 12:04:29',1,NULL,NULL,12,1,1271497444344995881,NULL,0,0,0,0),
(157408,143449,1,1,'李思林',NULL,'',NULL,'13810672584',NULL,'',NULL,'',NULL,0,NULL,NULL,'','',NULL,'2016-07-07 12:04:30',1,NULL,NULL,12,1,1271497444470820959,NULL,0,0,0,0),
(157409,107080,1,1,'姬十三(嵇晓华)',NULL,'',NULL,'01085809983',NULL,'',NULL,'',NULL,0,NULL
CREATE TABLE `t_customer` (
  `id` bigint(20) NOT NULL COMMENT '客户标识',
  `city_id` bigint(20) DEFAULT NULL COMMENT '城市标识',
  `user_id` bigint(20) DEFAULT NULL COMMENT '用户标识',
  `status_id` tinyint(4) NOT NULL COMMENT '状态标识 3 成单客户',
  `level_id` tinyint(4) NOT NULL COMMENT '级别标识',
  `channel_id` tinyint(4) NOT NULL COMMENT '渠道标识',
  `industry_id` tinyint(4) DEFAULT NULL COMMENT '行业',
  `type_id` tinyint(4) DEFAULT 1 COMMENT '类型标识 0 线索转化 1独立开发  2签转客户',
  `contacts_id` bigint(20) DEFAULT NULL COMMENT '主联系人标识',
  `ecm_id` bigint(20) DEFAULT NULL COMMENT '风控标识',
  `status` tinyint(4) NOT NULL COMMENT '客户状态(0:删除;1:正常)',
  `name` varchar(200) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '客户名称',
  `phone` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '客户电话',
  `is_company` bit(1) NOT NULL DEFAULT b'1' COMMENT '是否公司',
  `is_rewarded` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否奖励',
  `cardno` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '身份证号',
  `organization` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '组织机构代码',
  `registration` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '工商注册号码',
  `registed_date` date DEFAULT NULL COMMENT '注册日期',
  `registed_capital` double DEFAULT NULL COMMENT '注册资本(元) ',
  `is_big` bit(1) DEFAULT NULL COMMENT '是否大客户',
  `real_star` double(12,2) DEFAULT NULL COMMENT '真实星级',
  `credit_status` tinyint(4) DEFAULT NULL COMMENT '授信状态(1:已提交;2:预授权;3:等待检验;4:检验推迟;5:已拒绝;6:发回修改;7:重新申请;8:停止付款;9:审核成功)',
  `credit_amount` double(12,2) DEFAULT NULL COMMENT '授信额度(元)',
  `available_amount` double(12,2) DEFAULT NULL COMMENT '可用额度(元)',
  `new_level` tinyint(4) DEFAULT NULL COMMENT '新品等级',
  `new_discount` double DEFAULT NULL COMMENT '新品折扣',
  `used_level` tinyint(4) DEFAULT NULL COMMENT '二手等级',
  `used_discount` double DEFAULT NULL COMMENT '二手折扣',
  `address` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '客户地址',
  `website` varchar(2048) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '网站地址',
  `incubator` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '孵化器名称',
  `financing_type` tinyint(4) DEFAULT NULL COMMENT '融资类型(0:未融资;1:A轮以前;2:A轮及以后) ',
  `financing_amount` double DEFAULT NULL COMMENT '融资金额(元) ',
  `mall_contacts` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '商城联系人',
  `mall_phone` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '商城电话',
  `sale_count` bigint(20) NOT NULL DEFAULT 0 COMMENT '销售数量(台)',
  `left_day_count` bigint(20) DEFAULT NULL COMMENT '回归剩余天数(天)',
  `description` varchar(4000) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
  `register_time` datetime DEFAULT NULL COMMENT '注册时间',
  `traced_time` datetime DEFAULT NULL COMMENT '跟踪时间',
  `first_user` bigint(20) DEFAULT NULL COMMENT '首签业务员',
  `first_time` datetime DEFAULT NULL COMMENT '首签时间',
  `leased_time` datetime DEFAULT NULL COMMENT '租赁时间',
  `created_time` datetime NOT NULL COMMENT '创建时间',
  `created_user` bigint(20) NOT NULL COMMENT '创建用户',
  `last_user` bigint(20) DEFAULT NULL COMMENT '最后负责人',
  `binded_time` datetime DEFAULT NULL COMMENT '绑定时间',
  `return_time` datetime DEFAULT NULL COMMENT '回归公海时间',
  `modified_time` datetime DEFAULT NULL COMMENT '修改时间',
  `additional` text COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '附加信息',
  `sea_type` int(4) DEFAULT 0 COMMENT '公海类型(0 普通公海 1直销公海)',
  `datasource_address` varchar(200) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '元数据链接地址',
  `first_credit_amount` double(12,2) DEFAULT 0.00 COMMENT '首次授信额度(元)',
  `payment_way` tinyint(4) DEFAULT 2 COMMENT '付款方式 1:先票后款 , 2:商城开票(非统一付款),3:商城开票(统一付款)',
  `user_grade` tinyint(4) DEFAULT 13 COMMENT '10:A 11:B 12:C 13:D 14:S',
  `check_account_day` tinyint(4) DEFAULT 1 COMMENT '账单日',
  `settle_account_day` tinyint(4) DEFAULT 5 COMMENT '结账日',
  `open_invoice_day` tinyint(4) DEFAULT 5 COMMENT '开票日',
  `left_days_no_order` int(10) DEFAULT NULL COMMENT '无订单回归公海剩余天数(天)',
  `left_days_no_telephone` int(10) DEFAULT NULL COMMENT '无通话记录回归公海剩余天数(天)',
  `left_days_desc` varchar(300) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '回归公海剩余天数描述',
  `renew_id` bigint(20) DEFAULT NULL COMMENT '续签人员',
  `finance_type` bigint(20) DEFAULT 1 COMMENT '融资类型',
  `company_scale` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '公司规模',
  `is_overdue` bit(1) DEFAULT b'0' COMMENT '是否逾期',
  `dispatch_user` bigint(20) DEFAULT NULL COMMENT '注册组分发人',
  `dispatch_time` datetime DEFAULT NULL COMMENT '注册组分发时间',
  `partner_account_id` bigint(20) DEFAULT NULL COMMENT '合伙人id',
  `private_sea_type` tinyint(8) DEFAULT 0 COMMENT '客户私(公)海等级。0-公海,1-私海1,2-私海2,3-私海3, 4-永久私海',
  `can_loan` tinyint(4) DEFAULT 0 COMMENT '押金金融预判(0:待处理;1:通过;2:不通过;)',
  `clue_id` bigint(20) DEFAULT NULL COMMENT '线索id',
  `biz_probability` decimal(4,2) DEFAULT 0.00 COMMENT '商机概率(0, 0.2, 0.4, 0.6, 0.8)',
  `expect_order_count` int(11) DEFAULT 0 COMMENT '预计下单台数',
  `expect_order_time` date DEFAULT NULL COMMENT '预计下单时间',
  `remark` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '商机备注信息',
  `agent_info_id` bigint(20) DEFAULT NULL COMMENT '代理商id',
  `category_type` tinyint(6) NOT NULL DEFAULT 3 COMMENT '私海2类别:1:一类客户,2:二类客户,3:三类客户',
  `reconciliation_man` bigint(20) DEFAULT NULL COMMENT '对账客服',
  `reconciliation_man_time` datetime DEFAULT NULL COMMENT '添加对账客服时间',
  `judge_result` tinyint(4) DEFAULT 0 COMMENT '判定结果(0.尚未判定或判定中;1.KA;2.KB; 3.KC; 4.未知; 9.SA客户)',
  `customer_success_manager` bigint(20) DEFAULT NULL COMMENT '客户成功经理',
  `customer_success_manager_time` datetime DEFAULT NULL COMMENT '客户成功经理时间',
  `last_visit_time` datetime DEFAULT NULL COMMENT '最近上门时间',
  `first_renew_user` bigint(20) DEFAULT NULL COMMENT '首签业务员(续签id)',
  `first_receive_user` bigint(20) DEFAULT NULL COMMENT '首次接收人',
  `first_receive_time` datetime DEFAULT NULL COMMENT '首次接收时间',
  `last_enter_private_sea_time` datetime DEFAULT NULL COMMENT '最近一次进入私海的时间',
  `industry_second` tinyint(4) DEFAULT NULL COMMENT '二级行业',
  `marketing_channel` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT '' COMMENT '市场渠道标识分三级用|隔开',
  `quality_high_sea_type` tinyint(2) DEFAULT NULL COMMENT '是否优质公海  1 是 其他不是',
  `quality_high_sea_reason` tinyint(4) DEFAULT NULL COMMENT '1.近30天内有新增有效销售记录 2.近30天内有效通话时长超过2分钟 3.近30天内有新建kp联系电话 4.近30天内,所有私海3回归的客户 5.近30天内,系统回归公海的私海2客户',
  `quality_high_sea_time` datetime DEFAULT NULL COMMENT '进入优质私海时间',
  `phase` tinyint(4) DEFAULT 0 COMMENT '客户阶段:0:公海;1:销售线索;2:确认商机;3:找到关键人;4:确认意向;5:注册授信;',
  `key_point` tinyint(4) DEFAULT 0 COMMENT '是否重点客户:0:否;1:是',
  `first_credit_time` datetime DEFAULT NULL COMMENT '首次授信时间',
  `business_condition` tinyint(4) DEFAULT NULL COMMENT '商机情况 ',
  `company_scale_type` tinyint(2) DEFAULT NULL COMMENT '人员规模。 0:未知(company_scale 0和空 都算是未知) 1:50人以下 2:50人以上',
  `score` tinyint(10) DEFAULT NULL COMMENT '市场部线索打分',
  `begin_company_scale` int(10) DEFAULT NULL COMMENT '客户人员规模 - 开始值 0代表未知',
  `end_company_scale` int(10) DEFAULT NULL COMMENT '客户人员规模 - 结束值 0代表未知',
  `customer_kernel_id` bigint(20) DEFAULT NULL COMMENT '客户核心id',
  `first_channel` int(11) DEFAULT NULL COMMENT '一级渠道 ',
  `second_channel` int(11) DEFAULT NULL COMMENT '二级渠道 ',
  `third_channel` int(11) DEFAULT NULL COMMENT '三级渠道',
  `compete_restrain_sale_id` bigint(20) NOT NULL DEFAULT 0 COMMENT '竞对抑制销售id',
  PRIMARY KEY (`id`),
  UNIQUE KEY `unique_index_clueId` (`clue_id`),
  KEY `fk_customer_channel_id` (`channel_id`),
  KEY `fk_customer_city_id` (`city_id`),
  KEY `fk_customer_contacts_id` (`contacts_id`),
  KEY `fk_customer_level_id` (`level_id`),
  KEY `fk_customer_status_id` (`status_id`),
  KEY `fk_customer_type_id` (`type_id`),
  KEY `index_first_user` (`first_user`) USING BTREE,
  KEY `index_first_time` (`first_time`) USING BTREE,
  KEY `fk_customer_user_id` (`user_id`,`renew_id`) USING BTREE,
  KEY `index_ecm_id` (`ecm_id`),
  KEY `customer_name` (`name`(150)),
  KEY `index_customer_user_id` (`user_id`),
  KEY `index_customer_renew_id` (`renew_id`),
  KEY `index_customer_dispatch_id` (`dispatch_user`),
  KEY `index_customer_created_time` (`created_time`),
  KEY `index_customer_create_user` (`created_user`),
  KEY `index_customer_bind_time` (`binded_time`),
  KEY `index_customer_success_manager` (`customer_success_manager`) USING BTREE,
  KEY `index_customer_trace_time` (`traced_time`),
  KEY `index_customer_return_time` (`return_time`),
  KEY `index_marketing_channel` (`marketing_channel`) USING BTREE,
  KEY `idx_compete_restrain_sale` (`compete_restrain_sale_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='客户表'

Thanks. 看來是這個括號的問題, 我們再看一下.

(157409,107080,1,1,'姬十三(嵇晓华)',NULL,'',NULL,'01085809983',NULL,'',NULL,'',NULL,0,NULL
--                        ^

0x那个找到问题了吗

從 -schema.sql 看不出 0x. 看看下游 TiDB 數據庫的 SHOW CREATE TABLE t_customer; 是否一致的?

一致的

0x 那個已找到是 Lightning 的 bug 了, 會在 Lightning 4.0.4 解決.

4.0.4 什么时候GA 那两个问题 也一并可以解决了吧

但那個 ( 的問題無法復現. 如果這個表也有個 ' 邓卫强 \' 的話, 需要在 tidb-lightning.toml 設定

[tidb]
sql-mode = 'NO_BACKSLASH_ESCAPES'

避免把單引號忽略掉.

(或者 Dumpling 傳入 --escape-backslash, 但這是默認開的)

不是这个问题 应该是 / 这个符号的问题

请问根据上面的操作 ,还是存在这个问题吗?

我使用了最新的4.0.4版本的dumpling和tidb-lighting导入数据还是一堆报错

tidb-lightning.log (1.4 MB)

昨天导入的日志文件 帮忙分析分析吧

tidb lightning 在导入数据时不是因为某张表的报错而停止,后面可以根据报错信息处理失败的表。
截图为最早出现报错的信息,应该是解析上有问题。在 sql 文件中辛苦找下 db_crm.t_cs_customer_situation 的表结构上传看下

CREATE TABLE t_cs_customer_situation (
id bigint(20) NOT NULL AUTO_INCREMENT COMMENT ‘id’,
customer_id bigint(20) DEFAULT NULL COMMENT ‘公司名称’,
user_id bigint(20) DEFAULT NULL COMMENT ‘客户成功id’,
linkman_id bigint(20) DEFAULT NULL COMMENT ‘接口人’,
event_id bigint(20) DEFAULT NULL,
unique_num varchar(60) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT ‘客情唯一标识’,
is_accompany bit(1) DEFAULT NULL COMMENT ‘是否陪访’,
accompany_id bigint(20) DEFAULT NULL COMMENT ‘陪同客户成功’,
work_order varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘关联转介绍工单’,
action_ids varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘维护动作id列表’,
communication_pic varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘微信或电话吃饭消费或其他凭证图片’,
communication_remark varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘微信电话备注’,
visiting_desc varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘上门拜访描述’,
visiting_ids varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘上门拜访id列表’,
visiting_remark varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘上门拜访备注’,
meal_reason varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘吃饭原因’,
meal_players varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘吃饭参与人’,
meal_use_money double(12,3) DEFAULT NULL COMMENT ‘吃饭实际消费金额’,
meal_pic varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘吃饭消费或其他凭证图片’,
meal_remark varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘吃饭备注’,
gift_reason int(11) DEFAULT NULL COMMENT ‘赠送礼物原因’,
gift_type int(11) DEFAULT NULL COMMENT ‘礼品类型’,
gift_type_desc varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘礼品类型描述’,
gift_use_money double(12,3) DEFAULT NULL COMMENT ‘赠送礼物实际消费金额’,
gift_pic varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘赠送礼物消费或其他凭证图片’,
gift_remark varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘赠送礼物备注’,
activity_master varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘邀请客户参加我司活动’,
activity_master_pic varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘邀请客户参加我司活动图片’,
activity_guest varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘客户邀请我参加活动’,
activity_guest_pic varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘客户邀请我参加活动图片’,
activity_private_ids varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘私交活动id列表’,
activity_other varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘活动其他描述’,
activity_pic varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘活动消费或其他凭证图片’,
activity_remark varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘活动备注’,
resource_desc varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘帮客户介绍资源描述’,
resource_pic varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘帮客户介绍资源描述消费或其他凭证图片’,
information_ids varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘客户提供情报id列表’,
information_pic varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘客户提供情报消费或其他凭证图片’,
information_remark varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘客户提供情报备注’,
praise_ids varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘认可表扬类型id列表’,
praise_pic varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘认可表扬消费或其他凭证图片’,
praise_remark varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘认可表扬备注’,
problem_desc varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘处理非易点租问题’,
problem_pic varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘处理非易点租问题消费或其他凭证图片’,
create_time datetime DEFAULT NULL COMMENT ‘创建时间’,
modify_time datetime DEFAULT NULL COMMENT ‘修改时间’,
creater_id bigint(20) DEFAULT NULL COMMENT ‘创建人id’,
PRIMARY KEY (id)
) ENGINE=InnoDB AUTO_INCREMENT=462 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci