关于第二个问题,麻烦在 db_crm.t_customer_contacts.1.sql 里面搜索一下「(()」 这个,看看是否存在一行的开始是这样的
目前看起来问题是出在解析 sql 文件的时候出错了,因为使用不同 backend 应该不会有区别
关于第二个问题,麻烦在 db_crm.t_customer_contacts.1.sql 里面搜索一下「(()」 这个,看看是否存在一行的开始是这样的
目前看起来问题是出在解析 sql 文件的时候出错了,因为使用不同 backend 应该不会有区别
SQL文件中没有[(()],我目前使用mysqldump+source方式导出导入的 没有报错
這個要看看下游數據庫和 /data/dump/t_customer/db_crm.t_customer-schema.sql
裡有沒有一個名為 “0x” 的列, 或者包含 0x
兩個字的東西
這個要檢查 /data/dump/t_customer_contacts/db_crm.t_customer_contacts.1.sql
在 offset=31384834 是寫成怎樣的
head -c 31384900 /data/dump/t_customer_contacts/db_crm.t_customer_contacts.1.sql | tail
(157400,28,1,1,'李虓',NULL,'',NULL,'01053368662',NULL,'',NULL,'',NULL,0,NULL,NULL,'','','2018-11-05 17:39:32','2016-07-07 12:04:26',1,'2018-11-05 17:39:31',NULL,12,1,1271497443065729096,NULL,0,0,0,0),
(157401,28781,1,1,'李世浩',NULL,'',NULL,'13521730741',NULL,'',NULL,'',NULL,0,NULL,NULL,'','',NULL,'2016-07-07 12:04:26',1,NULL,NULL,12,1,1271497443149619241,NULL,0,0,0,0),
(157402,143445,1,1,'崔峻岗',NULL,'',NULL,'69470306',NULL,'',NULL,'',NULL,0,NULL,NULL,'','','2017-08-07 09:18:44','2016-07-07 12:04:26',1,'2017-08-07 09:18:44',NULL,12,1,1271497443560656898,NULL,0,0,0,0),
(157403,143446,1,1,'已退休','','',NULL,'13693093891',NULL,'',NULL,'',NULL,0,NULL,NULL,'','',NULL,'2016-07-07 12:04:27',1,'2020-02-20 15:08:42',NULL,12,1,1271497443858456579,NULL,0,0,0,0),
(157404,143447,1,0,'林宝明',NULL,'',NULL,'15011221599',NULL,'',NULL,'',NULL,0,NULL,NULL,'','','2018-10-29 14:51:04','2016-07-07 12:04:27',1,'2019-08-22 16:49:08',NULL,12,1,1271497444001058837,NULL,0,0,0,0),
(157405,106040,1,1,'徐水波',NULL,'',NULL,'02160255635',NULL,'',NULL,'',NULL,0,NULL,NULL,'','','2017-03-08 10:53:47','2016-07-07 12:04:28',1,'2017-03-08 10:53:41',NULL,14,1,1271497444105916456,NULL,0,0,0,0),
(157406,106040,1,1,'徐水波',NULL,'',NULL,'02160255635',NULL,'',NULL,'',NULL,0,NULL,NULL,'','',NULL,'2016-07-07 12:04:28',1,NULL,NULL,12,1,1271497444231749638,NULL,0,0,0,0),
(157407,143448,1,1,'吴锦文',NULL,'',NULL,'18610287719',NULL,'',NULL,'',NULL,0,NULL,NULL,'','',NULL,'2016-07-07 12:04:29',1,NULL,NULL,12,1,1271497444344995881,NULL,0,0,0,0),
(157408,143449,1,1,'李思林',NULL,'',NULL,'13810672584',NULL,'',NULL,'',NULL,0,NULL,NULL,'','',NULL,'2016-07-07 12:04:30',1,NULL,NULL,12,1,1271497444470820959,NULL,0,0,0,0),
(157409,107080,1,1,'姬十三(嵇晓华)',NULL,'',NULL,'01085809983',NULL,'',NULL,'',NULL,0,NULL
CREATE TABLE `t_customer` (
`id` bigint(20) NOT NULL COMMENT '客户标识',
`city_id` bigint(20) DEFAULT NULL COMMENT '城市标识',
`user_id` bigint(20) DEFAULT NULL COMMENT '用户标识',
`status_id` tinyint(4) NOT NULL COMMENT '状态标识 3 成单客户',
`level_id` tinyint(4) NOT NULL COMMENT '级别标识',
`channel_id` tinyint(4) NOT NULL COMMENT '渠道标识',
`industry_id` tinyint(4) DEFAULT NULL COMMENT '行业',
`type_id` tinyint(4) DEFAULT 1 COMMENT '类型标识 0 线索转化 1独立开发 2签转客户',
`contacts_id` bigint(20) DEFAULT NULL COMMENT '主联系人标识',
`ecm_id` bigint(20) DEFAULT NULL COMMENT '风控标识',
`status` tinyint(4) NOT NULL COMMENT '客户状态(0:删除;1:正常)',
`name` varchar(200) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '客户名称',
`phone` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '客户电话',
`is_company` bit(1) NOT NULL DEFAULT b'1' COMMENT '是否公司',
`is_rewarded` bit(1) NOT NULL DEFAULT b'0' COMMENT '是否奖励',
`cardno` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '身份证号',
`organization` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '组织机构代码',
`registration` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '工商注册号码',
`registed_date` date DEFAULT NULL COMMENT '注册日期',
`registed_capital` double DEFAULT NULL COMMENT '注册资本(元) ',
`is_big` bit(1) DEFAULT NULL COMMENT '是否大客户',
`real_star` double(12,2) DEFAULT NULL COMMENT '真实星级',
`credit_status` tinyint(4) DEFAULT NULL COMMENT '授信状态(1:已提交;2:预授权;3:等待检验;4:检验推迟;5:已拒绝;6:发回修改;7:重新申请;8:停止付款;9:审核成功)',
`credit_amount` double(12,2) DEFAULT NULL COMMENT '授信额度(元)',
`available_amount` double(12,2) DEFAULT NULL COMMENT '可用额度(元)',
`new_level` tinyint(4) DEFAULT NULL COMMENT '新品等级',
`new_discount` double DEFAULT NULL COMMENT '新品折扣',
`used_level` tinyint(4) DEFAULT NULL COMMENT '二手等级',
`used_discount` double DEFAULT NULL COMMENT '二手折扣',
`address` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '客户地址',
`website` varchar(2048) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '网站地址',
`incubator` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '孵化器名称',
`financing_type` tinyint(4) DEFAULT NULL COMMENT '融资类型(0:未融资;1:A轮以前;2:A轮及以后) ',
`financing_amount` double DEFAULT NULL COMMENT '融资金额(元) ',
`mall_contacts` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '商城联系人',
`mall_phone` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '商城电话',
`sale_count` bigint(20) NOT NULL DEFAULT 0 COMMENT '销售数量(台)',
`left_day_count` bigint(20) DEFAULT NULL COMMENT '回归剩余天数(天)',
`description` varchar(4000) COLLATE utf8mb4_unicode_ci DEFAULT NULL,
`register_time` datetime DEFAULT NULL COMMENT '注册时间',
`traced_time` datetime DEFAULT NULL COMMENT '跟踪时间',
`first_user` bigint(20) DEFAULT NULL COMMENT '首签业务员',
`first_time` datetime DEFAULT NULL COMMENT '首签时间',
`leased_time` datetime DEFAULT NULL COMMENT '租赁时间',
`created_time` datetime NOT NULL COMMENT '创建时间',
`created_user` bigint(20) NOT NULL COMMENT '创建用户',
`last_user` bigint(20) DEFAULT NULL COMMENT '最后负责人',
`binded_time` datetime DEFAULT NULL COMMENT '绑定时间',
`return_time` datetime DEFAULT NULL COMMENT '回归公海时间',
`modified_time` datetime DEFAULT NULL COMMENT '修改时间',
`additional` text COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '附加信息',
`sea_type` int(4) DEFAULT 0 COMMENT '公海类型(0 普通公海 1直销公海)',
`datasource_address` varchar(200) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '元数据链接地址',
`first_credit_amount` double(12,2) DEFAULT 0.00 COMMENT '首次授信额度(元)',
`payment_way` tinyint(4) DEFAULT 2 COMMENT '付款方式 1:先票后款 , 2:商城开票(非统一付款),3:商城开票(统一付款)',
`user_grade` tinyint(4) DEFAULT 13 COMMENT '10:A 11:B 12:C 13:D 14:S',
`check_account_day` tinyint(4) DEFAULT 1 COMMENT '账单日',
`settle_account_day` tinyint(4) DEFAULT 5 COMMENT '结账日',
`open_invoice_day` tinyint(4) DEFAULT 5 COMMENT '开票日',
`left_days_no_order` int(10) DEFAULT NULL COMMENT '无订单回归公海剩余天数(天)',
`left_days_no_telephone` int(10) DEFAULT NULL COMMENT '无通话记录回归公海剩余天数(天)',
`left_days_desc` varchar(300) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '回归公海剩余天数描述',
`renew_id` bigint(20) DEFAULT NULL COMMENT '续签人员',
`finance_type` bigint(20) DEFAULT 1 COMMENT '融资类型',
`company_scale` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '公司规模',
`is_overdue` bit(1) DEFAULT b'0' COMMENT '是否逾期',
`dispatch_user` bigint(20) DEFAULT NULL COMMENT '注册组分发人',
`dispatch_time` datetime DEFAULT NULL COMMENT '注册组分发时间',
`partner_account_id` bigint(20) DEFAULT NULL COMMENT '合伙人id',
`private_sea_type` tinyint(8) DEFAULT 0 COMMENT '客户私(公)海等级。0-公海,1-私海1,2-私海2,3-私海3, 4-永久私海',
`can_loan` tinyint(4) DEFAULT 0 COMMENT '押金金融预判(0:待处理;1:通过;2:不通过;)',
`clue_id` bigint(20) DEFAULT NULL COMMENT '线索id',
`biz_probability` decimal(4,2) DEFAULT 0.00 COMMENT '商机概率(0, 0.2, 0.4, 0.6, 0.8)',
`expect_order_count` int(11) DEFAULT 0 COMMENT '预计下单台数',
`expect_order_time` date DEFAULT NULL COMMENT '预计下单时间',
`remark` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT '商机备注信息',
`agent_info_id` bigint(20) DEFAULT NULL COMMENT '代理商id',
`category_type` tinyint(6) NOT NULL DEFAULT 3 COMMENT '私海2类别:1:一类客户,2:二类客户,3:三类客户',
`reconciliation_man` bigint(20) DEFAULT NULL COMMENT '对账客服',
`reconciliation_man_time` datetime DEFAULT NULL COMMENT '添加对账客服时间',
`judge_result` tinyint(4) DEFAULT 0 COMMENT '判定结果(0.尚未判定或判定中;1.KA;2.KB; 3.KC; 4.未知; 9.SA客户)',
`customer_success_manager` bigint(20) DEFAULT NULL COMMENT '客户成功经理',
`customer_success_manager_time` datetime DEFAULT NULL COMMENT '客户成功经理时间',
`last_visit_time` datetime DEFAULT NULL COMMENT '最近上门时间',
`first_renew_user` bigint(20) DEFAULT NULL COMMENT '首签业务员(续签id)',
`first_receive_user` bigint(20) DEFAULT NULL COMMENT '首次接收人',
`first_receive_time` datetime DEFAULT NULL COMMENT '首次接收时间',
`last_enter_private_sea_time` datetime DEFAULT NULL COMMENT '最近一次进入私海的时间',
`industry_second` tinyint(4) DEFAULT NULL COMMENT '二级行业',
`marketing_channel` varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT '' COMMENT '市场渠道标识分三级用|隔开',
`quality_high_sea_type` tinyint(2) DEFAULT NULL COMMENT '是否优质公海 1 是 其他不是',
`quality_high_sea_reason` tinyint(4) DEFAULT NULL COMMENT '1.近30天内有新增有效销售记录 2.近30天内有效通话时长超过2分钟 3.近30天内有新建kp联系电话 4.近30天内,所有私海3回归的客户 5.近30天内,系统回归公海的私海2客户',
`quality_high_sea_time` datetime DEFAULT NULL COMMENT '进入优质私海时间',
`phase` tinyint(4) DEFAULT 0 COMMENT '客户阶段:0:公海;1:销售线索;2:确认商机;3:找到关键人;4:确认意向;5:注册授信;',
`key_point` tinyint(4) DEFAULT 0 COMMENT '是否重点客户:0:否;1:是',
`first_credit_time` datetime DEFAULT NULL COMMENT '首次授信时间',
`business_condition` tinyint(4) DEFAULT NULL COMMENT '商机情况 ',
`company_scale_type` tinyint(2) DEFAULT NULL COMMENT '人员规模。 0:未知(company_scale 0和空 都算是未知) 1:50人以下 2:50人以上',
`score` tinyint(10) DEFAULT NULL COMMENT '市场部线索打分',
`begin_company_scale` int(10) DEFAULT NULL COMMENT '客户人员规模 - 开始值 0代表未知',
`end_company_scale` int(10) DEFAULT NULL COMMENT '客户人员规模 - 结束值 0代表未知',
`customer_kernel_id` bigint(20) DEFAULT NULL COMMENT '客户核心id',
`first_channel` int(11) DEFAULT NULL COMMENT '一级渠道 ',
`second_channel` int(11) DEFAULT NULL COMMENT '二级渠道 ',
`third_channel` int(11) DEFAULT NULL COMMENT '三级渠道',
`compete_restrain_sale_id` bigint(20) NOT NULL DEFAULT 0 COMMENT '竞对抑制销售id',
PRIMARY KEY (`id`),
UNIQUE KEY `unique_index_clueId` (`clue_id`),
KEY `fk_customer_channel_id` (`channel_id`),
KEY `fk_customer_city_id` (`city_id`),
KEY `fk_customer_contacts_id` (`contacts_id`),
KEY `fk_customer_level_id` (`level_id`),
KEY `fk_customer_status_id` (`status_id`),
KEY `fk_customer_type_id` (`type_id`),
KEY `index_first_user` (`first_user`) USING BTREE,
KEY `index_first_time` (`first_time`) USING BTREE,
KEY `fk_customer_user_id` (`user_id`,`renew_id`) USING BTREE,
KEY `index_ecm_id` (`ecm_id`),
KEY `customer_name` (`name`(150)),
KEY `index_customer_user_id` (`user_id`),
KEY `index_customer_renew_id` (`renew_id`),
KEY `index_customer_dispatch_id` (`dispatch_user`),
KEY `index_customer_created_time` (`created_time`),
KEY `index_customer_create_user` (`created_user`),
KEY `index_customer_bind_time` (`binded_time`),
KEY `index_customer_success_manager` (`customer_success_manager`) USING BTREE,
KEY `index_customer_trace_time` (`traced_time`),
KEY `index_customer_return_time` (`return_time`),
KEY `index_marketing_channel` (`marketing_channel`) USING BTREE,
KEY `idx_compete_restrain_sale` (`compete_restrain_sale_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='客户表'
Thanks. 看來是這個括號的問題, 我們再看一下.
(157409,107080,1,1,'姬十三(嵇晓华)',NULL,'',NULL,'01085809983',NULL,'',NULL,'',NULL,0,NULL
-- ^
0x那个找到问题了吗
從 -schema.sql 看不出 0x. 看看下游 TiDB 數據庫的 SHOW CREATE TABLE t_customer;
是否一致的?
一致的
0x 那個已找到是 Lightning 的 bug 了, 會在 Lightning 4.0.4 解決.
4.0.4 什么时候GA 那两个问题 也一并可以解决了吧
但那個 (
的問題無法復現. 如果這個表也有個 ' 邓卫强 \'
的話, 需要在 tidb-lightning.toml 設定
[tidb]
sql-mode = 'NO_BACKSLASH_ESCAPES'
避免把單引號忽略掉.
(或者 Dumpling 傳入 --escape-backslash
, 但這是默認開的)
不是这个问题 应该是 / 这个符号的问题
请问根据上面的操作 ,还是存在这个问题吗?
我使用了最新的4.0.4版本的dumpling和tidb-lighting导入数据还是一堆报错
昨天导入的日志文件 帮忙分析分析吧
tidb lightning 在导入数据时不是因为某张表的报错而停止,后面可以根据报错信息处理失败的表。
截图为最早出现报错的信息,应该是解析上有问题。在 sql 文件中辛苦找下 db_crm
.t_cs_customer_situation
的表结构上传看下
CREATE TABLE t_cs_customer_situation
(
id
bigint(20) NOT NULL AUTO_INCREMENT COMMENT ‘id’,
customer_id
bigint(20) DEFAULT NULL COMMENT ‘公司名称’,
user_id
bigint(20) DEFAULT NULL COMMENT ‘客户成功id’,
linkman_id
bigint(20) DEFAULT NULL COMMENT ‘接口人’,
event_id
bigint(20) DEFAULT NULL,
unique_num
varchar(60) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT ‘客情唯一标识’,
is_accompany
bit(1) DEFAULT NULL COMMENT ‘是否陪访’,
accompany_id
bigint(20) DEFAULT NULL COMMENT ‘陪同客户成功’,
work_order
varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘关联转介绍工单’,
action_ids
varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘维护动作id列表’,
communication_pic
varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘微信或电话吃饭消费或其他凭证图片’,
communication_remark
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘微信电话备注’,
visiting_desc
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘上门拜访描述’,
visiting_ids
varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘上门拜访id列表’,
visiting_remark
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘上门拜访备注’,
meal_reason
varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘吃饭原因’,
meal_players
varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘吃饭参与人’,
meal_use_money
double(12,3) DEFAULT NULL COMMENT ‘吃饭实际消费金额’,
meal_pic
varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘吃饭消费或其他凭证图片’,
meal_remark
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘吃饭备注’,
gift_reason
int(11) DEFAULT NULL COMMENT ‘赠送礼物原因’,
gift_type
int(11) DEFAULT NULL COMMENT ‘礼品类型’,
gift_type_desc
varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘礼品类型描述’,
gift_use_money
double(12,3) DEFAULT NULL COMMENT ‘赠送礼物实际消费金额’,
gift_pic
varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘赠送礼物消费或其他凭证图片’,
gift_remark
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘赠送礼物备注’,
activity_master
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘邀请客户参加我司活动’,
activity_master_pic
varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘邀请客户参加我司活动图片’,
activity_guest
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘客户邀请我参加活动’,
activity_guest_pic
varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘客户邀请我参加活动图片’,
activity_private_ids
varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘私交活动id列表’,
activity_other
varchar(100) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘活动其他描述’,
activity_pic
varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘活动消费或其他凭证图片’,
activity_remark
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘活动备注’,
resource_desc
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘帮客户介绍资源描述’,
resource_pic
varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘帮客户介绍资源描述消费或其他凭证图片’,
information_ids
varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘客户提供情报id列表’,
information_pic
varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘客户提供情报消费或其他凭证图片’,
information_remark
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘客户提供情报备注’,
praise_ids
varchar(50) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘认可表扬类型id列表’,
praise_pic
varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘认可表扬消费或其他凭证图片’,
praise_remark
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT ‘’ COMMENT ‘认可表扬备注’,
problem_desc
varchar(1000) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘处理非易点租问题’,
problem_pic
varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘处理非易点租问题消费或其他凭证图片’,
create_time
datetime DEFAULT NULL COMMENT ‘创建时间’,
modify_time
datetime DEFAULT NULL COMMENT ‘修改时间’,
creater_id
bigint(20) DEFAULT NULL COMMENT ‘创建人id’,
PRIMARY KEY (id
)
) ENGINE=InnoDB AUTO_INCREMENT=462 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci