loader 也是运行在自己虚拟中的么,因为 loader 要执行并发导入的话,会要去解析 sql 文件,这个步骤会比较占用 CPU。
你这边部署本地 TiDB 用的拓扑以及机器配置是怎么样的?
loader 也是运行在自己虚拟中的么,因为 loader 要执行并发导入的话,会要去解析 sql 文件,这个步骤会比较占用 CPU。
你这边部署本地 TiDB 用的拓扑以及机器配置是怎么样的?
嗯,可以考虑新开一台虚拟机运行 loader,排除 loader 对集群负载的影响
我想请教下,用mydumper将数据库的表和库以及数据备份到一个文件夹下,loader导入的那边这个库表已经存在了,但是是个空表,他会报一个库已存在,就不往下执行了,能不能在库表存在的情况下,直接往里面插入数据,跳过创建库和创建表的这个步骤呢
当前 loader 导入时确实时需要检查建库或者建表语句,可以手动更改为create table if not exist 或者
load data 是否能够满足需求?
https://pingcap.com/docs-cn/stable/reference/sql/statements/load-data/#load-data
mydumper备份30亿数据中的4亿数据报 GC life time is shorter than transaction duration, transaction starts at 2020-04-02 我看网上解决方案是update mysql.tidb set variable_value=‘30m’ where variable_name=‘tikv_gc_life_time’; 这样会对我们现在的生产库以及现在生产库的数据有影响吗
那我在执行mydumper执行完成后将这个参数在改回来,这样的话就没什么问题了吧, 另外数据会不会丢失以及新增的数据会不会进来,这些有没有影响,我主要就是备份一部分数据。就怕对现在生产库造成影响,那麻烦就大了
还有我想问下mydumper后面的-w 筛选条件如果我想加多个条件怎么写,我现在加了一个-w customer=1,如果加2个条件怎么加,比如再加一个time<‘2020-4-1’,是不是 -w customer=1,time<‘2020-4-1’
-w 的时候两个条件就不生效了,加and也不行,他只执行第一个条件
1.你单独这样写create_time可以导出吗?
把create_time换为一个其他列的int或者varchar试一下 ,这样的两列是否可以
你是哪个版本? 建表语句发我, 给几个insert的记录,我测试一下,多谢
我刚才测了一下,好像只能执行一个,而且必须是等号,大于或者小于就不行了,两个或多个条件也不行,我换成其他的int也不行,两个int执行的时候只执行第一个条件
建表语句CREATE TABLE t_device_schedule
(
device_id
bigint(20) NOT NULL COMMENT ‘设备id’,
index_id
bigint(20) NULL DEFAULT NULL COMMENT ‘0’,
warn_id
bigint(20) NULL DEFAULT NULL COMMENT ‘0’,
device_num
varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL COMMENT ‘0’,
device_name
varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL COMMENT ‘0’,
operating_frequency
int(4) NULL DEFAULT NULL COMMENT ‘0’,
latitude
double(20, 6) NULL DEFAULT NULL COMMENT ‘精度’,
longitude
double(20, 6) NULL DEFAULT NULL COMMENT ‘纬度’,
operation_area
varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL COMMENT ‘0’,
customer_id
bigint(20) NULL DEFAULT NULL COMMENT ‘客户id’,
create_time
datetime(0) NULL DEFAULT NULL COMMENT ‘创建时间’,
result
varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci NULL DEFAULT NULL COMMENT ‘处理结果’
) ENGINE = InnoDB CHARACTER SET = utf8mb4 COLLATE = utf8mb4_0900_ai_ci COMMENT = ‘0’ ROW_FORMAT = Dynamic;
数据:INSERT INTO t_device_schedule
VALUES (41414, 0, 1, ‘1’, ‘张三’, 15, NULL, NULL, NULL, 1, ‘2018-10-30 00:00:00’, ‘0’);
INSERT INTO t_device_schedule
VALUES (142124, 0, 2, ‘1’, ‘李四’, 5, NULL, NULL, NULL, 2, ‘2018-10-30 00:00:00’, ‘1’);
INSERT INTO t_device_schedule
VALUES (4322141, 0, 1, ‘3’, ‘张三’, 30, NULL, NULL, NULL, 3, ‘2018-10-30 00:00:00’, ‘2’);
INSERT INTO t_device_schedule
VALUES (42314124, 0, 1, ‘4’, ‘王五’, 30, NULL, NULL, NULL, 4, ‘2018-10-30 00:00:00’, ‘0’);
我是3.0.1版本的
线上的版本是2.0.9
稍等,我测试一下