tiflash down

麻烦各位大牛们看下,tiflash 三个节点全部down掉

n::Exception(std::__1::basic_string<char, std::__1::char_traits, std::__1::allocator > const&, int) [tiflash+29575598]\n \tdbms/src/Common/Exception.h:46\n 0x73c771c\tDB::DM::DeltaMergeStore::ingestFiles(std::__1::shared_ptrDB::DM::DMContext const&, DB::DM::RowKeyRange const&, std::__1::vector<DB::DM::ExternalDTFileInfo, std::__1::allocatorDB::DM::ExternalDTFileInfo > const&, bool) [tiflash+121403164]\n \tdbms/src/Storages/DeltaMerge/DeltaMergeStore_Ingest.cpp:558\n 0x7ec2c34\tDB::DM::DeltaMergeStore::ingestFiles(DB::Context const&, DB::Settings const&, DB::DM::RowKeyRange const&, std::__1::vector<DB::DM::ExternalDTFileInfo, std::1::allocatorDB::DM::ExternalDTFileInfo > const&, bool) [tiflash+132918324]\n \tdbms/src/Storages/DeltaMerge/DeltaMergeStore.h:312\n 0x7f6bfe0\tvoid DB::KVStore::checkAndApplyPreHandledSnapshotDB::RegionPtrWithSnapshotFiles(DB::RegionPtrWithSnapshotFiles const&, DB::TMTContext&) [tiflash+133611488]\n \tdbms/src/Storages/Transaction/ApplySnapshot.cpp:140\n 0x7f6a5a6\tvoid DB::KVStore::applyPreHandledSnapshotDB::RegionPtrWithSnapshotFiles(DB::RegionPtrWithSnapshotFiles const&, DB::TMTContext&) [tiflash+133604774]\n \tdbms/src/Storages/Transaction/ApplySnapshot.cpp:446\n 0x7fe6721\tApplyPreHandledSnapshot [tiflash+134113057]\n \tdbms/src/Storages/Transaction/ProxyFFI.cpp:664\n 0x7fc6593fe09f\t$LT$engine_store_ffi…observer…TiFlashObserver$LT$T$C$ER$GT$$u20$as$u20$raftstore…coprocessor…ApplySnapshotObserver$GT$::post_apply_snapshot::h9cf73b076a6be5ca [libtiflash_proxy.so+24293535]\n 0x7fc65a41aeed\traftstore::store::worker::region::Runner$LT$EK$C$R$C$T$GT$::handle_pending_applies::he8dd9bcf803128c3 [libtiflash_proxy.so+41189101]\n 0x7fc659a0ab98\tyatp::task::future::RawTask$LT$F$GT$::poll::hd12828196a3b1f60 [libtiflash_proxy.so+30636952]\n 0x7fc65b36108b\t$LT$yatp…task…future…Runner$u20$as$u20$yatp…pool…runner…Runner$GT$::handle::h0559c073015890dd [libtiflash_proxy.so+57204875]\n 0x7fc659503a34\tstd::sys_common::backtrace::__rust_begin_short_backtrace::h0ad613d9614d6b0a [libtiflash_proxy.so+25365044]\n 0x7fc6595534a8\tcore::ops::function::FnOnce::call_once$u7b$$u7b$vtable.shim$u7d$$u7d$::h9e1cc15e5b5258a1 [libtiflash_proxy.so+25691304]\n 0x7fc65aa917c5\tstd::sys::unix::thread::thread::new::thread_start::hd2791a9cabec1fda [libtiflash_proxy.so+47966149]\n \t/rustc/96ddd32c4bfb1d78f0cd03eb068b1710a8cebeef/library/std/src/sys/unix/thread.rs:108\n 0x7fc6575156db\tstart_thread [libpthread.so.0+30427]\n 0x7fc656e2261f\tclone [libc.so.6+1185311]"] [source=“void DB::ApplyPreHandledSnapshot(DB::EngineStoreServerWrap *, PreHandledSnapshot *) [PreHandledSnapshot = DB::PreHandledSnapshotWithFiles]”] [thread_id=673]
[2023/12/25 14:40:24.472 +08:00] [WARN] [StorageConfigParser.cpp:274] [“The configuration path is deprecated. Check [storage] section for new style.”] [thread_id=1]

磁盘有没有问题?正常挂载了吗?权限有没有问题


看着是有权限的那

还有更多日志么?
刚才做了什么操作,比如按库创建TiFlash副本?

版本是 7.2.0? DMR 版本,
这是测试环境么?

生产环境,刚才是开启了 flash 同步,我全部缩减之后,再次扩容,再开启tiflash又好了,奇怪


重建之后,又报了一个

优化查询做不了啊?行列转换查询。

扩容tiflash后,默认不会自动同步数据,是按库同步后报错的么?按表逐个同步一下看看呢?

如果是生产环境,官方文档里有相关表述,建议使用LTS版本

https://docs.pingcap.com/zh/tidb/stable/versioning#开发里程碑版本

1 个赞

那当前这个是什么问题导致的,好定位吗

建议测试并升级到 7.5.0 的版本~

生产环节不要用 DMR 版本~

尽快升级吧~

好的,定位到了一个表,可能是数据问题,关了就好了

好叻~有机会升级一下~
7.2.0 没有小版本 所以有 bug 也不能及时 debug 为了安全起见 升级到 LTS 版本

大于v7.2的LTS版本也就只有了v7.5了 :laughing:

定位到问题就好 了

tidb问题真的好多,要用就得时刻准备升级,运维人员也得有一定的基础

看来我们这边可以暂时上线tidb了