tikv cluster tls rawkv 问题

tikv版本6.1.0 tiup 部署 三个pd 三个tikv

tiup cluster tls cluster-name enable

查看三台tikv.log 报错


但是
juicefs mount -d “tikv://172.30.208.13:2379,172.30.208.21:2379,172.30.208.23:2379/jfs?ca=/root/cert/ca.crt&cert=/root/cert/tikv.crt&key=/root/cert/tikv.pem&verify-cn=CN1,CN2” /tikv-test 可以成功挂载

客户端或服务器的证书存在问题
看看服务器端的SSL证书是不是过期了,
客户端和服务器之间的时间不同步也可能导致SSL证书无效
再检查下网络问题

这个错误表明客户端的信任存储中没有包含用于验证服务器证书链完整性的中间证书或者根证书

这个是通tiup 自带工具自动生成的啊

这个是今天新搭建的环境,不存在证书过期,同时也是tiup cluster tls 自动生成的证书,没有人为参与,时间都是同步的

rawkv 吗?没有安装 tidb?

在使用TiUP部署TiKV版本6.1.0并结合JuiceFS时,可能会出现一些错误,这些错误可能源于已知问题、错误模式和集成挑战。以下是潜在的错误原因及其解决方案的总结:

潜在错误原因

  1. 快照恢复问题

    • TiKV在进行快照恢复时可能会遇到阻塞,尤其是在BR(Backup & Restore)崩溃的情况下。这可能导致数据恢复过程中的延迟或失败。
    • 参考文献:TiDB 7.1.3 Release Notes
  2. SST文件管理

    • TiKV可能会遇到损坏的SST文件,这些文件如果未能及时检测和删除,可能会导致TiKV进程崩溃或数据不一致。
    • TiKV在6.1.0版本中引入了自动检测和删除损坏SST文件的功能,但如果此功能未能正常工作,仍可能导致问题。
    • 参考文献:TiDB 6.1.0 Release Notes
  3. Raftstore健康检查

    • TiKV的Raftstore健康检查可能未能及时检测到不可用的Raftstore,这可能导致区域缓存更新延迟,从而影响系统的整体性能和稳定性。
    • 参考文献:TiDB 6.1.0 Release Notes
  4. ServerIsBusy错误

    • 当TiKV无法追加Raft日志时,可能会报告ServerIsBusy错误。这通常与系统负载过高或资源不足有关。
    • 参考文献:TiDB 7.1.3 Release Notes
  5. 配置问题

    • TiKV的配置参数(如storage.api-version)如果设置不当,可能会导致系统崩溃或无法启动。
    • 参考文献:TiDB 6.2.0 Release Notes

解决方案

  1. 监控和日志分析

    • 定期监控TiKV的日志,特别是快照恢复和SST文件管理相关的日志,以便及时发现和解决问题。
  2. 配置审查

    • 确保所有TiKV和PD节点的配置参数正确无误,特别是与存储和快照相关的配置。
  3. 资源优化

    • 根据负载情况调整TiKV的资源分配,确保有足够的CPU和内存资源来处理请求,避免ServerIsBusy错误。
  4. 版本更新

    • 考虑升级到更高版本的TiKV,以获取最新的bug修复和功能改进,特别是针对已知问题的修复。
  5. 使用JuiceFS的注意事项

    • 确保JuiceFS的配置与TiKV的存储需求兼容,避免因文件系统问题导致的性能瓶颈或数据损坏。

通过以上措施,可以有效降低在使用TiUP部署TiKV时可能遇到的错误风险,提升系统的稳定性和性能。

Txnkv

这是 TiKV 在验证 client 证书的时候遇到错误。

结合 juicefs mount 可以正常访问,那么问题可能出在 client 侧。

可以尝试通过抓包等方法查一下这些请求的来源,然后检查对应 client 的证书配置。

另外,可以参考 专栏 - TIKV、PD添加TLS总结 | TiDB 社区 。这篇也是 TxnKV x JuiceFS 场景的。