Tidb.yml 配置 enable-table-lock 未生效是怎么回事

lemos1235 · 2019 年10 月 8 日 07:40

按照上图修改配置文件后，运行命令滚动升级

ansible-playbook rolling_update.yml

但是未生效，是为什么？

老房 · 2019 年10 月 8 日 07:59

你指的的端口不生效？还是 enable-table-lock？

lemos1235 · 2019 年10 月 8 日 08:34

2个都没有生效。我这里主要在意的是 enable-table-lock 配置项。我的 tidb_version 是 v3.0.2，查了下源码好像不支持 enable-table-lock，这是否意味着无法使用 Spark connector 去写数据。我查看了注释是说 tispark will send lock table command to TiDB via JDBC。不知道是不是这个意思？

marsishandsome · 2019 年10 月 8 日 09:19

请参考文档 https://github.com/pingcap/tispark/blob/master/docs/datasource_api_userguide.md#tidb-version-and-configuration-for-write

如果是tidb-3.0.2的话，是不支持table lock的，但也可以通过tispark写入，只要开启这个配置spark.tispark.write.without_lock_table，缺点是不支持ACID

ACID支持需要tidb-4.0

lemos1235 · 2019 年10 月 8 日 10:03

谢谢。我想问一下 4.0 可以使用 Ansible 在生产环境中部署吗？如果可以的话，需要修改哪个配置文件？或者给个文档

marsishandsome · 2019 年10 月 8 日 11:52

4.0还没发布，目前只能用master branch作测试，还不能部署到生产环境

lemos1235 · 2019 年10 月 14 日 07:28

我配置了 spark.tispark.write.without_lock_table 选项，跑了一个任务写了50万条数据后。然后数据表一直无法访问，已经持续了半个小时。这是什么原因？

marsishandsome · 2019 年10 月 14 日 07:40

请问50万条数据的任务已经成功执行结束了吗？表无法访问是指运行什么语句报什么错？

lemos1235 · 2019 年10 月 14 日 08:01

任务已经成功结束了。执行下面的 sql

SELECT * FROM target_cases LIMIT 10

一直在挂起的状态。虽然第一次执行返回数据了。但是第二次查询就被挂起了，只有 Ctrl + C 强行退出才可以再次进入，不过第二次查询还是会挂起。

marsishandsome · 2019 年10 月 14 日 08:03

请问一下tidb和tispark的版本？

lemos1235 · 2019 年10 月 14 日 08:05

tidb版本是 3.0.2，用的 tispark-assembly 2.2.0。这是代码，https://paste.ubuntu.com/p/Sdd7Sc4mCz/ 。main 函数的传递的参数为 2， 500000

然后发现现在可以自由访问了。大概 2小时20分钟是处于被挂起的状态。

marsishandsome · 2019 年10 月 14 日 08:21

请问数据有成功写入吗？

lemos1235 · 2019 年10 月 14 日 08:24

数据有写入。count(*) 查询还是挂起中，不知道有没有全部写入…

marsishandsome · 2019 年10 月 14 日 08:26

怀疑可能之前有写数据失败的任务，导致有数据prewrite成功，但是没有commit，GC会在1小时后清理这些数据，但是在此之前这些数据将无法访问。

github.com

pingcap/tispark/blob/4ce52138a9a82d4feeb2f9a02dba8bdbe6d3d58c/core/src/main/scala/com/pingcap/tispark/TiDBOptions.scala#L74


// It is an optimize by the nature of 2pc protocol
// We leave other txn, gc or read to resolve locks.
val skipCommitSecondaryKey: Boolean =
  parameters.getOrElse(TIDB_SKIP_COMMIT_SECONDARY_KEY, "false").toBoolean


val regionSplitNum: Int = parameters.getOrElse(TIDB_REGION_SPLIT_NUM, "0").toInt


val enableRegionSplit: Boolean =
  parameters.getOrElse(TIDB_ENABLE_REGION_SPLIT, "true").toBoolean


val lockTTLSeconds: Long = parameters.getOrElse(TIDB_LOCK_TTL_SECONDS, "3600").toLong


val writeConcurrency: Int = parameters.getOrElse(TIDB_WRITE_CONCURRENCY, "0").toInt


// ------------------------------------------------------------
// Calculated parameters
// ------------------------------------------------------------
val url: String =
  s"jdbc:mysql://address=(protocol=tcp)(host=$address)(port=$port)/?user=$user&password=$password&useSSL=false&rewriteBatchedStatements=true"


val tiTableRef: TiTableReference = {

这是tispark写入目前的问题，将会在tidb-4.0支持大事务后解决。

如果是线上业务的话，建议先用jdbc写入。

lemos1235 · 2019 年10 月 14 日 08:30

好的。谢谢。如果我 truncate 表后再插入，这个会导致你说的无法访问的问题吗？

marsishandsome · 2019 年10 月 15 日 04:52

有可能的

system · 2022 年10 月 31 日 19:20

此话题已在最后回复的 1 分钟后被自动关闭。不再允许新回复。