容量占用异常,有超大的463G./data.pump/value

为提高效率,提问时请提供以下信息,问题描述清晰可优先响应。

  • 【TiDB 版本】:3.0.5
  • 【问题描述】: 因为资金限制,3台机器上分别部署了kv1db1pd1,kv2db2,kv3db3。现在部署有pd1的机器上,有个差大的目录463G ./data.pump/value 466G ./data.pump 这个文件的尺寸甚至超过了 227G ./data 所以请问这个data.pump是必须的吗?能否有限额?该怎样操作?

看下 pump 目录下有哪些目录,以及每个目录的大小

[root@tidb1 data.pump]# du -h 2.4G ./kv 463G ./value 466G . [root@tidb1 data.pump]# cd /kv -bash: cd: /kv: No such file or directory [root@tidb1 data.pump]# ls kv value [root@tidb1 data.pump]# cd kv [root@tidb1 kv]# ls 001133.ldb 003026.ldb 003030.ldb 003034.ldb 003038.ldb 003042.ldb 003046.ldb 003050.ldb 003054.ldb 003059.ldb 003065.ldb LOG 003023.ldb 003027.ldb 003031.ldb 003035.ldb 003039.ldb 003043.ldb 003047.ldb 003051.ldb 003055.ldb 003061.ldb CURRENT MANIFEST-001135 003024.ldb 003028.ldb 003032.ldb 003036.ldb 003040.ldb 003044.ldb 003048.ldb 003052.ldb 003056.ldb 003063.ldb CURRENT.bak 003025.ldb 003029.ldb 003033.ldb 003037.ldb 003041.ldb 003045.ldb 003049.ldb 003053.ldb 003057.ldb 003064.log LOCK [root@tidb1 kv]# cd ./value -bash: cd: ./value: No such file or directory [root@tidb1 kv]# cd . [root@tidb1 kv]# cd … [root@tidb1 data.pump]# cd value/ [root@tidb1 value]# ls 002602.vlog 002682.vlog 002762.vlog 002842.vlog 002922.vlog 003002.vlog 003082.vlog 003162.vlog 003242.vlog 003322.vlog 003402.vlog 003482.vlog 002603.vlog 002683.vlog 002763.vlog 002843.vlog 002923.vlog 003003.vlog 003083.vlog 003163.vlog 003243.vlog 003323.vlog 003403.vlog 003483.vlog 002604.vlog 002684.vlog 002764.vlog 002844.vlog 002924.vlog 003004.vlog 003084.vlog 003164.vlog 003244.vlog 003324.vlog 003404.vlog 003484.vlog 002605.vlog 002685.vlog 002765.vlog 002845.vlog 002925.vlog 003005.vlog 003085.vlog 003165.vlog 003245.vlog 003325.vlog 003405.vlog 003485.vlog 002606.vlog 002686.vlog 002766.vlog 002846.vlog 002926.vlog 003006.vlog 003086.vlog 003166.vlog 003246.vlog 003326.vlog 003406.vlog 003486.vlog 002607.vlog 002687.vlog 002767.vlog 002847.vlog 002927.vlog 003007.vlog 003087.vlog 003167.vlog 003247.vlog 003327.vlog 003407.vlog 003487.vlog 002608.vlog 002688.vlog 002768.vlog 002848.vlog 002928.vlog 003008.vlog 003088.vlog 003168.vlog 003248.vlog 003328.vlog 003408.vlog 003488.vlog 002609.vlog 002689.vlog 002769.vlog 002849.vlog 002929.vlog 003009.vlog 003089.vlog 003169.vlog 003249.vlog 003329.vlog 003409.vlog 003489.vlog 002610.vlog 002690.vlog 002770.vlog 002850.vlog 002930.vlog 003010.vlog 003090.vlog 003170.vlog 003250.vlog 003330.vlog 003410.vlog 003490.vlog 002611.vlog 002691.vlog 002771.vlog 002851.vlog 002931.vlog 003011.vlog 003091.vlog 003171.vlog 003251.vlog 003331.vlog 003411.vlog 003491.vlog 002612.vlog 002692.vlog 002772.vlog 002852.vlog 002932.vlog 003012.vlog 003092.vlog 003172.vlog 003252.vlog 003332.vlog 003412.vlog 003492.vlog 002613.vlog 002693.vlog 002773.vlog 002853.vlog 002933.vlog 003013.vlog 003093.vlog 003173.vlog 003253.vlog 003333.vlog 003413.vlog 003493.vlog 002614.vlog 002694.vlog 002774.vlog 002854.vlog 002934.vlog 003014.vlog 003094.vlog 003174.vlog 003254.vlog 003334.vlog 003414.vlog 003494.vlog 002615.vlog 002695.vlog 002775.vlog 002855.vlog 002935.vlog 003015.vlog 003095.vlog 003175.vlog 003255.vlog 003335.vlog 003415.vlog 003495.vlog 002616.vlog 002696.vlog 002776.vlog 002856.vlog 002936.vlog 003016.vlog 003096.vlog 003176.vlog 003256.vlog 003336.vlog 003416.vlog 003496.vlog 002617.vlog 002697.vlog 002777.vlog 002857.vlog 002937.vlog 003017.vlog 003097.vlog 003177.vlog 003257.vlog 003337.vlog 003417.vlog 003497.vlog 002618.vlog 002698.vlog 002778.vlog 002858.vlog 002938.vlog 003018.vlog 003098.vlog 003178.vlog 003258.vlog 003338.vlog 003418.vlog 003498.vlog 002619.vlog 002699.vlog 002779.vlog 002859.vlog 002939.vlog 003019.vlog 003099.vlog 003179.vlog 003259.vlog 003339.vlog 003419.vlog 003499.vlog 002620.vlog 002700.vlog 002780.vlog 002860.vlog 002940.vlog 003020.vlog 003100.vlog 003180.vlog 003260.vlog 003340.vlog 003420.vlog 003500.vlog 002621.vlog 002701.vlog 002781.vlog 002861.vlog 002941.vlog 003021.vlog 003101.vlog 003181.vlog 003261.vlog 003341.vlog 003421.vlog 003501.vlog 002622.vlog 002702.vlog 002782.vlog 002862.vlog 002942.vlog 003022.vlog 003102.vlog 003182.vlog 003262.vlog 003342.vlog 003422.vlog 003502.vlog 002623.vlog 002703.vlog 002783.vlog 002863.vlog 002943.vlog 003023.vlog 003103.vlog 003183.vlog 003263.vlog 003343.vlog 003423.vlog 003503.vlog 002624.vlog 002704.vlog 002784.vlog 002864.vlog 002944.vlog 003024.vlog 003104.vlog 003184.vlog 003264.vlog 003344.vlog 003424.vlog 003504.vlog 002625.vlog 002705.vlog 002785.vlog 002865.vlog 002945.vlog 003025.vlog 003105.vlog 003185.vlog 003265.vlog 003345.vlog 003425.vlog 003505.vlog 002626.vlog 002706.vlog 002786.vlog 002866.vlog 002946.vlog 003026.vlog 003106.vlog 003186.vlog 003266.vlog 003346.vlog 003426.vlog 003506.vlog 002627.vlog 002707.vlog 002787.vlog 002867.vlog 002947.vlog 003027.vlog 003107.vlog 003187.vlog 003267.vlog 003347.vlog 003427.vlog 003507.vlog 002628.vlog 002708.vlog 002788.vlog 002868.vlog 002948.vlog 003028.vlog 003108.vlog 003188.vlog 003268.vlog 003348.vlog 003428.vlog 003508.vlog 002629.vlog 002709.vlog 002789.vlog 002869.vlog 002949.vlog 003029.vlog 003109.vlog 003189.vlog 003269.vlog 003349.vlog 003429.vlog 003509.vlog 002630.vlog 002710.vlog 002790.vlog 002870.vlog 002950.vlog 003030.vlog 003110.vlog 003190.vlog 003270.vlog 003350.vlog 003430.vlog 003510.vlog 002631.vlog 002711.vlog 002791.vlog 002871.vlog 002951.vlog 003031.vlog 003111.vlog 003191.vlog 003271.vlog 003351.vlog 003431.vlog 003511.vlog 002632.vlog 002712.vlog 002792.vlog 002872.vlog 002952.vlog 003032.vlog 003112.vlog 003192.vlog 003272.vlog 003352.vlog 003432.vlog 003512.vlog 002633.vlog 002713.vlog 002793.vlog 002873.vlog 002953.vlog 003033.vlog 003113.vlog 003193.vlog 003273.vlog 003353.vlog 003433.vlog 003513.vlog 002634.vlog 002714.vlog 002794.vlog 002874.vlog 002954.vlog 003034.vlog 003114.vlog 003194.vlog 003274.vlog 003354.vlog 003434.vlog 003514.vlog 002635.vlog 002715.vlog 002795.vlog 002875.vlog 002955.vlog 003035.vlog 003115.vlog 003195.vlog 003275.vlog 003355.vlog 003435.vlog 003515.vlog 002636.vlog 002716.vlog 002796.vlog 002876.vlog 002956.vlog 003036.vlog 003116.vlog 003196.vlog 003276.vlog 003356.vlog 003436.vlog 003516.vlog 002637.vlog 002717.vlog 002797.vlog 002877.vlog 002957.vlog 003037.vlog 003117.vlog 003197.vlog 003277.vlog 003357.vlog 003437.vlog 003517.vlog 002638.vlog 002718.vlog 002798.vlog 002878.vlog 002958.vlog 003038.vlog 003118.vlog 003198.vlog 003278.vlog 003358.vlog 003438.vlog 003518.vlog 002639.vlog 002719.vlog 002799.vlog 002879.vlog 002959.vlog 003039.vlog 003119.vlog 003199.vlog 003279.vlog 003359.vlog 003439.vlog 003519.vlog 002640.vlog 002720.vlog 002800.vlog 002880.vlog 002960.vlog 003040.vlog 003120.vlog 003200.vlog 003280.vlog 003360.vlog 003440.vlog 003520.vlog 002641.vlog 002721.vlog 002801.vlog 002881.vlog 002961.vlog 003041.vlog 003121.vlog 003201.vlog 003281.vlog 003361.vlog 003441.vlog 003521.vlog 002642.vlog 002722.vlog 002802.vlog 002882.vlog 002962.vlog 003042.vlog 003122.vlog 003202.vlog 003282.vlog 003362.vlog 003442.vlog 003522.vlog 002643.vlog 002723.vlog 002803.vlog 002883.vlog 002963.vlog 003043.vlog 003123.vlog 003203.vlog 003283.vlog 003363.vlog 003443.vlog 003523.vlog 002644.vlog 002724.vlog 002804.vlog 002884.vlog 002964.vlog 003044.vlog 003124.vlog 003204.vlog 003284.vlog 003364.vlog 003444.vlog 003524.vlog 002645.vlog 002725.vlog 002805.vlog 002885.vlog 002965.vlog 003045.vlog 003125.vlog 003205.vlog 003285.vlog 003365.vlog 003445.vlog 003525.vlog 002646.vlog 002726.vlog 002806.vlog 002886.vlog 002966.vlog 003046.vlog 003126.vlog 003206.vlog 003286.vlog 003366.vlog 003446.vlog 003526.vlog 002647.vlog 002727.vlog 002807.vlog 002887.vlog 002967.vlog 003047.vlog 003127.vlog 003207.vlog 003287.vlog 003367.vlog 003447.vlog 003527.vlog 002648.vlog 002728.vlog 002808.vlog 002888.vlog 002968.vlog 003048.vlog 003128.vlog 003208.vlog 003288.vlog 003368.vlog 003448.vlog 003528.vlog 002649.vlog 002729.vlog 002809.vlog 002889.vlog 002969.vlog 003049.vlog 003129.vlog 003209.vlog 003289.vlog 003369.vlog 003449.vlog 003529.vlog 002650.vlog 002730.vlog 002810.vlog 002890.vlog 002970.vlog 003050.vlog 003130.vlog 003210.vlog 003290.vlog 003370.vlog 003450.vlog 003530.vlog 002651.vlog 002731.vlog 002811.vlog 002891.vlog 002971.vlog 003051.vlog 003131.vlog 003211.vlog 003291.vlog 003371.vlog 003451.vlog 003531.vlog 002652.vlog 002732.vlog 002812.vlog 002892.vlog 002972.vlog 003052.vlog 003132.vlog 003212.vlog 003292.vlog 003372.vlog 003452.vlog 003532.vlog 002653.vlog 002733.vlog 002813.vlog 002893.vlog 002973.vlog 003053.vlog 003133.vlog 003213.vlog 003293.vlog 003373.vlog 003453.vlog 003533.vlog 002654.vlog 002734.vlog 002814.vlog 002894.vlog 002974.vlog 003054.vlog 003134.vlog 003214.vlog 003294.vlog 003374.vlog 003454.vlog 003534.vlog 002655.vlog 002735.vlog 002815.vlog 002895.vlog 002975.vlog 003055.vlog 003135.vlog 003215.vlog 003295.vlog 003375.vlog 003455.vlog 003535.vlog 002656.vlog 002736.vlog 002816.vlog 002896.vlog 002976.vlog 003056.vlog 003136.vlog 003216.vlog 003296.vlog 003376.vlog 003456.vlog 003536.vlog 002657.vlog 002737.vlog 002817.vlog 002897.vlog 002977.vlog 003057.vlog 003137.vlog 003217.vlog 003297.vlog 003377.vlog 003457.vlog 003537.vlog 002658.vlog 002738.vlog 002818.vlog 002898.vlog 002978.vlog 003058.vlog 003138.vlog 003218.vlog 003298.vlog 003378.vlog 003458.vlog 003538.vlog 002659.vlog 002739.vlog 002819.vlog 002899.vlog 002979.vlog 003059.vlog 003139.vlog 003219.vlog 003299.vlog 003379.vlog 003459.vlog 003539.vlog 002660.vlog 002740.vlog 002820.vlog 002900.vlog 002980.vlog 003060.vlog 003140.vlog 003220.vlog 003300.vlog 003380.vlog 003460.vlog 003540.vlog 002661.vlog 002741.vlog 002821.vlog 002901.vlog 002981.vlog 003061.vlog 003141.vlog 003221.vlog 003301.vlog 003381.vlog 003461.vlog 003541.vlog 002662.vlog 002742.vlog 002822.vlog 002902.vlog 002982.vlog 003062.vlog 003142.vlog 003222.vlog 003302.vlog 003382.vlog 003462.vlog 003542.vlog 002663.vlog 002743.vlog 002823.vlog 002903.vlog 002983.vlog 003063.vlog 003143.vlog 003223.vlog 003303.vlog 003383.vlog 003463.vlog 003543.vlog 002664.vlog 002744.vlog 002824.vlog 002904.vlog 002984.vlog 003064.vlog 003144.vlog 003224.vlog 003304.vlog 003384.vlog 003464.vlog 003544.vlog 002665.vlog 002745.vlog 002825.vlog 002905.vlog 002985.vlog 003065.vlog 003145.vlog 003225.vlog 003305.vlog 003385.vlog 003465.vlog 003545.vlog 002666.vlog 002746.vlog 002826.vlog 002906.vlog 002986.vlog 003066.vlog 003146.vlog 003226.vlog 003306.vlog 003386.vlog 003466.vlog 003546.vlog 002667.vlog 002747.vlog 002827.vlog 002907.vlog 002987.vlog 003067.vlog 003147.vlog 003227.vlog 003307.vlog 003387.vlog 003467.vlog 003547.vlog 002668.vlog 002748.vlog 002828.vlog 002908.vlog 002988.vlog 003068.vlog 003148.vlog 003228.vlog 003308.vlog 003388.vlog 003468.vlog 003548.vlog 002669.vlog 002749.vlog 002829.vlog 002909.vlog 002989.vlog 003069.vlog 003149.vlog 003229.vlog 003309.vlog 003389.vlog 003469.vlog 003549.vlog 002670.vlog 002750.vlog 002830.vlog 002910.vlog 002990.vlog 003070.vlog 003150.vlog 003230.vlog 003310.vlog 003390.vlog 003470.vlog 003550.vlog 002671.vlog 002751.vlog 002831.vlog 002911.vlog 002991.vlog 003071.vlog 003151.vlog 003231.vlog 003311.vlog 003391.vlog 003471.vlog 002672.vlog 002752.vlog 002832.vlog 002912.vlog 002992.vlog 003072.vlog 003152.vlog 003232.vlog 003312.vlog 003392.vlog 003472.vlog 002673.vlog 002753.vlog 002833.vlog 002913.vlog 002993.vlog 003073.vlog 003153.vlog 003233.vlog 003313.vlog 003393.vlog 003473.vlog 002674.vlog 002754.vlog 002834.vlog 002914.vlog 002994.vlog 003074.vlog 003154.vlog 003234.vlog 003314.vlog 003394.vlog 003474.vlog 002675.vlog 002755.vlog 002835.vlog 002915.vlog 002995.vlog 003075.vlog 003155.vlog 003235.vlog 003315.vlog 003395.vlog 003475.vlog 002676.vlog 002756.vlog 002836.vlog 002916.vlog 002996.vlog 003076.vlog 003156.vlog 003236.vlog 003316.vlog 003396.vlog 003476.vlog 002677.vlog 002757.vlog 002837.vlog 002917.vlog 002997.vlog 003077.vlog 003157.vlog 003237.vlog 003317.vlog 003397.vlog 003477.vlog 002678.vlog 002758.vlog 002838.vlog 002918.vlog 002998.vlog 003078.vlog 003158.vlog 003238.vlog 003318.vlog 003398.vlog 003478.vlog 002679.vlog 002759.vlog 002839.vlog 002919.vlog 002999.vlog 003079.vlog 003159.vlog 003239.vlog 003319.vlog 003399.vlog 003479.vlog 002680.vlog 002760.vlog 002840.vlog 002920.vlog 003000.vlog 003080.vlog 003160.vlog 003240.vlog 003320.vlog 003400.vlog 003480.vlog 002681.vlog 002761.vlog 002841.vlog 002921.vlog 003001.vlog 003081.vlog 003161.vlog 003241.vlog 003321.vlog 003401.vlog 003481.vlog

我觉得是之前的运维开了binlog。我现在想知道怎么关闭,并删除不用的文件。

这边目前是没有 Binlog 的需求了吗?没有用到 drainer

如果是关闭 Binlog 可以参考这个文档:

这个文档我看了,似乎只有部署的指导,没有停用的指导。请问停用之后哪些文件需要删除?删除之后是安全的?

我该怎样停掉并移除这个pump的服务? 我该如何判断drainer是否启动了? 之前的运维走了,我现在不太确定该怎么操作。

先确认一下你们是否要关闭 Binlog

如果是要关闭 Binlog:

  1. 修改 inventory 中 enable_binlog 为 False
  2. 滚动重启 tidb
ansible-playbook rolling_update.yml --tags=tidb
  1. 参照文档下线pump 以及 drainer https://pingcap.com/docs-cn/stable/reference/tidb-binlog/maintain/

我目前这样操作: 1.enable_binglog 改为 false,然后rollupdate了 tidb 2.binlogctl 下线了 pump 3.stop了pump服务 4.注释掉pump的机器,然后rollupdate pump 5.rollupdate_monitor

现在看htop,pump的进程是停了的。但是grafana里看,还是有pump的下线节点。用sql查,也有一个下线的pump记录。请问这是成功关掉功能了吗?还是没关掉?还应该做什么操作?

下线之后就可以了,状态显示 offline 就表示没有使用了

好的。谢谢。

好的 ,不客气~