用tidb来做数据分析,帮老板节能减排增效

其实tidb和理财真的很扯。不过真的有关系。

为啥因为我相信数据分析对业务是有促进关系的。dba真的不要只对数据库进行管理。对数据预测有助于你更好的管理好数据库。有数据分析的思维。不光能做好你的本职工作让你升值加薪,还能让你的钱财升值加薪。

说句真心话你给老板赚钱,老板不一定会给你升值加薪。因为服务器方面的开销你省下来。可能个别老板心里会想。这个之前让我花了10万一个月浪费了一年120万。气死我也。完全不会想是你用数据分析帮他该省的省,该花的花。而你对自己的财务系统做数据分析。赚的钱都是你个人口袋里的钱。真的做到了你学tidb数据分析越好。你的钱越多。你把你的资产数字化拿来做数据分析。你越能发现你资产的弱点。

比如这个条状图很容易让人联想起可能又要下跌一段时间了

比如这个图感觉是以四年为周期在做康波周期

这张图更明显一点。其实个人真实的体会是2018年是经济危机。2020年疫情来了直接把你干趴下了2020年三月本来一波大跳水美联储不要脸直接印钱发给国内人民让他们不劳而获购买物资耗全世界羊毛。导致了著名的人民反抗华尔街的故事游戏驿站。本来么没筹码就不上赌桌,奈何庄家给人人发了筹码tiktok呼吁大家买入直接干翻了做市商。香橼、梅尔文资管黯然退场。经济危机彻底爆发,产生一战剧本。大毛日子太难,开启欺负二毛转移人民内部矛盾激发民族主义。这就是现在经济的结构。中国让伊朗和沙特阿拉伯和解了。美国用逊尼派和什叶派矛盾构筑的石油美元经济开始崩溃。因为美国他自己也是一个产油国。石油锚定物消失,新的锚定还没出现。这个就是最近经济危机频繁爆发的原因。普通人的理财大部分是折腾没的。我也是普通人。

为啥我坚定看好数据分析呢 因为财务动账也是靠数据分析来节约公司开销的之前给前公司做过一版本费用优化

移动做业务推广方案.
需要先拿一个省市做实验.先拿绍兴做实验.
在一起要吃亏.不吃亏怎么能做的更好.

云时代对账单分析的强烈需求

对于传统的IT运维,通常上线机器,首先需要预估需求,然后申请预算,再发起采购单,等待采购完成,到最终上线,整个流程已经横跨几个月,甚至到1年。

云时代的到来,云厂商巨大的资源池,保证任何客户任意时刻都有足够的资源使用。云资源具备随时可用,规模弹性,规格丰富的特征。客户可以一键创建出需要的机器和服务。把传统IT横跨几个月的流程缩短到了秒级别。俗话说兵马未动,粮草先行,云资源正是业务的粮草,云的弹性保障了业务的弹性。基于云,出现了一个个疯狂扩张的独角兽。云的出现重构了整个IT的基础设施,而作为传统IT一环的财务预算流程,也理所当然的被重构。

传统的预算制度,跟不上业务的快速发展。假如我们需要做一个活动,临时购买一部分机器,已经超出了预算的规划。只能事后统计追踪资源使用。云资源除了包年包月,还有按量付费。对按量付费的资源使用,更是超出了预算管理的能力。因此,对账单统计分析,整理清楚钱花在哪里,怎么优化费用,成为云时代的刚需。

手工分析账单的痛点

通常手工分析账单怎么搞?首先从账单中心下载账单,有两种方式,一种写程序调用账单中心api,另一种手工下载csv。 数据再导入excel中进行分析。整个过程中,80%的时间在拉账单和对账。下载好账单之后,需要反复的核对金额,是否和账单中心显示的费用一致。如果有不一致的地方,要返工重新拉账单。拉取账单的工作,完全是脏活累活,重复性的劳动。账单维度、数据量一般比较大,用excel分析时,打开一个大文件都需要很长时间,更别说分析数据了。

怎么解决这些痛点?借助于云上数据中台,实现自动化,智能化的账单分析。

基于数据中台的账单分析

日志服务(SLS)推出了"成本管家"功能,一键开通后,自动从账单中心导入账单到日志库。日志服务是一个数据中台,提供时间序列数据的采集,存储,分析功能。账单正好是一种时间序列数据,借助数据中台的采集能力,无缝的采集账单数据,节省了财务分析人员的80%的脏活累活。使用户能够从低效的账单获取和整理工作中解放出来,精力专注于分析账单。

成本管家所具备的功能:

  • 实时采集,账单产生一小时内传输到APP。
  • 定制报表,提供常见账单分析场景,每日自动发送报告。
  • 交互式分析,使用SQL分析数月账单,秒级可见结果。
  • 分析结果可以图形化展示,更加直观。
  • 机器学习算法,智能预测未来费用趋势,挖掘异常账单。
  • 自定义告警,实时发送异常账单到手机。
  • 自定义分析可保存到自定义报表。
  • 账单分析涉及的数据存储和分析功能,均免费。

内置账单分析报表

成本管家,内置了3张报表,分别是总览报表,明细报表,和优化建议。

总览报表:帮助用户直接分析当月,过去三个月的费用组成。预测未来的费用趋势,帮助用户合理规划未来的预算。

明细报表:分析每个产品的使用明细和趋势,同时分析出异常的账单时间点。

优化建议,根据按量付费产品的使用量,自动推荐包年包月的节省额度。

交互式分析

除了内置的报表模板,用户可以像使用MySQL一样,直接用SQL分析账单数据,分析结果直接以可视化大屏的形式展示。每次SQL分析,在秒级别分析横跨数月的数据。

机器学习预测账单趋势

对于后付费产品来说,最大的困难管理预算。因为可能由于业务上搞一些活动,造成短时间内费用突然暴涨。如何预测未来将要花多少钱是很困难的。SLS提供的机器学习方法,自动从历史数据中学习特征,基于特征预测未来将要花多少钱。

除了预测,机器学习能够对于异常的消费金额,予以标识,提醒用户加以关注。

自动查收账单报告

内置报表,可以定时发送到邮箱或者钉钉,用户只需要设置好时间,每天上班时,便可自动获取账单报表。

异常账单告警

sls拉取的账单时间粒度在1个小时,意味着,当账单产生一个小时内,便可在sls查询到。通过设置告警,及时关注一些异常消费。告警支持多种维度,既可以关注所有产品的账单,也可以关注单个产品的账单。不仅可以对单日账单设置告警限额,还可以对月度账单设置告警限额。告警可以帮助用户及时关注账单使用量,避免账号余额不足,影响使用。

立即开通使用

账单作为用户的刚需,也是云厂商应该提供的基础功能。我们期望让sls强大的数据分析能力,免费帮助用户更加容易的分析账单,管理云成本。

3月份 45000

能看到大头是ecs,redis,cdn,oss,块存储,负载均衡,ip。es vpn nat网关是生活的无法优化。在看上表后付费占了1半,查看账单发现 redis cdn oss 块存储 负载均衡 ip全是后付费的。2018年整一年研发费用是60w。平均一个月4.5-7w浮动。

3月 redis包年

买了电话报警。日志分析服务准备来做数据分析。

4月大手术 47000

这里有一点我做的不够好的。

1.其实应该先减一年内的费用。 cdn oss 这种都是包一年划算。投入不高今年能看到效果。以后优化需要先优化一年的费用。

2.日志分析应该按量付费。不要马上急着上这样费用会比较好看。

5月份 ecs 53000

这个月费用没控制好,日志不该买1600,ecs费用应该再少5000.主要这个月cdn费用大幅度增加。apk发布很多包年花了4300如果没有包年 cdn的流量费用应该是8000多。

6月份 76000-原本预算费用50000

6月份双618流量费增加了50%

视频服务增加了4000 rds包年6100 redis包年13159 ecs费用达到了40000

我对数据做了费用拆分。智能生活也花了19000。当时她们在做swarm改k8s。所以花了比较多的费用。当时在做618后对mongo集群改造。因为不熟悉mongo内存分配了太少了。当时业务出现了很大问题。在兴隆建议下后续又增加了15000多的预算。超过了我每个月50000的预算

7月份 52000

8月份 28000

9月份 14000

总体费用

未优化前的费用为60w一年。

(45000+47000+53000+76000+28000+14000)/6=43 833 比原先省了1000元。花费6个月优化目的达成。

后续3年基本能维持在4000-8000左右节省180w费用。

1 个赞

厉害了 :+1:

给你点赞:)

看起来很厉害的样子 :+1:

:+1: :+1: :+1:

:+1: :+1: :+1: :+1: :+1:

厉害了。我亏了不少。

:+1: :+1: :+1: :+1: :+1:

厉害,学习了

厉害👍