我不给 token 用量定 KPI——一块看板的三次改版

三个月前,我差点给自己定下一个目标:每天一亿 token。

那阵子我给自己写了一块看板:把几个 AI 工具的本地日志扫一遍,按天聚合,算出用掉多少 token,再按各家官方刊例价折成美元,画成一整年的热力图。格子一天天变深,数字一天天上涨,看着极舒服。订阅是包月的,多用一个 token 并不额外收钱,于是一个念头很自然地冒出来:既然不花钱,为什么不推到极限?定个数吧,每天一亿,达标就算这天没白过。

这个念头我拿去问了 AI,被劝住了。理由只有一句:token 是我花掉的,不是我做成的。

记分牌是怎么长歪的

现在回头看,那块看板当时已经在往记分牌的方向长了。

它有一整层”激励”设计,全是我自己加的:连续活跃天数的连击计数,一排等着点亮的成就徽章——单日破亿、十亿俱乐部、百亿俱乐部,还有一枚叫”杠杆大师”,算的是这个月榨出来的等价价值除以月费。首页最显眼的那句话是”越用越赚”。

其中一枚徽章叫”夜行侠”,点亮条件是凌晨两点到六点之间累计用满一千万 token。

我做心内科介入,一周里有两天要上台。写下那个条件的时候,我一点没觉得有什么不妥;等它挂在首页上、每天冲我亮一次,我才看明白自己造了个什么东西——一块奖励我在手术日前夜熬着不睡的牌子。

这是 Goodhart 那条老规矩最朴素的一次现形:一项指标一旦被当成目标,它就不再是个好指标。token 这个指标又坏得格外快,因为刷它太容易,而且每一种刷法都无害于良心:把上下文拉长一点,同一个任务多跑两遍,会话用完不关留着,甚至把本该一句话问清的事拆成五轮来问。这些做法没有一样能让我多做成一件事,但每一样都能让格子变深。而真正被消耗掉的,从来不是那些不额外收费的 token,是我的时间和注意力——稀缺的是这两样。那种”不能让机器闲着”的焦虑,我在《人是单核的》里另写过一次,它和这里说的是同一个病。

把标尺换成一个能被关掉的问题

后来我把这块看板改了。改的不是算法,是它回答的问题。

原来的问题是”我这个月推得多狠”。这个问题没有天花板,也就没有答案:不管数字多大,第二天都还能更大,于是它永远在向你要更多。

换上去的问题很笨:我订的是每月两百美元那一档,比它便宜的还有一百美元的档;这一周的用量,有没有超过一百美元那档能给我的上限?

笨问题有两个好处。其一,它有天花板——一旦这周越过那条线,两百美元这笔钱就已经赢了,之后再多的数字不增加任何信息,看不看都行。其二,它能被关掉:一个问题若连续几周都是同一个答案,它就该从仪表盘上退休,而不是继续每天问一遍。

于是连击、徽章、”越用越赚”全部拆掉,横幅从四张卡减到三张,留下的只有三件事:这周越没越过回本线,今天的节奏够不够,这个月的订阅费挣没挣回来。

两次对账

改完之后,这块看板干了两件正经事。

第一件,是把”要不要降档”这个问题彻底关掉。七月里连着四周,用量分别是回本线的三点九倍到六点九倍;再往前数,七周里有六周越线;当月按刊例价折算的等价价值接近月费的五十倍。到这个份上,降档不必再议——数据把它答死了。

这里要说清一件容易被误读的事:看板上那个”花费”,是把 token 按各家公开 API 价目折算出来的等价价值。我真实付出去的账单只有订阅费那一项。把等价价值读成”我赚到了多少”,是这类看板最常见的一种自我陶醉;它顶多能回答”这笔订阅费花得值不值”,再往前一步就不成立了。

为什么不成立,第二件事说得更清楚。

等价价值买不到产出

七月我另外订了一家的命令行智能体,月费近七百块。八月它跑掉七点九亿 token,折合三百八十美元的等价价值——单看这个数,简直是笔好买卖。

但验收标准我事先就定死了,是一句很土的话:不许看仪表盘,凭记忆说得出两件靠它独立做成的事。

到了账期,我想了很久,只数得出一件。

更难堪的是,它吃掉 token 最多的那个项目——我让它做的一套纸牌游戏策略模拟——我后来自己审了一遍,发现漂亮结论大半建立在几处 bug 上,能拿走的东西所剩无几,那次审计我写成了另一篇。也就是说,等价价值最高的那一项,产出价值最接近零。这两个数不但不成正比,那个月里它们几乎是反着走的。

于是这家订阅被砍掉。八月底我把手上的自动续费一个个关掉,固定订阅重新收敛回一家。

那么用什么记账

拆掉记分牌,总得有个东西替上。我现在用的是一套更土的日结:每天给自己评一级,拖延记负一,有点小进展记零,闭环一件记一,啃下一块硬骨头记二——最后这档一天最多给一次。原则只有一条:闭环优先,最怕每件事都差一口气。

它和 token 那套的差别在方向上:一个数的是我关掉了几件事,另一个数的是我烧掉了多少东西。后来这条被我压成一句更短的规矩——一天按关掉几件事记账,不按烧了几个小时记账。

至于那块看板,我没有删。它现在只是一块防御仪表,回答两个问题:这周这笔钱还赢不赢,我快不快撞上限速的顶。哪天它又开始回答”我这个月推得多狠”,就是它该再改一次的时候。

能被消耗量安慰的勤奋,通常正是没做成事的那一种。


了解 创见思考 的更多信息

Subscribe to get the latest posts sent to your email.


已发布

分类

来自

了解 创见思考——怎样度过这一生 的更多信息

立即订阅以继续阅读并访问完整档案。

继续阅读

开往