注意力不是你想的那样
2017 年那篇论文的标题起得太好了:Attention Is All You Need。八年过去,它成了整个大模型时代的地基。但我越读越觉得,这句话说的不只是机器。
机器的注意力
Transformer 的注意力机制,本质是一个加权系统:面对一句话里的每个词,模型会计算「此刻我应该看谁」。「猫追老鼠,它跑得很快」——「它」指谁?模型用注意力权重投票:老鼠得 0.7,猫得 0.2,其余瓜分剩下的。
# 注意力的骨架,一行公式
# Q: 我在找什么 K: 每个词是什么 V: 每个词携带的信息
attention = softmax(Q @ K.T / sqrt(d)) @ V
# softmax 保证权重加起来是 1 ——
# 注意力是零和的:多看一个词,就少看其他所有词注意这个细节:权重之和恒等于一。注意力是守恒的、零和的。机器不能「多注意一点」,它只能重新分配。
你的注意力
人也一样。你的注意力总量也约等于常数,也是零和的。可是我们活得好像它无限:二十个标签页,三个屏幕,播客开着倍速。每一样都分到一点权重,softmax 之后,每一样都约等于零。
推荐系统的目标函数是占据你的注意力,而你的人生目标函数需要你分配注意力。这两个优化问题,方向相反。
所以「Attention Is All You Need」对人也成立,只是含义反过来:机器靠聚合注意力变得聪明,人靠守住注意力活得完整。
写这篇的时候我刚开始学着做减法:卸了两个 App,退了十几个群。半年后回看,减法还在做,但对象已经变了——现在做减法的是人生选项本身。