Attention

用一个玩具例子看懂 Transformer 的 Q/K/V

真实大模型里的向量动辄几千维，光看公式很难建立直觉。这篇用一个玩具数字例子，把注意力机制里最核心的 Q/K/V 拆成”三张工作卡”：模型怎么从 token 得到 embedding、怎么算出 Q/K/V、又怎么用它们预测下一个 token。 下面是一个可交互的动画，点按钮一步步走就行： 如果上面的动画加载不出来，可以直...