Category
大模型原理
多模态 Token：文本、图像、音频分别被切成了什么
在 从 Prompt 到输出 里我们讲过：文本会先被分词器切成一个个 token、再变成向量送进模型。那很自然会问——图像和音频也讲「token」，它们的 token 又是什么？是像素吗？是采样点吗？ 答案是：token 从来就不是「字」，而是「Transformer 处理的最小单位」。理解了这一点，三种模态其实是同一套路。 统一视角：切块 → 变向量不管什...
LLM
Transformer
Token
多模态
用一个玩具例子看懂 Transformer 的 Q/K/V
真实大模型里的向量动辄几千维，光看公式很难建立直觉。这篇用一个玩具数字例子，把注意力机制里最核心的 Q/K/V 拆成”三张工作卡”：模型怎么从 token 得到 embedding、怎么算出 Q/K/V、又怎么用它们预测下一个 token。 下面是一个可交互的动画，点按钮一步步走就行： 如果上面的动画加载不出来，可以直...
LLM
Transformer
Attention
从 Prompt 到输出：一条文本在大模型里到底走了哪些路
我们每天都在往 ChatGPT、Claude 这类模型里打字、看它一个字一个字地吐出来。但中间这条链路其实很具体：你的 prompt 不是”被模型读懂”，而是被切成数字、变成向量、在几十层网络里反复加权汇总，最后变成一张”下一个词的概率表”，再被采样、拼回去、循环。 这篇就把这条链路从头到尾拆开。前置的注意力机制（Q/K/V）可以先看这篇...
LLM
Transformer
Tokenizer
Inference