多模态

多模态 Token：文本、图像、音频分别被切成了什么

在 从 Prompt 到输出 里我们讲过：文本会先被分词器切成一个个 token、再变成向量送进模型。那很自然会问——图像和音频也讲「token」，它们的 token 又是什么？是像素吗？是采样点吗？ 答案是：token 从来就不是「字」，而是「Transformer 处理的最小单位」。理解了这一点，三种模态其实是同一套路。 统一视角：切块 → 变向量不管什...