Tag
LLM
从 ReAct 到 Agent：让模型边想边做
ReAct（Reasoning + Acting，来自 2022 年的论文 ReAct: Synergizing Reasoning and Acting in Language Models）解决的，是当时两条路各自的缺陷——它把「推理」和「行动」拧成一个循环，也成了现代 Agent 的大脑原型。 要讲清它解决什么，先看它之前的两个半成品。 一、它之前的两...
什么是向量数据库：给大模型接上「按意思查」的知识库
向量数据库，简单说就是专门用来存「向量」、并能极快地找出「最相似向量」的数据库。要理解它，得先接上 embedding 这个概念——如果对「文本怎么变成向量」还不熟，可以先看 从 Prompt 到输出 和 多模态 Token。 一、从 embedding 说起：为什么需要它我们已经知道：文本、图像、音频经过模型都会变成向量（embedding），而且有个关键...
多模态 Token：文本、图像、音频分别被切成了什么
在 从 Prompt 到输出 里我们讲过：文本会先被分词器切成一个个 token、再变成向量送进模型。那很自然会问——图像和音频也讲「token」，它们的 token 又是什么？是像素吗？是采样点吗？ 答案是：token 从来就不是「字」，而是「Transformer 处理的最小单位」。理解了这一点，三种模态其实是同一套路。 统一视角：切块 → 变向量不管什...
什么是 MCP：给大模型接上外部世界的「USB-C」
大模型本身是个「关在盒子里的大脑」：它会推理、会写字，但看不到你的数据库、读不了你本地的文件、调不了公司的内部 API。要让它真正干活，就得给它接上外部世界——读数据、调工具、做操作。 MCP（Model Context Protocol，模型上下文协议） 就是为这件事定的一套开放标准。它由 Anthropic 在 2024 年底提出并开源，现在已经成为 A...
用一个玩具例子看懂 Transformer 的 Q/K/V
真实大模型里的向量动辄几千维，光看公式很难建立直觉。这篇用一个玩具数字例子，把注意力机制里最核心的 Q/K/V 拆成”三张工作卡”：模型怎么从 token 得到 embedding、怎么算出 Q/K/V、又怎么用它们预测下一个 token。 下面是一个可交互的动画，点按钮一步步走就行： 如果上面的动画加载不出来，可以直...
从 Prompt 到输出：一条文本在大模型里到底走了哪些路
我们每天都在往 ChatGPT、Claude 这类模型里打字、看它一个字一个字地吐出来。但中间这条链路其实很具体：你的 prompt 不是”被模型读懂”，而是被切成数字、变成向量、在几十层网络里反复加权汇总，最后变成一张”下一个词的概率表”，再被采样、拼回去、循环。 这篇就把这条链路从头到尾拆开。前置的注意力机制（Q/K/V）可以先看这篇...