Category
AI
从 ReAct 到 Agent：让模型边想边做
ReAct（Reasoning + Acting，来自 2022 年的论文 ReAct: Synergizing Reasoning and Acting in Language Models）解决的，是当时两条路各自的缺陷——它把「推理」和「行动」拧成一个循环，也成了现代 Agent 的大脑原型。 要讲清它解决什么，先看它之前的两个半成品。 一、它之前的两...
什么是向量数据库：给大模型接上「按意思查」的知识库
向量数据库，简单说就是专门用来存「向量」、并能极快地找出「最相似向量」的数据库。要理解它，得先接上 embedding 这个概念——如果对「文本怎么变成向量」还不熟，可以先看 从 Prompt 到输出 和 多模态 Token。 一、从 embedding 说起：为什么需要它我们已经知道：文本、图像、音频经过模型都会变成向量（embedding），而且有个关键...
多模态 Token：文本、图像、音频分别被切成了什么
在 从 Prompt 到输出 里我们讲过：文本会先被分词器切成一个个 token、再变成向量送进模型。那很自然会问——图像和音频也讲「token」，它们的 token 又是什么？是像素吗？是采样点吗？ 答案是：token 从来就不是「字」，而是「Transformer 处理的最小单位」。理解了这一点，三种模态其实是同一套路。 统一视角：切块 → 变向量不管什...
什么是 MCP：给大模型接上外部世界的「USB-C」
大模型本身是个「关在盒子里的大脑」：它会推理、会写字，但看不到你的数据库、读不了你本地的文件、调不了公司的内部 API。要让它真正干活，就得给它接上外部世界——读数据、调工具、做操作。 MCP（Model Context Protocol，模型上下文协议） 就是为这件事定的一套开放标准。它由 Anthropic 在 2024 年底提出并开源，现在已经成为 A...
用一个玩具例子看懂 Transformer 的 Q/K/V
真实大模型里的向量动辄几千维，光看公式很难建立直觉。这篇用一个玩具数字例子，把注意力机制里最核心的 Q/K/V 拆成”三张工作卡”：模型怎么从 token 得到 embedding、怎么算出 Q/K/V、又怎么用它们预测下一个 token。 下面是一个可交互的动画，点按钮一步步走就行： 如果上面的动画加载不出来，可以直...
从 Prompt 到输出：一条文本在大模型里到底走了哪些路
我们每天都在往 ChatGPT、Claude 这类模型里打字、看它一个字一个字地吐出来。但中间这条链路其实很具体：你的 prompt 不是”被模型读懂”，而是被切成数字、变成向量、在几十层网络里反复加权汇总，最后变成一张”下一个词的概率表”，再被采样、拼回去、循环。 这篇就把这条链路从头到尾拆开。前置的注意力机制（Q/K/V）可以先看这篇...
AI 能力怎么做评测？从「断言式 Eval」到「A/B 基准」
📚 前言开篇那篇我们说过，AI 基建里最被低估、面试最加分的，是「评测」。 原因很简单： 大部分人能把 prompt 调到「看起来还行」，但答不出「你怎么证明它行、改了之后怎么知道是变好还是变坏」。 而这恰恰是「会调 API」和「能做基建」之间最深的那道沟。 这一篇不空谈方法论，我们直接解剖一个真实存在、设计得相当讲究的评测系统——Claude Code ...
为什么 Agent Skills 是 AI 工程的利器：从渐进式披露说起
📚 前言先抛一个 AI 工程里几乎绕不开的矛盾： 你希望 Agent 能力越多越好，但能力越多，要塞给模型的说明书就越长，上下文就越贵、越挤、越乱。 把所有工具、所有规范、所有领域知识一股脑写进 system prompt，demo 阶段没问题。但当能力涨到几十上百个，你会发现： 上下文窗口被说明书占满，留给真正任务的空间越来越少 每次请求都背着全部说明，...
什么是 MCP？从「为什么需要」到「手写一个 MCP Server」
📚 前言先讲个很多人都踩过的场景。 你给 LLM 接了个「查天气」的能力，写了一段 function calling 的代码。过两天又要接「查数据库」，再写一段。再过两天，换了个客户端 —— 从自己写的 Web，换成了 Claude Desktop 或者某个 IDE 插件 ——发现之前那两段全部要重写。 你会发现一个尴尬的事实： 每一个「能力」，乘以每一个...
什么是 AI 工程？从「调 API」到「AI 基建」的鸿沟
📚 前言先讲个真实场景。 面试的时候被问到一句话： 「关于 AI 开发，你有没有做过什么基建？」 这句话杀伤力很大。 因为大部分人对 AI 开发的理解，停在这一步： 123拿到 API Key调一下 chat/completions把模型返回的文字渲染到页面上 这当然没错，但它回答不了「基建」两个字。 面试官真正想问的是： 当 AI 功能要上线、要稳定、要...