AI / AIEngineering

AI 能力怎么做评测?从「断言式 Eval」到「A/B 基准」

📚 前言开篇那篇我们说过,AI 基建里最被低估、面试最加分的,是「评测」。 原因很简单: 大部分人能把 prompt 调到「看起来还行」,但答不出「你怎么证明它行、改了之后怎么知道是变好还是变坏」。 而这恰恰是「会调 API」和「能做基建」之间最深的那道沟。 这一篇不空谈方法论,我们直接解剖一个真实存在、设计得相当讲究的评测系统——Claude Code ...

AI 基建 Eval 可观测性 LLM-as-judge AI 评测
AI / AIEngineering

什么是 MCP?从「为什么需要」到「手写一个 MCP Server」

📚 前言先讲个很多人都踩过的场景。 你给 LLM 接了个「查天气」的能力,写了一段 function calling 的代码。过两天又要接「查数据库」,再写一段。再过两天,换了个客户端 —— 从自己写的 Web,换成了 Claude Desktop 或者某个 IDE 插件 ——发现之前那两段全部要重写。 你会发现一个尴尬的事实: 每一个「能力」,乘以每一个...

Agent 工具调用 LLM 应用 MCP Model Context Protocol
AI / AIEngineering

什么是 AI 工程?从「调 API」到「AI 基建」的鸿沟

📚 前言先讲个真实场景。 面试的时候被问到一句话: 「关于 AI 开发,你有没有做过什么基建?」 这句话杀伤力很大。 因为大部分人对 AI 开发的理解,停在这一步: 123拿到 API Key调一下 chat/completions把模型返回的文字渲染到页面上 这当然没错,但它回答不了「基建」两个字。 面试官真正想问的是: 当 AI 功能要上线、要稳定、要...

AI 工程 AI 基建 LLM 应用 Prompt 工程 Eval