Tag
Eval
AI 能力怎么做评测？从「断言式 Eval」到「A/B 基准」
📚 前言开篇那篇我们说过，AI 基建里最被低估、面试最加分的，是「评测」。 原因很简单： 大部分人能把 prompt 调到「看起来还行」，但答不出「你怎么证明它行、改了之后怎么知道是变好还是变坏」。 而这恰恰是「会调 API」和「能做基建」之间最深的那道沟。 这一篇不空谈方法论，我们直接解剖一个真实存在、设计得相当讲究的评测系统——Claude Code ...
AI 基建
Eval
可观测性
LLM-as-judge
AI 评测
什么是 AI 工程？从「调 API」到「AI 基建」的鸿沟
📚 前言先讲个真实场景。 面试的时候被问到一句话： 「关于 AI 开发，你有没有做过什么基建？」 这句话杀伤力很大。 因为大部分人对 AI 开发的理解，停在这一步： 123拿到 API Key调一下 chat/completions把模型返回的文字渲染到页面上 这当然没错，但它回答不了「基建」两个字。 面试官真正想问的是： 当 AI 功能要上线、要稳定、要...
AI 工程
AI 基建
LLM 应用
Prompt 工程
Eval