跨越三年的评估（Eval）心法：Look at your data

Look at your data.（盯着你的数据看）

这句看似简单的建议，贯穿了 AI 评估专家 Hamel Husain 过去三年的公开分享。

最近我将其中三份资料放在一起对读，发现这三年间，look at your data 的内涵发生了质的进化：

• 2024 年：打破「凭感觉」的幻觉
• 2025 年：变成一门定性分析的科学
• 2026 年：回归为一种基于业务洞察的特权

这篇文章是沿着时间脉络，梳理出评估这个系统化工程中真正的 look at your data。也希望可以从最朴素的看数据出发，对你的产品评估有一点点启发。

2024 年：打破体感的幻觉

2024 年初，那时的产品开发流程通常是这样的：写个 Prompt，扔进 GPT，看一眼输出，「嗯，感觉不错」（Vibe Check），上线。然后用户反馈报错，改个词，「感觉这次好了」，再上线。

这时候，Hamel 在博客中提出了 Look at your data。在这一年，他强调看数据的核心目的，是为了对抗这种「凭感觉」带来的盲目自信。

1、只有看数据，才能不再是盲猜

在 2024 年的博客中，Hamel 举了一个房地产 AI 助手 Lucy 的例子。开发者如果不看历史数据，就会陷入打地鼠的游戏：

• 觉得 AI 语气太硬，改了 prompt 变软了。
• 但由于没看数据，所以并不知道这次修改导致 AI 在处理合同条款时也变得含糊其辞，造成了法律风险。

此时的 Look at your data，是为了建立单元测试，找出那些明确的、可编程的错误模式：

• 看数据发现 AI 经常把 JSON 里的布尔值写成字符串 → 写一个 assertion，强制检查 is_valid_json。
• 看数据发现 AI 经常在不该说话时插嘴 → 写一个关键词匹配，包含特定词汇直接 Fail。

2、只有看数据，才能构建黄金数据集

2024 年的方法论核心是「三级金字塔」：

• Level 1：单元测试
• Level 2：模型与人工评估（包含调试环节）
• Level 3：A/B 测试

这个金字塔的地基，完全依赖于看数据。那我该怎么写 Eval 呢？Hamel 的回答是：去日志里捞。必须亲眼看几百条真实的对话，把那些「用户问 A，AI 答 B」的糟糕案例筛出来，人工修正它，把它变成测试用例。

在 2024 年，Look at your data 是一种防御姿态。看数据，是为了不再被 AI 的随机性糊弄，把模糊的好坏变成代码里的 True 或 False。此时的工具是代码（Pytest），角色是工程师。

2025 年：一门定性分析的科学

时间来到 2025 年。此时开发者们有了测试集，也有了 LLM-as-a-Judge。但新的问题出现了：面对成千上万条 Bad Case，这要怎么看呢？

很多开发者虽然也在看数据，但看得很随意，或者过度依赖自动化工具生成的摘要。Hamel 在这一年将 Look at your data 升级为一套系统性的误差分析方法论。

1、别看仪表盘，看电子表格

Hamel 在视频中反对使用复杂的 MLOps 仪表盘，那些工具会把你和数据隔离开。他展示了 2025 年最强悍的评估工具：Google Sheets。因为只有表格才能逼着你一行一行地读数据。

2、「开放编码」与「轴心编码」：从看热闹到看门道

可是，电子表格这么多行数据，看着看着就会陷入自我怀疑、脑容量爆炸。要怎么看才行呢？

Hamel 引入了社会科学的研究方法，把看数据变成了一个科学过程。

Step 1：开放编码（Open Coding），像写日记一样看

不要预设任何立场。随机抽取 50 条 AI 回答错误的日志，看到什么就写什么。

Step 2：轴心编码（Axial Coding），像图书管理员一样看

当积累了 50 条笔记，就可以开始归纳。这时可能就会发现，「死循环」和「答非所问」其实是一类问题，叫「意图识别失败」；「幻觉」和「胡说八道」是一类，叫「知识库缺失」。

在这个阶段，Look at your data 是为了建立分类体系。

Step 3：统计（Counting），像决策者一样看

最后，可以数一下：如果 50 个错误里，有 30 个是「意图识别失败」，只有 2 个是「语气不礼貌」，那下周的开发计划就是先别管 Prompt 的语气词了，去修改意图识别的逻辑。

3、NurtureBoss 的案例：看数据才能发现隐形错误

Hamel 讲了一个 NurtureBoss 用 AI 帮公寓回答租客问题的案例。如果不仔细看原始数据，只看「是否有回复」，系统显示一切正常。但当真正 Look at data 时，就会发现这一幕：

用户：我想找个不带地毯的房间。

AI：为您推荐以下房间……（全是带地毯的）

用户：我想找个一楼的。

AI：为您推荐……（全是二楼的）

这种「并没有报错，也没有崩溃，甚至语气很礼貌，但完全搞砸了业务逻辑」的错误，是任何自动化监控都抓不到的。只有当你真正在看数据时，才能捕捉到这种微妙的失败。

在 2025 年，Look at your data 是一种诊断技术。它不再是随意的浏览，而是通过笔记、归类、统计的严谨流程，从日志中提炼出产品的改进方向。此时的工具是 Excel 或 Sheets，角色开始向 PM 倾斜。

2026 年：业务洞察的特权

当我们站在 2026 年的视角，评估已经从技术测试演变成了产品的核心竞争力。

在这一年，Hamel 对 Look at your data 提出了新的追问：你是否在用「懂业务」的眼睛看数据？

1、工程师看运行逻辑，PM 看业务价值

这是 2026 年最大的观念转变。Hamel 说：Do not outsource evals to developers（不要把评估外包给开发人员）。

为什么呢？比如回到那个地毯的例子：

• 工程师看数据：Prompt 执行了 → RAG 检索了文档 → LLM 生成了通顺的句子 → JSON 格式正确。结论：Pass。
• PM 看数据：用户想要硬木地板，AI 却推荐了全地毯房型，甚至还推荐了错误的学区。结论：Fail，而且是严重的业务事故。

在 2026 年，Look at your data 不再是检查代码逻辑，而是检查业务逻辑。这种对人性的理解、对场景的体感、对竞品差异化的把握（或许这就是之前一直说的 Taste 品味），是工程师很难具备的（因为缺乏上下文），但却是产品经理赖以生存的本能。

2、专家不一定要穿白大褂，但一定要懂人

Hamel 在 2026 年强调的 Domain Expertise，在大多数应用中，其实就是极致的产品 sense。

当用户在租房 App 里抱怨「这里太吵」，AI 回复「该房源距离高速公路仅 50 米，交通便利」——只有懂用户的心智才能一眼看出其中的荒谬：那是噪音，不是便利。

Look at your data 在这里，意味着要用人的常识和业务的直觉，去纠正模型那种一本正经的胡说八道。

3、看数据，是为了审判裁判

2026 年，开发者开始用 GPT-5 或 Claude 做裁判（LLM-as-a-Judge），看一眼仪表盘：「哦，裁判模型和我的标注一致性有 90%，很完美。」

Hamel 警告：Look closer。

必须亲自去盯着那些「人类觉得不行，但 AI 裁判觉得行」的 case，深入到数据里，把那 10% 的不一致拆开来看：

• False Positive（假阳性）：不好的回答，裁判却说好。这很危险。
• False Negative（假阴性）：好的回答，裁判却说坏。这会误导优化的方向。

需要计算 TPR（真阳性率）和 TNR（真阴性率）。但这两个高大上的统计学指标，其实本质还是看数据：要盯着那些「人类觉得是 bad case，但裁判觉得是好」的数据看。

这一眼看过去，可能会发现裁判的 prompt 写得太宽容了，或者裁判被 AI 的华丽辞藻迷惑了。

这就是 2026 年的 Look at your data：用数据校准那把用来量尺子的尺子。这时候，只有具备业务洞察，才能指出这个微妙的偏差，并修正 prompt。

在 2026 年，Look at your data 是一种话语权的回归。它标志着 AI 评估从技术维度的测试回归到了用户体验的验收，是掌控产品方向、定义业务标准、校准自动化系统的核心手段。工具依然是简单的表格，但背后是深厚的行业认知。这把标尺，只能握在最懂用户的人手里。

最后

回顾这三年，Hamel Husain 的评估方法论一直在变：

• 工具在变：从写代码 assertion，到用 Excel 透视表，再到无代码工具。
• 指标在变：从简单的准确率，到复杂的 TPR / TNR。
• 角色在变：从工程师的单元测试，变成了 PM 的业务验收。

但核心动作从未改变：Look at your data.

打开日志文件，新建一个空白的电子表格，开始阅读吧。那是产品与你最真实的对话。