{"schema_version":1,"id":"article:look-at-your-data-three-years","kind":"article","slug":"look-at-your-data-three-years","title":"跨越三年的评估（Eval）心法：Look at your data","author":"晨旭","url":"https://chenxu.xin/writing/look-at-your-data-three-years","date":"2026-01-24","updated":"2026-01-24","description":"把 Hamel Husain 三年间的评估分享放在一起对读，看「盯着你的数据看」这句话如何从对抗 Vibe Check 的防御姿态，进化成定性分析方法论，再回归为懂业务的人才有的特权。","position":null,"group":null,"series":"入门系列文章","tags":["evaluation","ai-pm"],"publication_status":"public","maturity":"evergreen","body_sha256":"81536ea78af303b86b726403d8ddbd76222b8df50371d67a515ce31824d51740","paragraph_rule":"src/lib/paragraphs.mjs@1","paragraphs":[{"id":"p1","kind":"paragraph","text":"Look at your data.（盯着你的数据看）","raw":"Look at your data.（盯着你的数据看）"},{"id":"p2","kind":"paragraph","text":"这句看似简单的建议，贯穿了 AI 评估专家 Hamel Husain 过去三年的公开分享。","raw":"这句看似简单的建议，贯穿了 AI 评估专家 Hamel Husain 过去三年的公开分享。"},{"id":"p3","kind":"paragraph","text":"最近我将其中三份资料放在一起对读，发现这三年间，look at your data 的内涵发生了质的进化：","raw":"最近我将其中三份资料放在一起对读，发现这三年间，look at your data 的内涵发生了质的进化："},{"id":"p4","kind":"list","text":"- 2024 年：打破「凭感觉」的幻觉\n- 2025 年：变成一门定性分析的科学\n- 2026 年：回归为一种基于业务洞察的特权","raw":"- 2024 年：打破「凭感觉」的幻觉\n- 2025 年：变成一门定性分析的科学\n- 2026 年：回归为一种基于业务洞察的特权"},{"id":"p5","kind":"paragraph","text":"这篇文章是沿着时间脉络，梳理出评估这个系统化工程中真正的 look at your data。也希望可以从最朴素的看数据出发，对你的产品评估有一点点启发。","raw":"这篇文章是沿着时间脉络，梳理出评估这个系统化工程中真正的 look at your data。也希望可以从最朴素的看数据出发，对你的产品评估有一点点启发。"},{"id":"p6","kind":"heading","text":"2024 年：打破体感的幻觉","raw":"## 2024 年：打破体感的幻觉"},{"id":"p7","kind":"paragraph","text":"2024 年初，那时的产品开发流程通常是这样的：写个 Prompt，扔进 GPT，看一眼输出，「嗯，感觉不错」（Vibe Check），上线。然后用户反馈报错，改个词，「感觉这次好了」，再上线。","raw":"2024 年初，那时的产品开发流程通常是这样的：写个 Prompt，扔进 GPT，看一眼输出，「嗯，感觉不错」（Vibe Check），上线。然后用户反馈报错，改个词，「感觉这次好了」，再上线。"},{"id":"p8","kind":"paragraph","text":"这时候，Hamel 在博客中提出了 Look at your data。在这一年，他强调看数据的核心目的，是为了对抗这种「凭感觉」带来的盲目自信。","raw":"这时候，Hamel 在博客中提出了 Look at your data。在这一年，他强调看数据的核心目的，是为了对抗这种「凭感觉」带来的盲目自信。"},{"id":"p9","kind":"heading","text":"1、只有看数据，才能不再是盲猜","raw":"### 1、只有看数据，才能不再是盲猜"},{"id":"p10","kind":"paragraph","text":"在 2024 年的博客中，Hamel 举了一个房地产 AI 助手 Lucy 的例子。开发者如果不看历史数据，就会陷入打地鼠的游戏：","raw":"在 2024 年的博客中，Hamel 举了一个房地产 AI 助手 Lucy 的例子。开发者如果不看历史数据，就会陷入打地鼠的游戏："},{"id":"p11","kind":"list","text":"- 觉得 AI 语气太硬，改了 prompt 变软了。\n- 但由于没看数据，所以并不知道这次修改导致 AI 在处理合同条款时也变得含糊其辞，造成了法律风险。","raw":"- 觉得 AI 语气太硬，改了 prompt 变软了。\n- 但由于没看数据，所以并不知道这次修改导致 AI 在处理合同条款时也变得含糊其辞，造成了法律风险。"},{"id":"p12","kind":"paragraph","text":"此时的 Look at your data，是为了建立单元测试，找出那些明确的、可编程的错误模式：","raw":"此时的 Look at your data，是为了建立单元测试，找出那些明确的、可编程的错误模式："},{"id":"p13","kind":"list","text":"- 看数据发现 AI 经常把 JSON 里的布尔值写成字符串 → 写一个 assertion，强制检查 is_valid_json。\n- 看数据发现 AI 经常在不该说话时插嘴 → 写一个关键词匹配，包含特定词汇直接 Fail。","raw":"- 看数据发现 AI 经常把 JSON 里的布尔值写成字符串 → 写一个 assertion，强制检查 `is_valid_json`。\n- 看数据发现 AI 经常在不该说话时插嘴 → 写一个关键词匹配，包含特定词汇直接 Fail。"},{"id":"p14","kind":"heading","text":"2、只有看数据，才能构建黄金数据集","raw":"### 2、只有看数据，才能构建黄金数据集"},{"id":"p15","kind":"paragraph","text":"2024 年的方法论核心是「三级金字塔」：","raw":"2024 年的方法论核心是「三级金字塔」："},{"id":"p16","kind":"list","text":"- Level 1：单元测试\n- Level 2：模型与人工评估（包含调试环节）\n- Level 3：A/B 测试","raw":"- Level 1：单元测试\n- Level 2：模型与人工评估（包含调试环节）\n- Level 3：A/B 测试"},{"id":"p17","kind":"paragraph","text":"这个金字塔的地基，完全依赖于看数据。那我该怎么写 Eval 呢？Hamel 的回答是：去日志里捞。必须亲眼看几百条真实的对话，把那些「用户问 A，AI 答 B」的糟糕案例筛出来，人工修正它，把它变成测试用例。","raw":"这个金字塔的地基，完全依赖于看数据。那我该怎么写 Eval 呢？Hamel 的回答是：去日志里捞。必须亲眼看几百条真实的对话，把那些「用户问 A，AI 答 B」的糟糕案例筛出来，人工修正它，把它变成测试用例。"},{"id":"p18","kind":"paragraph","text":"在 2024 年，Look at your data 是一种防御姿态。看数据，是为了不再被 AI 的随机性糊弄，把模糊的好坏变成代码里的 True 或 False。此时的工具是代码（Pytest），角色是工程师。","raw":"在 2024 年，Look at your data 是一种防御姿态。看数据，是为了不再被 AI 的随机性糊弄，把模糊的好坏变成代码里的 True 或 False。此时的工具是代码（Pytest），角色是工程师。"},{"id":"p19","kind":"heading","text":"2025 年：一门定性分析的科学","raw":"## 2025 年：一门定性分析的科学"},{"id":"p20","kind":"paragraph","text":"时间来到 2025 年。此时开发者们有了测试集，也有了 LLM-as-a-Judge。但新的问题出现了：面对成千上万条 Bad Case，这要怎么看呢？","raw":"时间来到 2025 年。此时开发者们有了测试集，也有了 LLM-as-a-Judge。但新的问题出现了：面对成千上万条 Bad Case，这要怎么看呢？"},{"id":"p21","kind":"paragraph","text":"很多开发者虽然也在看数据，但看得很随意，或者过度依赖自动化工具生成的摘要。Hamel 在这一年将 Look at your data 升级为一套系统性的误差分析方法论。","raw":"很多开发者虽然也在看数据，但看得很随意，或者过度依赖自动化工具生成的摘要。Hamel 在这一年将 Look at your data 升级为一套系统性的误差分析方法论。"},{"id":"p22","kind":"heading","text":"1、别看仪表盘，看电子表格","raw":"### 1、别看仪表盘，看电子表格"},{"id":"p23","kind":"paragraph","text":"Hamel 在视频中反对使用复杂的 MLOps 仪表盘，那些工具会把你和数据隔离开。他展示了 2025 年最强悍的评估工具：Google Sheets。因为只有表格才能逼着你一行一行地读数据。","raw":"Hamel 在视频中反对使用复杂的 MLOps 仪表盘，那些工具会把你和数据隔离开。他展示了 2025 年最强悍的评估工具：Google Sheets。因为只有表格才能逼着你一行一行地读数据。"},{"id":"p24","kind":"heading","text":"2、「开放编码」与「轴心编码」：从看热闹到看门道","raw":"### 2、「开放编码」与「轴心编码」：从看热闹到看门道"},{"id":"p25","kind":"paragraph","text":"可是，电子表格这么多行数据，看着看着就会陷入自我怀疑、脑容量爆炸。要怎么看才行呢？","raw":"可是，电子表格这么多行数据，看着看着就会陷入自我怀疑、脑容量爆炸。要怎么看才行呢？"},{"id":"p26","kind":"paragraph","text":"Hamel 引入了社会科学的研究方法，把看数据变成了一个科学过程。","raw":"Hamel 引入了社会科学的研究方法，把看数据变成了一个科学过程。"},{"id":"p27","kind":"paragraph","text":"Step 1：开放编码（Open Coding），像写日记一样看","raw":"**Step 1：开放编码（Open Coding），像写日记一样看**"},{"id":"p28","kind":"paragraph","text":"不要预设任何立场。随机抽取 50 条 AI 回答错误的日志，看到什么就写什么。","raw":"不要预设任何立场。随机抽取 50 条 AI 回答错误的日志，看到什么就写什么。"},{"id":"p29","kind":"paragraph","text":"Step 2：轴心编码（Axial Coding），像图书管理员一样看","raw":"**Step 2：轴心编码（Axial Coding），像图书管理员一样看**"},{"id":"p30","kind":"paragraph","text":"当积累了 50 条笔记，就可以开始归纳。这时可能就会发现，「死循环」和「答非所问」其实是一类问题，叫「意图识别失败」；「幻觉」和「胡说八道」是一类，叫「知识库缺失」。","raw":"当积累了 50 条笔记，就可以开始归纳。这时可能就会发现，「死循环」和「答非所问」其实是一类问题，叫「意图识别失败」；「幻觉」和「胡说八道」是一类，叫「知识库缺失」。"},{"id":"p31","kind":"paragraph","text":"在这个阶段，Look at your data 是为了建立分类体系。","raw":"在这个阶段，Look at your data 是为了建立分类体系。"},{"id":"p32","kind":"paragraph","text":"Step 3：统计（Counting），像决策者一样看","raw":"**Step 3：统计（Counting），像决策者一样看**"},{"id":"p33","kind":"paragraph","text":"最后，可以数一下：如果 50 个错误里，有 30 个是「意图识别失败」，只有 2 个是「语气不礼貌」，那下周的开发计划就是先别管 Prompt 的语气词了，去修改意图识别的逻辑。","raw":"最后，可以数一下：如果 50 个错误里，有 30 个是「意图识别失败」，只有 2 个是「语气不礼貌」，那下周的开发计划就是先别管 Prompt 的语气词了，去修改意图识别的逻辑。"},{"id":"p34","kind":"heading","text":"3、NurtureBoss 的案例：看数据才能发现隐形错误","raw":"### 3、NurtureBoss 的案例：看数据才能发现隐形错误"},{"id":"p35","kind":"paragraph","text":"Hamel 讲了一个 NurtureBoss 用 AI 帮公寓回答租客问题的案例。如果不仔细看原始数据，只看「是否有回复」，系统显示一切正常。但当真正 Look at data 时，就会发现这一幕：","raw":"Hamel 讲了一个 NurtureBoss 用 AI 帮公寓回答租客问题的案例。如果不仔细看原始数据，只看「是否有回复」，系统显示一切正常。但当真正 Look at data 时，就会发现这一幕："},{"id":"p36","kind":"quote","text":"用户：我想找个不带地毯的房间。\nAI：为您推荐以下房间……（全是带地毯的）\n用户：我想找个一楼的。\nAI：为您推荐……（全是二楼的）","raw":"> 用户：我想找个不带地毯的房间。\n>\n> AI：为您推荐以下房间……（全是带地毯的）\n>\n> 用户：我想找个一楼的。\n>\n> AI：为您推荐……（全是二楼的）"},{"id":"p37","kind":"paragraph","text":"这种「并没有报错，也没有崩溃，甚至语气很礼貌，但完全搞砸了业务逻辑」的错误，是任何自动化监控都抓不到的。只有当你真正在看数据时，才能捕捉到这种微妙的失败。","raw":"这种「并没有报错，也没有崩溃，甚至语气很礼貌，但完全搞砸了业务逻辑」的错误，是任何自动化监控都抓不到的。只有当你真正在看数据时，才能捕捉到这种微妙的失败。"},{"id":"p38","kind":"paragraph","text":"在 2025 年，Look at your data 是一种诊断技术。它不再是随意的浏览，而是通过笔记、归类、统计的严谨流程，从日志中提炼出产品的改进方向。此时的工具是 Excel 或 Sheets，角色开始向 PM 倾斜。","raw":"在 2025 年，Look at your data 是一种诊断技术。它不再是随意的浏览，而是通过笔记、归类、统计的严谨流程，从日志中提炼出产品的改进方向。此时的工具是 Excel 或 Sheets，角色开始向 PM 倾斜。"},{"id":"p39","kind":"heading","text":"2026 年：业务洞察的特权","raw":"## 2026 年：业务洞察的特权"},{"id":"p40","kind":"paragraph","text":"当我们站在 2026 年的视角，评估已经从技术测试演变成了产品的核心竞争力。","raw":"当我们站在 2026 年的视角，评估已经从技术测试演变成了产品的核心竞争力。"},{"id":"p41","kind":"paragraph","text":"在这一年，Hamel 对 Look at your data 提出了新的追问：你是否在用「懂业务」的眼睛看数据？","raw":"在这一年，Hamel 对 Look at your data 提出了新的追问：你是否在用「懂业务」的眼睛看数据？"},{"id":"p42","kind":"heading","text":"1、工程师看运行逻辑，PM 看业务价值","raw":"### 1、工程师看运行逻辑，PM 看业务价值"},{"id":"p43","kind":"paragraph","text":"这是 2026 年最大的观念转变。Hamel 说：Do not outsource evals to developers（不要把评估外包给开发人员）。","raw":"这是 2026 年最大的观念转变。Hamel 说：Do not outsource evals to developers（不要把评估外包给开发人员）。"},{"id":"p44","kind":"paragraph","text":"为什么呢？比如回到那个地毯的例子：","raw":"为什么呢？比如回到那个地毯的例子："},{"id":"p45","kind":"list","text":"- 工程师看数据：Prompt 执行了 → RAG 检索了文档 → LLM 生成了通顺的句子 → JSON 格式正确。结论：Pass。\n- PM 看数据：用户想要硬木地板，AI 却推荐了全地毯房型，甚至还推荐了错误的学区。结论：Fail，而且是严重的业务事故。","raw":"- **工程师看数据**：Prompt 执行了 → RAG 检索了文档 → LLM 生成了通顺的句子 → JSON 格式正确。结论：Pass。\n- **PM 看数据**：用户想要硬木地板，AI 却推荐了全地毯房型，甚至还推荐了错误的学区。结论：Fail，而且是严重的业务事故。"},{"id":"p46","kind":"paragraph","text":"在 2026 年，Look at your data 不再是检查代码逻辑，而是检查业务逻辑。这种对人性的理解、对场景的体感、对竞品差异化的把握（或许这就是之前一直说的 Taste 品味），是工程师很难具备的（因为缺乏上下文），但却是产品经理赖以生存的本能。","raw":"在 2026 年，Look at your data 不再是检查代码逻辑，而是检查业务逻辑。这种对人性的理解、对场景的体感、对竞品差异化的把握（或许这就是之前一直说的 Taste 品味），是工程师很难具备的（因为缺乏上下文），但却是产品经理赖以生存的本能。"},{"id":"p47","kind":"heading","text":"2、专家不一定要穿白大褂，但一定要懂人","raw":"### 2、专家不一定要穿白大褂，但一定要懂人"},{"id":"p48","kind":"paragraph","text":"Hamel 在 2026 年强调的 Domain Expertise，在大多数应用中，其实就是极致的产品 sense。","raw":"Hamel 在 2026 年强调的 Domain Expertise，在大多数应用中，其实就是极致的产品 sense。"},{"id":"p49","kind":"paragraph","text":"当用户在租房 App 里抱怨「这里太吵」，AI 回复「该房源距离高速公路仅 50 米，交通便利」——只有懂用户的心智才能一眼看出其中的荒谬：那是噪音，不是便利。","raw":"当用户在租房 App 里抱怨「这里太吵」，AI 回复「该房源距离高速公路仅 50 米，交通便利」——只有懂用户的心智才能一眼看出其中的荒谬：那是噪音，不是便利。"},{"id":"p50","kind":"paragraph","text":"Look at your data 在这里，意味着要用人的常识和业务的直觉，去纠正模型那种一本正经的胡说八道。","raw":"Look at your data 在这里，意味着要用人的常识和业务的直觉，去纠正模型那种一本正经的胡说八道。"},{"id":"p51","kind":"heading","text":"3、看数据，是为了审判裁判","raw":"### 3、看数据，是为了审判裁判"},{"id":"p52","kind":"paragraph","text":"2026 年，开发者开始用 GPT-5 或 Claude 做裁判（LLM-as-a-Judge），看一眼仪表盘：「哦，裁判模型和我的标注一致性有 90%，很完美。」","raw":"2026 年，开发者开始用 GPT-5 或 Claude 做裁判（LLM-as-a-Judge），看一眼仪表盘：「哦，裁判模型和我的标注一致性有 90%，很完美。」"},{"id":"p53","kind":"paragraph","text":"Hamel 警告：Look closer。","raw":"Hamel 警告：Look closer。"},{"id":"p54","kind":"paragraph","text":"必须亲自去盯着那些「人类觉得不行，但 AI 裁判觉得行」的 case，深入到数据里，把那 10% 的不一致拆开来看：","raw":"必须亲自去盯着那些「人类觉得不行，但 AI 裁判觉得行」的 case，深入到数据里，把那 10% 的不一致拆开来看："},{"id":"p55","kind":"list","text":"- False Positive（假阳性）：不好的回答，裁判却说好。这很危险。\n- False Negative（假阴性）：好的回答，裁判却说坏。这会误导优化的方向。","raw":"- **False Positive（假阳性）**：不好的回答，裁判却说好。这很危险。\n- **False Negative（假阴性）**：好的回答，裁判却说坏。这会误导优化的方向。"},{"id":"p56","kind":"paragraph","text":"需要计算 TPR（真阳性率）和 TNR（真阴性率）。但这两个高大上的统计学指标，其实本质还是看数据：要盯着那些「人类觉得是 bad case，但裁判觉得是好」的数据看。","raw":"需要计算 TPR（真阳性率）和 TNR（真阴性率）。但这两个高大上的统计学指标，其实本质还是看数据：要盯着那些「人类觉得是 bad case，但裁判觉得是好」的数据看。"},{"id":"p57","kind":"paragraph","text":"这一眼看过去，可能会发现裁判的 prompt 写得太宽容了，或者裁判被 AI 的华丽辞藻迷惑了。","raw":"这一眼看过去，可能会发现裁判的 prompt 写得太宽容了，或者裁判被 AI 的华丽辞藻迷惑了。"},{"id":"p58","kind":"paragraph","text":"这就是 2026 年的 Look at your data：用数据校准那把用来量尺子的尺子。这时候，只有具备业务洞察，才能指出这个微妙的偏差，并修正 prompt。","raw":"这就是 2026 年的 Look at your data：用数据校准那把用来量尺子的尺子。这时候，只有具备业务洞察，才能指出这个微妙的偏差，并修正 prompt。"},{"id":"p59","kind":"paragraph","text":"在 2026 年，Look at your data 是一种话语权的回归。它标志着 AI 评估从技术维度的测试回归到了用户体验的验收，是掌控产品方向、定义业务标准、校准自动化系统的核心手段。工具依然是简单的表格，但背后是深厚的行业认知。这把标尺，只能握在最懂用户的人手里。","raw":"在 2026 年，Look at your data 是一种话语权的回归。它标志着 AI 评估从技术维度的测试回归到了用户体验的验收，是掌控产品方向、定义业务标准、校准自动化系统的核心手段。工具依然是简单的表格，但背后是深厚的行业认知。这把标尺，只能握在最懂用户的人手里。"},{"id":"p60","kind":"heading","text":"最后","raw":"## 最后"},{"id":"p61","kind":"paragraph","text":"回顾这三年，Hamel Husain 的评估方法论一直在变：","raw":"回顾这三年，Hamel Husain 的评估方法论一直在变："},{"id":"p62","kind":"list","text":"- 工具在变：从写代码 assertion，到用 Excel 透视表，再到无代码工具。\n- 指标在变：从简单的准确率，到复杂的 TPR / TNR。\n- 角色在变：从工程师的单元测试，变成了 PM 的业务验收。","raw":"- **工具在变**：从写代码 assertion，到用 Excel 透视表，再到无代码工具。\n- **指标在变**：从简单的准确率，到复杂的 TPR / TNR。\n- **角色在变**：从工程师的单元测试，变成了 PM 的业务验收。"},{"id":"p63","kind":"paragraph","text":"但核心动作从未改变：Look at your data.","raw":"但核心动作从未改变：Look at your data."},{"id":"p64","kind":"paragraph","text":"打开日志文件，新建一个空白的电子表格，开始阅读吧。那是产品与你最真实的对话。","raw":"打开日志文件，新建一个空白的电子表格，开始阅读吧。那是产品与你最真实的对话。"}],"authored_claims":[{"id":"spreadsheet-beats-dashboard","text":"复杂的 MLOps 仪表盘会把你和数据隔离开。最强悍的评估工具其实是电子表格，因为只有它才逼着你一行一行地读数据。","stance":"judgment","confidence":null,"supersedes":null,"note":null,"formed_at":"2026-01-24"},{"id":"open-then-axial-coding","text":"看数据要用社会科学的方法：先开放编码（随机抽 50 条错误日志，看到什么写什么），再轴心编码（归纳成分类体系），最后统计频次决定下周做什么。","stance":"judgment","confidence":null,"supersedes":null,"note":null,"formed_at":"2026-01-24"},{"id":"do-not-outsource-evals-to-developers","text":"不要把评估外包给开发人员。工程师看的是 Prompt 执行了、RAG 检索了、JSON 格式对了，结论是 Pass；PM 看的是用户要硬木地板你推了全地毯房，结论是严重的业务事故。","stance":"judgment","confidence":"high","supersedes":null,"note":null,"formed_at":"2026-01-24"},{"id":"silent-business-logic-failures","text":"最危险的是那种没报错、没崩溃、语气还很礼貌，但完全搞砸了业务逻辑的错误。任何自动化监控都抓不到，只有真正看数据才能捕捉到。","stance":"judgment","confidence":"high","supersedes":null,"note":null,"formed_at":"2026-01-24"},{"id":"audit-the-judge","text":"裁判模型和人类标注一致性 90% 不等于完美。必须拆开那 10% 的不一致，分清假阳性和假阴性——用数据校准那把用来量尺子的尺子。","stance":"judgment","confidence":null,"supersedes":null,"note":null,"formed_at":"2026-01-24"}],"claim_ids":["spreadsheet-beats-dashboard","open-then-axial-coding","do-not-outsource-evals-to-developers","silent-business-logic-failures","audit-the-judge"],"revision":"db43da1d8f2f94659efa11145d6e16e2b30565091cce0670ee48b61c9a5e86dd"}