给每次实验留一张账单

实验记录不是流水账,而是一份关于假设、代价、证据和下一步决策的最小合同。

Read in English →
本篇目录

实验多了以后,最先消失的往往不是代码,而是上下文。几周前为什么调整这个特征、某个参数为什么没有继续尝试、一次失败究竟是方向不对还是实现有问题,很快就会变得模糊。

我开始把每次实验当成一笔需要结算的账:投入了什么,获得了什么证据,改变了什么判断。

一份最小实验记录

记录不需要很长,但应该在实验开始前就写下假设。下面是一份可以直接复用的结构:

## 问题
当前现象是什么,为什么值得处理?

## 假设
如果改变 X,预计 Y 会改善,因为 Z。

## 变量
只修改了什么?保持不变的条件有哪些?

## 结果
主指标、保护指标、成本和异常现象。

## 判断
支持、否定,还是证据不足?

## 下一步
继续、停止、缩小范围,或补充什么验证?

它的重点不是格式,而是把“做了一个尝试”变成“验证了一个可以被否定的判断”。

记录边界条件

同一个方法在不同数据、时间窗口和系统版本上可能得出完全不同的结果。因此,实验记录里还需要保留最基本的环境信息:数据版本、代码提交、随机种子、模型与依赖版本、运行配置,以及评估脚本版本。

这些信息看起来琐碎,却决定了结果能否复现。没有边界条件的结论,通常只能叫印象。

失败实验也要结算

失败实验最容易被跳过,因为它没有值得展示的提升。但如果不写,团队很可能在几个月后重新走一遍相同路径。

一份好的失败记录至少说明:

  • 假设为什么没有被支持;
  • 实现或评估是否存在不确定性;
  • 哪些条件下它仍然可能成立;
  • 为什么决定暂时停止。

失败并不会自动产生知识,只有被解释和归档之后才会。

让记录服务于决策

实验台账最终不应该只是文档仓库。定期回看时,可以寻找重复出现的模式:哪些特征总是只在离线有效,哪些数据问题反复影响结论,哪些实验成本很高却信息增量很小。

当记录开始改变下一次实验的设计,它才真正产生复利。

RELATED WRITING

DISCUSSION

讨论