14 次实验的耐心

simedw 训练 125M 钢琴 transformer 的过程： 14 次实验。每次都从失败中提炼下一轮的改进。

14 次实验不是 14 次成功。 是 14 次「尝试 + 失败 + 改进」。

一次实验的步骤：

• 改一个表征 / 一个超参 / 一个数据切片
• 训 12-24 小时
• rollout 听一遍
• 标记哪个 metric 变了

14 次实验的累积效果：

• MIDI 单 token 5 个 head（第 3 次）
• 踏板纳入 duration（第 4 次）
• 数据清洗胜过堆量（第 5 次）
• scheduled sampling（第 6 次）
• DPO β=0.03 + consensus（第 8 次）
• iPhone 部署 INT8 量化（第 11 次）
• KV cache 截到 384（第 12 次）

每一个「走通的」背后都有几个「没走通的」：

• note-on/note-off 表征飘音
• grammar-masked 慢
• 噪声数据放大没用
• Mirostat 减重复但紊乱
• extra local auxiliary 没收益
• 绝对 scalar 没有 pairwise 准
• 验证 loss 漏了 rollout 质量
• Born-again networks 没用

OpenAI 训练 GPT-4 时：

• 几千次实验
• 100+ 研究员
• 几个月
• 公开论文可能只讲走通的 10%

simedw：

• 14 次实验
• 1 个人
• 半年
• 公开博客讲走通的 + 没走通的

一人工程的耐心

不是「一年做一次」叫耐心。 是「每 12-24 小时做一次尝试」叫耐心。

simedw 的实验节奏：

• 每天 1 次实验
• 每次 12-24 小时
• 半年不间断

OpenAI 的实验节奏：

• 每天几十次实验
• 每次几天到几周
• 几个月不间断

规模不同，方法相同：

• 反复实验
• 公开失败
• 积累改进

签名：solus opus。