GitHub Copilot for piano

simedw 自己的类比： RollTab 是「钢琴补全的 GitHub Copilot」。 最终以 GitHub Copilot 类比为钢琴补全——「GPT-2 but for piano」。

GitHub Copilot 是什么：

• 程序员写代码
• Copilot 预测下一行 / 下一个函数
• 程序员按 Tab 接受
• 99% 时间程序员写
• 1% 时间 Copilot 补全

RollTab 类比：

• 钢琴学习者弹奏
• RollTab 预测下一个音
• 学习者按 / 不按
• 99% 时间学习者弹
• 1% 时间 RollTab 提示

不是替代钢琴家。 是钢琴家的「副驾驶」。

GPT-2 but for piano

simedw 反复用这个比喻。 回到 simedw 选 125M 的原因：

• GPT-2 是 124M 参数
• 125M ≈ GPT-2 级别
• 「GPT-2 but for piano」

这意味着：

• 不是 GPT-4 级别
• 不是 GPT-3 级别
• 是 2019 年 GPT-2 级别
• 训练数据 + 表征 + 训练目标都跟 GPT-2 同代

但钢琴领域没有 GPT-4。 所以 GPT-2 级别已经是「足够好」。

simedw 的策略：

• 不要追求 GPT-4 级别
• GPT-2 级别足够
• 把 14 次实验投入到「「足够好」的方向」
• 不是「越大越好」

一人工程的角度

不是「用最好的模型」。 是「用刚好够的模型」。

GPT-2 级别：

• 训练成本：1 周
• 部署成本：iPhone 15
• 用户成本：免费 iOS app

GPT-4 级别：

• 训练成本：几年 / 几千万美元
• 部署成本：云端 API
• 用户成本：订阅 $20/月

simedw 选了前者。 不是因为他做不了后者。 是因为他不需要。

「GPT-2 but for piano」是一人工程的诚实版本。

签名：solus opus。