simedw 的下一步：3 个 TODO
simedw 在 HN 自己评论里说接下来要做 3 件事：bar/measure token、longer-term planning、parallel continuation picking。都是表征和后处理，不是大架构改动。
simedw 的下一步：3 个 TODO
simedw 自己回复：
- 「adding some kind of bar/measure token might help with rhythm」
- 「some form of longer-term planning for the overall composition」
- 「generating a few continuations in parallel, picking the one that looks best, and then continuing from there」
simedw 公开了 3 个 TODO。
不是新架构。 不是 scale up。 是 3 个具体改动。
1. Bar/measure token
当前：每个 note 都预测下一个 note。 TODO：先预测小节边界，再预测小节内的 note。
效果：
- 节奏更稳
- 强拍位置更准
- 模型知道「现在在第几小节」
这是「加特殊 token」类改动。 GPT-2 → GPT-3 没改架构，只加了特殊 token + scale up。
simedw 的「bar/measure token」是同一思路： 不改架构，只加特殊 token。
2. Longer-term planning
当前：直接生成 next note。 TODO：先生成「整段的目标」（plan），再按 plan 生成 note。
效果：
- 整体结构更稳
- A-B-A 结构能学到
- 「主题 + 变奏」能学到
这是「CoT for music」类改动。 GPT 的 chain-of-thought 是同一思路： 先生成 reasoning token，再生成 answer。
3. Parallel continuation picking
当前：生成 1 条续写。 TODO：并行生成 N 条续写，自动挑最好的，继续往下。
效果：
- 局部最优变全局最优
- 一段不佳时换一条
- 长续写质量提升
这是「best-of-N sampling」类改动。 inference 不是更快，是更慢（生成 N 条），但质量更好。
一人工程的角度
3 个 TODO：
- 都是「已有想法 + 没动手」
- 都不是「scale up」
- 都不是「换架构」
OpenAI 团队的下一步：
- scale up 10× 模型
- 换 next-gen 架构
- 加 trillion-token 训练
simedw 的下一步：
- 加特殊 token
- 加 plan step
- 加 best-of-N
trade-off：
- OpenAI：规模 + 计算
- simedw：算法 + 细节
一人工程的「小改动」哲学
3 个 TODO 都是「小改动」。 不是「大重写」。 不是「推倒重来」。
是「在已有基础上加东西」：
- 加 1 个特殊 token
- 加 1 个 plan step
- 加 1 个 best-of-N loop
每改一次：
- 训练 12 分钟
- 跑几次 demo
- 看几次 iPhone app 实际效果
一个人 + 一个小改动 = 1-3 天。
OpenAI 做一次实验 = 几个月。
simedw 改 3 次 = 1 周。 OpenAI 改 1 次 = 1 季。
签名：solus opus。