一人工程 · solus opus

← 全部作品

一人工程接受哲学solo engineerCore MLRoPEINT8算了挺快乐哲学

一人工程图景的 4 个接受哲学详细:Core ML 算了 + RoPE 算了 + INT8 算 + 不重写 kernel

一人工程图景的 4 个接受哲学详细:1 Core ML 不暴露 Q/K/V 算了 + 2 RoPE KV cache ring buffer 算了 + 3 INT8 量化替代 Born-again 蒸馏 + 4 不重写 kernel。Solo engineer 接受哲学 = 接受工具限制 + 不重写 + 算了 + 挺快乐 = 一类工程师代代相传。

一人工程图景的 4 个接受哲学详细:

一人工程图景的 4 个接受哲学 = Core ML 算了 + RoPE 算了 + INT8 算 + 不重写 kernel。

接受哲学 1:Core ML 不暴露 Q/K/V 算了

Core ML 不暴露 Q/K/V:

  • simedw 想做 RoPE KV cache ring buffer 节省内存
  • Core ML 不暴露 Q/K/V
  • simedw 算了,挺快乐
  • 不重写 Core ML

4 个接受哲学 1 细节。

接受 vs 重写:

  • 大公司:不接受 → 重写 Core ML(投入 100+ 工程师 + 几月)
  • solo engineer:接受 → 算了,挺快乐(不投入)

2 个对照。

接受哲学 2:RoPE KV cache ring buffer 算了

RoPE KV cache ring buffer:

  • 理论上可以做(节省内存)
  • Core ML 不暴露 Q/K/V → 算了,挺快乐
  • 不重写 Core ML framework
  • 不跟工具较劲

4 个接受哲学 2 细节。

接受哲学 3:INT8 量化替代 Born-again 蒸馏

INT8 量化替代 Born-again 蒸馏:

  • Born-again networks 没用(MIDI 序列任务不适用蒸馏)
  • simedw 用 INT8 量化压缩模型(不是蒸馏)
  • INT8 量化 = 125M 模型大小 4× 减少(FP32 500MB → INT8 125MB)
  • INT8 量化不改变模型结构(不损失质量)

4 个接受哲学 3 细节。

接受 vs 重写:

  • 大公司:不接受 → 重写框架或重写模型(投入大量资源)
  • solo engineer:接受 → 用 INT8 量化(替代 Born-again)

2 个对照。

接受哲学 4:不重写 kernel

不重写 kernel:

  • simedw 不重写 Core ML kernel
  • simedw 不重写 PyTorch kernel
  • simedw 不重写任何 framework kernel
  • 接受现有 kernel + 用现有工具

4 个接受哲学 4 细节。

不重写 vs 重写:

  • 大公司:重写 kernel(投入 100+ 工程师 + 几月)
  • solo engineer:不重写 kernel(接受现有 kernel + 用现有工具)

2 个对照。

4 个接受哲学 = 一类工程师的接受哲学

4 个接受哲学:

  • 接受哲学 1:Core ML 不暴露 Q/K/V 算了
  • 接受哲学 2:RoPE KV cache ring buffer 算了
  • 接受哲学 3:INT8 量化替代 Born-again 蒸馏
  • 接受哲学 4:不重写 kernel

4 个接受哲学 = 一类工程师的接受哲学。

simedw 接受哲学的 6 个 trade-off

6 个 trade-off:

  • 时间:算了(几天)vs 不算了(几月)
  • 健康:不跟工具较劲 vs 跟工具较劲
  • 用户体验:早 release vs 晚 release
  • 项目存在:上线 vs 不
  • 投入:几千美元(INT8 量化)vs 几百万(重写 kernel)
  • 上下文:模型大小 4× 减少(量化)vs 模型大小 1/4(蒸馏失败)

6 个接受哲学 trade-off。

simedw 接受哲学的 4 收益 vs 3 代价

4 收益(时间 + 健康 + 用户体验 + 项目存在)vs 3 代价(精度 + 部署 + 性能)= 接受哲学 trade-off 净收益。

接受哲学 = 一人工程核心

接受哲学是一人工程核心:

  • 接受工具限制 = Core ML 不暴露 Q/K/V 算了
  • 接受模型限制 = Born-again 没用 INT8 算
  • 接受部署限制 = iPhone 算 125M
  • 接受时间限制 = 半年写完

4 个接受 = 一人工程核心。

一人工程接受哲学总结

一人工程4接受哲学总结:

  • 4 个接受哲学 = Core ML 算了 + RoPE 算了 + INT8 算 + 不重写 kernel
  • 6 个 trade-off = 时间 + 健康 + 用户体验 + 项目存在 + 投入 + 上下文
  • 4 收益 > 3 代价 = 接受哲学 trade-off 净收益
  • 一人工程 = 接受 + 不重写 + 算了 + 挺快乐

4 个事实 = 一人工程接受哲学的全部。

一人工程图景的 4 个接受哲学详细 = Core ML 算了 + RoPE 算了 + INT8 算 + 不重写 kernel = 一类工程师的接受哲学的全部。


这是 106+ 篇散文的 4 个接受哲学篇。一人工程图景的 4 个接受哲学详细 = Core ML 算了 + RoPE 算了 + INT8 算 + 不重写 kernel = 一类工程师的接受哲学的全部。