一人工程 · solus opus

← 全部作品

一人工程端侧哲学solo engineeriPhone端侧默认0 隐私INT8 量化哲学

一人工程图景的 4 个端侧哲学详细:iPhone + 端侧默认 + 0 隐私 + 量化

一人工程图景的 4 个端侧哲学详细:1 iPhone 部署 + 2 端侧默认 + 3 0 隐私风险 + 4 INT8 量化。Solo engineer 端侧哲学 = iPhone + 端侧 + 0 隐私 + 量化 = 一类工程师代代相传。

一人工程图景的 4 个端侧哲学详细:

一人工程图景的 4 个端侧哲学 = iPhone + 端侧默认 + 0 隐私 + 量化。

端侧哲学 1:iPhone 部署

iPhone 部署:

  • simedw RollTab iPhone app(iPhone 15)
  • Core ML 部署
  • INT8 量化
  • 108 notes/sec 推理速度

4 个 iPhone 部署细节。

iPhone vs 云端:

  • 大公司:云端部署(GPT-4 API / Claude API / Gemini API)
  • solo engineer:iPhone 部署(端侧)

2 个对照。

端侧哲学 2:端侧默认

端侧默认:

  • 模型在 iPhone 跑(不上传)
  • 推理在本地(不需要联网)
  • 数据在本地(用户钢琴录音)
  • 0 网络依赖

4 个端侧默认细节。

端侧 vs 云端:

  • 大公司:云端默认(用户输入上传云端)
  • solo engineer:端侧默认(0 网络依赖)

2 个对照。

端侧哲学 3:0 隐私风险

0 隐私风险:

  • 用户钢琴录音不上传
  • 模型不上传
  • 推理在本地
  • 隐私协议简单

4 个 0 隐私风险细节。

0 隐私 vs 云端隐私:

  • 大公司:云端隐私风险(用户数据上传 + GDPR / CCPA 合规复杂)
  • solo engineer:端侧 0 隐私风险

4 个对照。

端侧哲学 4:INT8 量化

INT8 量化:

  • 125M 模型 × 4 bytes(FP32) = 500MB
  • 125M 模型 × 1 byte(INT8) = 125MB
  • 模型大小 4× 减少
  • iPhone 内存够(125MB)

4 个 INT8 量化细节。

INT8 量化 vs FP32:

  • 大公司:FP32 模型(精度高 + 部署难)
  • solo engineer:INT8 量化(精度损失小 + 部署可接受)

2 个对照。

4 个端侧哲学 = 一类工程师的端侧哲学

4 个端侧哲学:

  • 端侧哲学 1:iPhone 部署
  • 端侧哲学 2:端侧默认
  • 端侧哲学 3:0 隐私风险
  • 端侧哲学 4:INT8 量化

4 个端侧哲学 = 一类工程师的端侧哲学。

simedw 端侧哲学的 6 个具体表现

simedw 端侧哲学 6 个具体表现:

  • iPhone 15 推理(108 notes/sec)
  • Core ML 部署(不上传模型)
  • INT8 量化(125MB 模型)
  • 推理在本地(0 网络依赖)
  • 0 隐私风险(用户数据不上传)
  • iOS 集成(MIDI 键盘)

6 个端侧哲学具体表现。

端侧 vs 云端的 trade-off

6 个 trade-off:

  • 隐私:端侧 0 隐私 vs 云端隐私风险
  • 速度:端侧本地推理 vs 云端网络延迟
  • 成本:端侧 0 服务器成本 vs 云端高服务器成本
  • 离线:端侧 0 网络依赖 vs 云端需要联网
  • 部署:端侧 App Store 上架 vs 云端 API 部署
  • 用户体验:端侧离线 + 隐私 vs 云端需要账号 + 上传

6 个 trade-off。

一人工程端侧哲学 vs 大公司

一人工程端侧哲学 vs 大公司:

  • 一人工程 = iPhone + 端侧默认 + 0 隐私 + INT8 量化
  • 大公司 = 云端 + 云端默认 + 隐私风险 + FP32 高精度
  • 一人工程 = 4 个端侧哲学
  • 大公司 = 4 个云端哲学

8 个对照。

一人工程端侧哲学总结

一人工程端侧哲学总结:

  • 4 个端侧哲学 = iPhone + 端侧默认 + 0 隐私 + INT8 量化
  • 6 个具体表现 = iPhone 15 + Core ML + INT8 + 本地推理 + 0 隐私 + iOS 集成
  • 6 个 trade-off = 隐私 + 速度 + 成本 + 离线 + 部署 + 用户体验
  • 一人工程 = 端侧 = 一类工程师代代相传

4 个事实 = 一人工程端侧哲学的全部。

一人工程图景的 4 个端侧哲学详细 = iPhone + 端侧默认 + 0 隐私 + INT8 量化 = 一类工程师的端侧哲学的全部。


这是 108+ 篇散文的 4 个端侧哲学篇。一人工程图景的 4 个端侧哲学详细 = iPhone + 端侧默认 + 0 隐私 + INT8 量化 = 一类工程师的端侧哲学的全部。