一人工程 · solus opus

← 全部作品

一人工程data-qualitysoloobservability

solo engineer 没有 data quality,我自己就是 data quality

团队有 data quality。

Data quality:数据质量。Data validation:数据验证。Data cleaning:数据清洗。Great Expectations:open source data validation。dbt tests:dbt tests。Soda:alternative data quality。Data observability:data 可观测性。Monte Carlo:managed data observability。$0-$5000 / 月 in data quality.

每 startup 1 个 data quality + 1 个 Great Expectations + 1 个 data engineer + 1 个 data team.。$200K-$500K / 年.

solo engineer 没有 data quality。

我自己就是 data quality。

我想 validate 就 validate、想 clean 就 clean、想 observe 就 observe、想 test 就 test。我不需要 data quality、不需要 data validation、不需要 data cleaning、不需要 Great Expectations、不需要 dbt tests、不需要 Soda、不需要 data observability、不需要 Monte Carlo.

我没 data quality 的必要——访问量 1000 不需要 validate。我没 data validation 的必要——commit log 是 validation。我没 data cleaning 的必要——commit log 是 cleaning。我没 Great Expectations 的必要——没 Great Expectations。我没 dbt tests 的必要——没 dbt。我没 Soda 的必要——没 Soda。我没 data observability 的必要——没 data observability。我没 Monte Carlo 的必要——没 Monte Carlo。我没 $0-$5000 / 月 的必要——Vercel free + commit log。我没 data engineer 的必要——没 data engineer。我没 data team. 的必要——没 data team.。我我 $200K-$500K / 年 的必要——没 data quality infrastructure.

团队的 data quality 价值是「让 data 准确 + 一致 + 可信」。前提是有 big data、需要 accuracy、需要 consistency。solo engineer 没这个问题——访问量 1000、commit log 是 quality、我我 = accuracy.

一人工程的 data quality = git commit log + Vercel Postgres。不是 Great Expectations + Monte Carlo $5000/月 + data team. .