オープンモデル github.com
DeepSeek V3、190行のJAX実装を公開
DeepSeek V3の約190行JAX実装が公開され、ckpt.pklをダウンロードして試せる。
- 発表
- 掲載
- 編集
- 原 文人
- 対象
- 開発者向け
発表の内容
ポイント
- Flax・Equinox・PyTorchを使わず配列の辞書で管理するため、JAXの配列処理を前提に読む必要がある。
- v1.0からckpt.pklをダウンロードして試せるため、JAX環境を整えた開発者が確認できる。
原文
- [1]
GitHub - Vaibhaav-Tiwari/deepseek-v3-jax: DeepSeek V3 (MLA, DeepSeekMoE, aux-loss-free balancing, MTP) in 190 lines of pure JAX, trained on a MacBook Air.
- [2]
The v1.0 release has the exact checkpoint and data from the published run.
- [3]
No Flax, no Equinox, no PyTorch. Params are plain dicts of arrays and every part of the model is a function you can read top to bottom in deepseek_v3.py.
- [4]
Speed~10.7k tokens/s (median)
- [5]
curl -L -o runs/main/ckpt.pkl https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/ckpt.pkl # 138 MB
出典:Show HN: DeepSeek V3 in ~200 lines of pure Jax(github.com)
発表元の記事
github.com Show HN: DeepSeek V3 in ~200 lines of pure Jax 発表元で読む ↗海外の開発者向け掲示板 Hacker News では、268ポイント、27件のコメントを集めています。