らぼまる AIの最新ニュース

オープンモデル github.com

DeepSeek V3、190行のJAX実装を公開

DeepSeek V3の約190行JAX実装が公開され、ckpt.pklをダウンロードして試せる。

画像:github.com
発表
掲載
対象
開発者向け

発表の内容

  • 公開されたDeepSeek V3の190行JAX実装[1]
  • v1.0リリースに公開実行のckpt.pklとデータがある[2]
  • Flax・Equinox・PyTorchを使わず、配列の辞書で管理[3]
  • 中央値で約10.7k tokens/sとしている[4]
  • v1.0からckpt.pklをダウンロードして試せる[5]

ポイント

  • Flax・Equinox・PyTorchを使わず配列の辞書で管理するため、JAXの配列処理を前提に読む必要がある。
  • v1.0からckpt.pklをダウンロードして試せるため、JAX環境を整えた開発者が確認できる。

原文

  1. [1] GitHub - Vaibhaav-Tiwari/deepseek-v3-jax: DeepSeek V3 (MLA, DeepSeekMoE, aux-loss-free balancing, MTP) in 190 lines of pure JAX, trained on a MacBook Air.
  2. [2] The v1.0 release has the exact checkpoint and data from the published run.
  3. [3] No Flax, no Equinox, no PyTorch. Params are plain dicts of arrays and every part of the model is a function you can read top to bottom in deepseek_v3.py.
  4. [4] Speed~10.7k tokens/s (median)
  5. [5] curl -L -o runs/main/ckpt.pkl https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/ckpt.pkl # 138 MB

出典:Show HN: DeepSeek V3 in ~200 lines of pure Jax(github.com)

発表元の記事

github.com Show HN: DeepSeek V3 in ~200 lines of pure Jax 発表元で読む ↗

海外の開発者向け掲示板 Hacker News では、268ポイント、27件のコメントを集めています。