⚠️ 【ロマン・極限ハック枠】 本記事は業務・実務用途ではなく、極小リソース（レトロハード・マイコン）における極限最適化技術とハッカーカルチャーの技術解説です。

🚀 らぼまるの極限ハック＆ロマン解説！

「2004年に発売された初代PlayStation Portable（PSP）でLLMを動かすという、ギーク魂に溢れた驚愕のプロジェクトが登場しました！実務での日常利用向けというよりは概念実証（PoC）の側面が大きいですが、わずか32MBのメモリ制限内にモデルを収める極限の最適化技術には息を呑みます。ハッカーの技術的情熱と知見を解剖していきましょう！🐶⚡」

• 🏢 開発者: 個人開発者 (r/LocalLLaMA)
• 🎮 検証環境・ハード: Sony PSP-1000 (MIPS R4000 333MHz / RAM 32MB)
• 🧠 モデル・実装規模: 90Mパラメータ / Sub-2-bit (約1.5bit) 量子化
• 📜 ライセンス / ソース: オープンソース PoC
• 🎯 実用性・位置付け: 概念実証・技術検証枠（※実務向けではなくPoC・ロマン探求）
• 💡 技術的見どころ: 32MB制限下での静的アロケーションとC言語専用推論エンジン

---

1. 技術的概要とハッカー精神（ロマンと挑戦の全貌）

海外の掲示板Redditコミュニティ「r/LocalLLaMA」において、2004年に発売されたソニーの携帯型ゲーム機「PlayStation Portable（初代PSP-1000）」上で、90M（9,000万）パラメータの対話型大規模言語モデル（LLM）を直接ロードして実行させるプロジェクトが発表され、大きな反響を呼んでいます。

開発者は重厚なPyTorchやONNX Runtimeといった現代の標準的な推論フレームワークをすべて排除し、PSPのMIPSアーキテクチャおよび自作CFW（カスタムファームウェア）環境に向けてC言語で専用の極小推論エンジンをゼロから書き上げました。実用的な対話速度や応答精度を求めるものではなく、「20年前のハードウェアの物理限界でAIが対話を行えるか」という純粋な技術的探求とロマンを結実させた意欲作です。

---

2. 極限制約と物理限界の解体（なぜ常識では動かないのか）

初代PSP-1000のスペックは、現代のAI推論環境と比較すると絶望的な制約に包まれています。

• メインメモリ (RAM): わずか 32MB（PSP-2000以降でも64MB）
• CPU: MIPS R4000ベース（動作クロック 333MHz、単一コア）
• アクセラレータ: NPUs/Tensorコアはもちろん、現代的なSIMD拡張命令（NEONやAVX）も非搭載
• OS / スワップ領域: 仮想メモリ機構（スワップ）が実質存在しない専用埋め込み環境

通常、FP16（16ビット浮動小数点）精度の90Mパラメータモデルは、重み（Weights）だけで約 180MB のメモリを必要とします。これに推論時のKVキャッシュやトークナイザ、描画バッファを合わせれば、32MBのメモリ空間には到底収まりません。常識的には「起動すら不可能な領域」です。

---

3. 突破した技術的工夫（極限量子化・メモリ配置・軽量推論エンジンの仕組み）

この不可能を突破するために、開発者は複数の極限ハックを組み合わせました。

① Sub-2-bit (約1.5bit) 極限量子化

モデル重みを従来の8bit/4bitどころか、1.5bit相当まで不可逆圧縮しました。重み1要素あたり平均1.5ビットで表現することで、90Mパラメータのデータサイズを約 17MB〜19MB にまで削減。これにより32MBのRAM内にモデル本体を丸ごと常駐させる空間をひねり出しました。

② C言語による動的メモリ確保ゼロの設計

malloc や free による動的メモリ割り当てに伴うフラグメンテーションを防ぐため、コンテキスト長（Context Window）とKVキャッシュのサイズを極限まで絞り込み、起動時にすべてのワークスペースを一括で静的確保するメモリマップドI/O（mmap風処理）を採用しました。

③ MIPS 333MHzでの整数演算パイプライン

浮動小数点演算ユニット（FPU）のオーバーヘッドを避けるため、行列乗算のコア処理を完全な整数ドット積演算へと最適化。MIPS命令セットで効率的に回るCコードが組まれています。

---

4. 手元のPCでの再現・検証環境（同等モデルのシミュレーションコード）

PSP実機をお持ちでない場合でも、手元のPython環境や RunPod（従量課金 $0.2/h〜） などのクラウド環境上で、100M前後の超小型モデル（例: SmolLM-135M等）を用いて極小コンテキスト＆低ビットでの推論シミュレーションを体験可能です。

以下は、Hugging Face transformers を用いて、最小限のメモリ消費で極小LLMを動かすシミュレーション用コードです。

pip install torch transformers accelerate

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

# SmolLM 135M等の超軽量モデルを指定
model_id = "HuggingFaceTB/SmolLM-135M-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto"
)

prompt = "Hello! What is your purpose?"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

# コンテキストと生成トークン数を絞ってメモリを最小化
outputs = model.generate(
    **inputs,
    max_new_tokens=32,
    temperature=0.7,
    do_sample=True
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print("Generated Response:\n", response)

---

5. 現代の超軽量エッジ・組み込み（ESP32 / Pico / MCU）への技術的示唆

このPSPハックで証明された知見は、単なるレトロハードのホビーにとどまらず、現代のIoT・マイコン領域（MCU）に重要な技術的示唆を与えてくれます。

1. エッジでのLLMオフライン完結: RAMが数十MB〜数百MB程度のマイコン（ESP32-S3やRaspberry Pi Pico 2、産業用小型コントローラ）であっても、1〜2bit量子化と専用Cエンジンを用いれば、クラウド不要でローカル対話やコマンド解析が可能になる。
2. 静的メモリ割り当ての有用性: ネットワーク接続が不安定な環境で、メモリリークやクラッシュを起こさずに決定論的にAIを連続稼働させる設計パターンの提示。

---

6. コミュニティの反応とギーク達の熱狂

Redditのr/LocalLLaMAスレッドでは、多くの技術者から称賛が寄せられています。

• 「Doomが動くハードならLLMも動く。ハッカーの法則が証明された！」
• 「トークン生成速度は1秒間に数文字（あるいは数秒に1トークン）レベルだが、32MB RAMで動いているという事実だけで涙が出る。」
• 「1.5bit量子化によるハルシネーションの多さはご愛嬌。PSPでテキストが生成される画面だけでご飯が3杯食べられる。」

精度や実用性を超えた「極限への挑戦」としてコミュニティ全体が盛り上がりを見せています。

---

7. 結論（情熱が照らす組み込みAIの未来）

2004年のレトロハード「Sony PSP」上での90M LLM動作実験は、制約があればあるほど燃え上がるハッカーたちの情熱と、極限最適化技術のポテンシャルを鮮烈に示すプロジェクトでした。

日常の業務利用向けではないかもしれませんが、ここから得られた「極小メモリ空間での推論設計」のノウハウは、今後のウェアラブル端末や超軽量IoT機器におけるエッジAI最適化の貴重な足がかりとなるはずです。

---

8. よくある質問（FAQ）

Q1: PSP実機で動作させるには何が必要ですか？

カスタムファームウェア（CFW）が導入されたPSP本体（PSP-1000/2000/3000）と、メモリースティック、そしてPSP SDKでビルドされた専用のEBOOT.PBPおよびモデルバイナリファイルが必要です。

Q2: 対話の精度やスピードは実用レベルですか？

実用レベルではありません。約1.5bitという極限の量子化の影響で文章の整合性は大きく低下しており、ハルシネーション（嘘の出力）も多発します。生成スピードも非常に低速であり、あくまで概念実証（PoC）およびロマンを楽しむハックとなっています。

Q3: 現代のマイコン（ESP32など）への応用はできますか？

はい、可能です。32MB以下のSRAM環境でLLMを動作させるアプローチ（C言語での静的割り当てと1.5bit/2bit量子化）は、ESP32-S3等のマイコンで軽量なローカル音声・テキスト制御インターフェースを実装する際の貴重な設計指針となります。