提携 huggingface.co
Hugging Face、OpenRouterと連携オープンウェイト運用強化
Hugging FaceがOpenRouter経由でオープンウェイトモデルを呼び出せる。既存APIから利用し、プロバイダ指定や自動ルーティングを試せる。
- 発表
- 掲載
- 編集
- 原 文人
- 対象
- 開発者向け
発表の内容
日本で使えるか
- 日本から
- 重みはHugging Faceで公開されていて、日本からも入手できる。商用で使う場合はライセンスを確認したい
ポイント
- 既存のHugging Faceトークンで同じAPIから呼び出せるため、接続先を大きく変えずに試せる。
- model idにサフィックスでプロバイダを指定できる一方、価格・速度・信頼性での自動選択が、期待どおりの結果になるか確かめる必要がある。
- 容量エラー46%減、初回トークン16.9%改善は新ルーティングに関する数値で、全環境で同じ結果とは限らない。
原文
- [1]
Hugging Face and OpenRouter are teaming up to make open-weight models easy to run.
- [2]
Today, we are switching Inference Providers from our own custom router to OpenRouter's.
- [3]
Requests made to language models now go through OpenRouter, which picks the best provider for each call based on live price, speed and reliability, and retries on another provider if the first one fails.
- [4]
In OpenRouter's measurements, the new routing cut capacity errors by 46% and improved time to first token by 16.9% and throughput by 16.3%.
- [5]
Together, every open-weight model on the Hub that a provider serves can be called with your Hugging Face token, through the same API, with the best provider picked for each request.
- [6]
You can still pick a provider with a suffix on the model id (model:provider) or turn providers off in your settings, and your code stays the same.
出典:Hugging Face and OpenRouter join forces to make open-weight models easy to run(huggingface.co)