新機能 huggingface.co
llama.cpp v1.0.0公開ggmlも1.0に
llama.cppとggmlのv1.0.0が公開。ローカルでマルチモーダルLLMを試す選択肢が増える。
- 発表
- 掲載
- 編集
- 原 文人
- 対象
- 開発者向け
発表の内容
日本で使えるか
- 日本から
- 重みはHugging Faceで公開されていて、日本からも入手できる。商用で使う場合はライセンスを確認したい
ポイント
- 幅広いハードウェアでマルチモーダルLLMを実行できるとしているが、自分の環境での動作確認は必要。
- macOSとWindowsはLlamaのデスクトップアプリで試せる。Linux・Android・iOSはプレリリース版の提供。
- 150以上のアーキテクチャ変種をサポートしているため、試せるモデルの幅が広がる。
原文
- [1]
llama.cpp v1.0.0 - LLM inference in C/C++
- [2]
ggml v1.0.0 - Tensor library for machine learning
- [3]
Pre-release artifactsLinux, macOS, Windows, Android, iOS
- [4]
llama.cpp makes it possible to run multi-modal LLMs across a wide range of hardware - from consumer-grade local machines to high-end enterprise servers.
- [5]
Currently, llama.cpp supports more than 150 architecture variants as well as all mainstream speculative decoding methods.
- [6]
Check out Llama desktop apps for MacOS and Windows, shipped with love by the team behind llama.cpp and Hugging Face.
出典:llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem(huggingface.co)