らぼまる AIの最新ニュース

新機能 huggingface.co

llama.cpp v1.0.0公開ggmlも1.0に

llama.cppとggmlのv1.0.0が公開。ローカルでマルチモーダルLLMを試す選択肢が増える。

画像:huggingface.co
発表
掲載
対象
開発者向け

発表の内容

  • llama.cpp v1.0.0が公開[1]
  • ggml v1.0.0が公開[2]
  • Linux、macOS、Windows、Android、iOSでPre-release artifacts[3]
  • 幅広いハードウェアでマルチモーダルLLMを実行できるとしている[4]
  • 150以上のアーキテクチャ変種をサポート[5]
  • MacOSとWindowsのLlama desktop appsで試せる[6]

日本で使えるか

日本から
重みはHugging Faceで公開されていて、日本からも入手できる。商用で使う場合はライセンスを確認したい

ポイント

  • 幅広いハードウェアでマルチモーダルLLMを実行できるとしているが、自分の環境での動作確認は必要。
  • macOSとWindowsはLlamaのデスクトップアプリで試せる。Linux・Android・iOSはプレリリース版の提供。
  • 150以上のアーキテクチャ変種をサポートしているため、試せるモデルの幅が広がる。

原文

  1. [1] llama.cpp v1.0.0 - LLM inference in C/C++
  2. [2] ggml v1.0.0 - Tensor library for machine learning
  3. [3] Pre-release artifactsLinux, macOS, Windows, Android, iOS
  4. [4] llama.cpp makes it possible to run multi-modal LLMs across a wide range of hardware - from consumer-grade local machines to high-end enterprise servers.
  5. [5] Currently, llama.cpp supports more than 150 architecture variants as well as all mainstream speculative decoding methods.
  6. [6] Check out Llama desktop apps for MacOS and Windows, shipped with love by the team behind llama.cpp and Hugging Face.

出典:llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem(huggingface.co)

発表元の記事

huggingface.co llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem 発表元で読む ↗