llama.cppをブラウザで使う

Amazonのアソシエイトとして、当ブログは適格販売により収入を得ています。

今までllama.cppを使う時、ターミナルで操作していました。

というわけで、サムネにあるような画面でチャットできるようにしましょう。

UI導入手順

#カレントディレクトリは「llama.cpp_build」
./llama.cpp/build-vulkan/bin/llama-server -m gpt-oss-20B-F16.gguf --port 8080 --host 127.0.0.1 --jinja

上記コマンドで起動します。
「llama-server」を使っている事と、「–jinja」オプションを付けているところに気をつけてください。

たったこれだけですが、今まで全然知りませんでした。

普通にChatGPTみたいな感じです。

ただ、画像ファイルや音声ファイルを添付したりするには学習モデルの対応が必要みたいです。
「gpt-oss-20b」はテキストファイルのみ対応でした。
「llava-1.5-7B」のようなモデルなら画像ファイルも扱えるらしいです。

まだ、あまり触っていないので設定方法も簡単に紹介します。

例えば、「私は何者でしょうか？あなたの知っていることで良いので述べてください。」と問いかけたところ、

./llama.cpp/build-vulkan/bin/llama-server -m gpt-oss-20B-F16.gguf --ctx-size 8192 --port 8080 --host 127.0.0.1 --jinja

4096のコンテキスト長だとすぐに終わってしまうので、上記コマンドで調整できます（まぁ限度はありますが）。

「gpt-oss-20b」くらいなら、Radeon RX9060XT(16GB)でとても快適にチャットできますね。
ちなみに「gpt-oss-120b」になると、

このような感じになります。まぁ、なんとか使えるかなぁ。

./llama.cpp/build-vulkan/bin/llama-server -m gpt-oss-120B-F16.gguf --n-gpu-layers 99 --n-cpu-moe 29 --port 8080 --host 127.0.0.1 --jinja

起動に使ったコマンドです。

今回は以上です。