Intel Mac上でllama.cppのサーバ機能を使って日本語LLMを使ってみる

先日Intel Mac上でllama.cppを使って日本語LLM（ELYZA & Stabilityai beta）を使ってみるという記事を書きました。
その時はShell Script（Scriptというほどではないけど・・・）でパラメータをmainに渡してチャットを起動していましたが、やっぱりGUIで使ってみたいですよね。LLMをGUI経由で利用するためのソフトウェアとして、text-generation-webuiが有名ですが、実は、llama.cppには、独自のサーバー機能が同梱されています（知らなかった・・・）。
このあたり、Webにあまり情報がなかったこともあり、今回試してみたのでメモ。試すにあたり、Llama.cpp の HTTPサーバー機能を試す を参考にしています。ありがとうございます。

システム構成は次のとおり
Mac mini Late 2018
3.2GHz 6 cores Intel Core i7
64GB 2667MHz DDR4
Sonoma 14.1

また、リビジョンのhashが465219bのllama.cppを利用しています。

Mac用にmakeしたllama.cppのディレクトリ内でserverを起動します。ここでは、言語モデルとしてstabilityai instruct beta 70Bの4ビット量子化版を指定しています。-t のパラメータは御自分の環境に合わせてよしなに調整して下さい。

$ cd llama.cpp

$ ./server -m [Path to]/japanese-stablelm-instruct-beta-70b-Q4_K_M.gguf -t 10 --port 8081

上の例では、localhostのポート8081にアクセスしてserverを利用します。ブラウザを起動してアクセスしてみましょう。

上の例で与えたpromptはこちらです。

これは次郎と太郎の対話の議事録です。太郎は誠実で優秀な日本人のアシスタントです。太郎は、親切、正直、丁寧で書くことが得意で、ユーザからの質問に答えることに決して失敗することなく、迅速にかつ正確に回答します。

 

次郎: こんにちは、太郎。

太郎: こんにちは。今日はどのようなお手伝いをいたしましょうか？

次郎: ヨーロッパで最も大きな都市を教えて下さい。

太郎: もちろんです。ヨーロッパで最も大きな都市はロンドンです。ロンドンはイギリスの首都です。

次郎:

システムと会話してみた結果を以下に示します。誤字はご愛嬌。

微妙な回答が混じっていますが、概ね自然な会話になっていますね。

当然、serverにShell等から問い合わせて回答を得ることだできます。

自分でWeb UI を持ったクライアントを作成することもできそうですね。