Intel Mac上でllama.cppのサーバ機能を使って日本語LLMを使ってみる

先日Intel Mac上でllama.cppを使って日本語LLM（ELYZA & Stabilityai beta）を使ってみるという記事を書きました。
その時はShell Script（Scriptというほどではないけど・・・）でパラメータをmainに渡してチャットを起動していましたが、やっぱりGUIで使ってみたいですよね。LLMをGUI経由で利用するためのソフトウェアとして、text-generation-webuiが有名ですが、実は、llama.cppには、独自のサーバー機能が同梱されています（知らなかった・・・）。
このあたり、Webにあまり情報がなかったこともあり、今回試してみたのでメモ。試すにあたり、Llama.cpp の HTTPサーバー機能を試す を参考にしています。ありがとうございます。

システム構成は次のとおり
Mac mini Late 2018
3.2GHz 6 cores Intel Core i7
64GB 2667MHz DDR4
Sonoma 14.1

また、リビジョンのhashが465219bのllama.cppを利用しています。

続きを読む "Intel Mac上でllama.cppのサーバ機能を使って日本語LLMを使ってみる"

Intel Mac上でllama.cppを使って日本語LLM（ELYZA & Stabilityai beta）を使ってみる

以前、Intel Mac miniでLLMをローカルで動かす記事を書きました。GPUを使わずCPUのみでの実行にはなりますが、LLM を試すことは可能です。
Intel MacでGPUを使わずに大規模言語モデルと戯れてみた
Intel MacでLlama 2モデルと戯れてみる
この記事を書いた時には、日本語のLLMのrinnaなど36億パラメータや40億パラメータのモデルが提供されていましたが、ここにきて、70億〜100億パラメータ、さらに700億バラメータのモデルが出てきました。正確には日英バイリンガルモデルだそうです。

システム構成は次のとおり
Mac mini Late 2018
3.2GHz 6 cores Intel Core i7
64GB 2667MHz DDR4
Sonoma 14.1

ここでは、ggerganovさんによるllama.cppを利用して、モデルとしてELYZA-japanese-Llama-2-7bとStabilityaiのjapanese-stablelm-instruct-betaの7b, 70bバージョンをIntel MacでGPUなしでCPUのみで試してみます。

続きを読む "Intel Mac上でllama.cppを使って日本語LLM（ELYZA & Stabilityai beta）を使ってみる"