« 2023年10月 | トップページ | 2023年12月 »

2023年11月

2023.11.12

Intel Mac上でllama.cppのサーバ機能を使って日本語LLMを使ってみる

先日Intel Mac上でllama.cppを使って日本語LLM(ELYZA & Stabilityai beta)を使ってみるという記事を書きました。
その時はShell Script(Scriptというほどではないけど・・・)でパラメータをmainに渡してチャットを起動していましたが、やっぱりGUIで使ってみたいですよね。LLMをGUI経由で利用するためのソフトウェアとして、text-generation-webuiが有名ですが、実は、llama.cppには、独自のサーバー機能が同梱されています(知らなかった・・・)。
このあたり、Webにあまり情報がなかったこともあり、今回試してみたのでメモ。試すにあたり、Llama.cpp の HTTPサーバー機能を試す を参考にしています。ありがとうございます。

システム構成は次のとおり
Mac mini Late 2018
3.2GHz 6 cores Intel Core i7
64GB 2667MHz DDR4
Sonoma 14.1

また、リビジョンのhashが465219bのllama.cppを利用しています。

続きを読む "Intel Mac上でllama.cppのサーバ機能を使って日本語LLMを使ってみる"

| | コメント (0)

2023.11.07

Intel Mac上でllama.cppを使って日本語LLM(ELYZA & Stabilityai beta)を使ってみる

以前、Intel Mac miniでLLMをローカルで動かす記事を書きました。GPUを使わずCPUのみでの実行にはなりますが、LLM を試すことは可能です。
Intel MacでGPUを使わずに大規模言語モデルと戯れてみた
Intel MacでLlama 2モデルと戯れてみる
この記事を書いた時には、日本語のLLMのrinnaなど36億パラメータや40億パラメータのモデルが提供されていましたが、ここにきて、70億〜100億パラメータ、さらに700億バラメータのモデルが出てきました。正確には日英バイリンガルモデルだそうです。

システム構成は次のとおり
Mac mini Late 2018
3.2GHz 6 cores Intel Core i7
64GB 2667MHz DDR4
Sonoma 14.1

ここでは、ggerganovさんによるllama.cppを利用して、モデルとしてELYZA-japanese-Llama-2-7bとStabilityaiのjapanese-stablelm-instruct-betaの7b, 70bバージョンをIntel MacでGPUなしでCPUのみで試してみます。

続きを読む "Intel Mac上でllama.cppを使って日本語LLM(ELYZA & Stabilityai beta)を使ってみる"

| | コメント (0)

« 2023年10月 | トップページ | 2023年12月 »