Intel Mac で ELYZA-japanese-Llama-2-13b 及び phi-2 とllama.cppで戯れてみた
Llama 2を日本語拡張したELYZA-japanese-Llama-2に13b版が出ましたので試してみます。
Hugging Face ELYZA.inc
ここにモデルがありますので、ELYZA-japanese-Llama-2-13b-fast-instruct と ELYZA-japanese-Llama-2-13b-instruct のモデルをダウンロードしてllama.cppを用いて推論してみました。
以前にLLMをいくつか試しています。
Intel MacでGPUを使わずに大規模言語モデルと戯れてみた
Intel MacでLlama 2モデルと戯れてみる
Intel Mac上でllama.cppを使って日本語LLM(ELYZA & Stabilityai beta)を使ってみる
Intel Mac上でllama.cppのサーバ機能を使って日本語LLMを使ってみる
今回、ELYZA-japanese-Lllama-2-13bを試すにあたっては、ダウンロードやGGUFフォーマットへの変換、量子化について、
Intel Mac上でllama.cppを使って日本語LLM(ELYZA & Stabilityai beta)を使ってみる
Intel Mac上でllama.cppのサーバ機能を使って日本語LLMを使ってみる
と同様の手順にしたがっています。


最近のコメント