Intel MacでLlama 2モデルと戯れてみる
Intel MacでGPUを使わずに大規模言語モデルと戯れてみたに書きましたが、Intel Macでも推論であればLLMを十分扱うことができます。この度、Llama 2が発表されましたがIntel Macで70Bモデルを含めて動きます。さすがに重いけど。ただし量子化モデルを使ってllama.cppを動かしています。
システム構成は前回同様、
Mac mini Late 2018
3.2GHz 6 cores Intel Core i7
64GB 2667MHz DDR4
Ventura 13.5
です。
ご自分のPCローカルでLlama 2を動かしたい！という方は是非試してみてください。量子化されたモデルも公開されているので、自分で量子化する作業を省略することができます。
最近のコメント