macOS & Dockerで動作するリアルタイム画像認識デモ環境を作ってみた（３）

macOS & Dockerで動作するリアルタイム画像認識デモ環境を作ってみた（１）
macOS & Dockerで動作するリアルタイム画像認識デモ環境を作ってみた（２）
という記事に書きましたが、「macOS & Dockerで動作するリアルタイム画像認識デモ環境を作ってみた」シリーズ第３弾です。

（１）はVirtualBoxを仮想マシンのドライバとして使うもので、特殊な環境を作る必要がありました。（２）はどうも安定性に欠けるようです。遅延が酷いし。というわけで再トライしてみます。

環境：
マシン：Mac mini (2018) Intel Core i7 （物理コア数6＋メモリ64GB）
OS：macOS Ventura 13.4.1
CLI環境：Homebrew導入済
仮想化製品：Lima limactl version 0.16.0
Docker：Homebrew版 Docker version 24.0.2, build cb74dfcd85

今回採った方法は、PythonでWebcam画像をソケット送信し、Dockerコンテナ内でPythonのソケット受信をマルチスレッド内で常時行って、YOLO v8を利用して画像認識したもの、になります。

続きを読む "macOS & Dockerで動作するリアルタイム画像認識デモ環境を作ってみた（３）"

Intel MacでGPUを使わずに大規模言語モデルと戯れてみた

「Mac mini Late 2018 のRAMを64GBに換装してみた」に書きましたが、PCローカルで大規模言語モデルを使って遊ぶために、ちょうどRAMの相場が下がっていますし、Mac mini Late 2018のRAMをMAX値64GBに増設しました。いよいよリンナちゃんと会話できますよ。

Mac mini Late 2018
3.2GHz 6 cores Intel Core i7
64GB 2667MHz DDR4
Ventura 13.4.1

きっかけは、
自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ！: 清水理史の「イニシャルB」
オープンなLLMをDockerで動かす
を読んだことです。この記事のやり方を試してみたところ、16GBではメモリが足らなくてプロセスがKillされたため、メモリを増設したわけです。
私はLimaとDockerを使ってますので、メモリを増設した後、docker-rootful.yamlにて、以下のようにパラメータ設定を追加しました。

cpus: 10

memory: "30GiB"

disk: "200GiB"

ハードウェア環境に応じて設定すればいいと思います。なぜか、memoryを32GiBとか大きくするとうまくいきませんでした。

続きを読む "Intel MacでGPUを使わずに大規模言語モデルと戯れてみた"