パソコン・インターネット

2024.01.14

Intel Mac で ELYZA-japanese-Llama-2-13b 及び phi-2 とllama.cppで戯れてみた

Llama 2を日本語拡張したELYZA-japanese-Llama-2に13b版が出ましたので試してみます。
Hugging Face ELYZA.inc
ここにモデルがありますので、ELYZA-japanese-Llama-2-13b-fast-instruct と ELYZA-japanese-Llama-2-13b-instruct のモデルをダウンロードしてllama.cppを用いて推論してみました。

以前にLLMをいくつか試しています。
Intel MacでGPUを使わずに大規模言語モデルと戯れてみた
Intel MacでLlama 2モデルと戯れてみる
Intel Mac上でllama.cppを使って日本語LLM(ELYZA & Stabilityai beta)を使ってみる
Intel Mac上でllama.cppのサーバ機能を使って日本語LLMを使ってみる

今回、ELYZA-japanese-Lllama-2-13bを試すにあたっては、ダウンロードやGGUFフォーマットへの変換、量子化について、
Intel Mac上でllama.cppを使って日本語LLM(ELYZA & Stabilityai beta)を使ってみる
Intel Mac上でllama.cppのサーバ機能を使って日本語LLMを使ってみる
と同様の手順にしたがっています。

続きを読む "Intel Mac で ELYZA-japanese-Llama-2-13b 及び phi-2 とllama.cppで戯れてみた"

| | コメント (0)

2024.01.06

分離型キーボードで親指シフト(NICOLA配列)を試す(Majestouch Xacro M10SP JIS配列)

昨年10月以降、巷ではHHKB Studioが話題になっていますよね。実際、PFUの販売計画を超える大変な売れ行きみたいです。秋葉原に行った折に遊舎工房で触ってみましたが、ファーストインプレッションとしてはいい感じでした。私はThinkPadも使っていてトラックポイントキーボードに馴染んでいますので、興味があるところです。

同時期に発売されたキーボードとして私の興味を引いたのが、ダイヤテックさんから販売されているFILCO Majestouch Xacro M10SPです。FILCOブランドとして最初の分離型キーボードでしょうか。分離型キーボードは、自作キーボードとしては結構出ていますが、FILCOブランドを冠して販売されたというのが大きいと思います。これから分離型キーボードの認知が広がるかもしれません。

最近、私も分離型キーボードに興味が湧いてきていたところでした。これまでJISの分離型キーボードとしてはMistelのBAROCCOシリーズがありました。私は使ったことはないですが。「6」キーや「B」キーが左右のどちらにあるべきかというのは、分離型キーボードの一つの課題で、MD600JPは「6」キーが右側にありましたが、後継のMD770JPは左側に来ていて、どうしたものかと思っていたわけです。先日発売された Majestouch Xacro M10SPは、左右境界にマクロキーを配することで、この問題を解決しています。

 私は、ここ1年半ほど親指シフト(NICOLA配列をカスタマイズ)入力を継続しています。ソフトウェアインストールに制限がある環境も利用する必要があり、また、WindowsとMacを行き来したり、キーボードも複数ありますので、これらの環境の違いをうまく吸収するために、かえうち2を使って親指シフト入力しています。

過去に以下の記事を書きました。
Apple Wireless Keyboard を HHKB Professional Hybrid Type-S に変更して、ついでに親指シフト(NICOLA配列)に挑戦してみた
FILCO Majestouch MINILA-R Convertibleを導入して、親指シフトも試してみた
かえうち2を導入してみた

HHKBと親指シフトの組み合わせに関する記事はネットに散見されますし、情報がネット上に結構あります。
Majestouch MINILA-R Convertibleとorz配列は実は相性が良くて、Majestouch MINILA-R ConvertibleはPatch Keycapを採用していて、キーキャップのキートップとベースが分離して組み合わせることができるため、FILCO Majestouch MINILA-R Convertible レビュー(orz配列・親指シフト用カスタマイズ)にありますように、orz配列のキートップ表記とFnキーと同時打ちのキー表記がされているベースを組み合わせたキーキャップを作成することができます。もっとも、私はorz配列を使っていないのですが・・・

続きを読む "分離型キーボードで親指シフト(NICOLA配列)を試す(Majestouch Xacro M10SP JIS配列)"

| | コメント (0)

2023.12.18

Microsoft Office Word のショートカットキーの一部をEmacs風のキーバインドにしてみた

日頃長文入力する仕事をしていると、キー入力の効率が仕事の効率に直結してきますよね。指をなるべくホームポジションから離したくないのが人情(?)だと思います。

もともとEmacsのキーバインドに馴染んていた自分ですが、最近MS Wordで長文を入力する機会が増えましたので、この際腰を落ち着けてMS Wordのショートカットキーを見直すことにしました。MS Wordはショートカットキーを柔軟に変更することができます。

もちろん、Windows標準のショートカットキーがあるわけで、そこから乖離する問題はあるわけですが、ここではMS Wordの設定を変更してMS Wordに限ってショートカットキーをEmacs風にすることにします。キーボード自体のキー設定を変更することはしません。それはそれで副作用が強いので。

続きを読む "Microsoft Office Word のショートカットキーの一部をEmacs風のキーバインドにしてみた"

| | コメント (0)

2023.11.12

Intel Mac上でllama.cppのサーバ機能を使って日本語LLMを使ってみる

先日Intel Mac上でllama.cppを使って日本語LLM(ELYZA & Stabilityai beta)を使ってみるという記事を書きました。
その時はShell Script(Scriptというほどではないけど・・・)でパラメータをmainに渡してチャットを起動していましたが、やっぱりGUIで使ってみたいですよね。LLMをGUI経由で利用するためのソフトウェアとして、text-generation-webuiが有名ですが、実は、llama.cppには、独自のサーバー機能が同梱されています(知らなかった・・・)。
このあたり、Webにあまり情報がなかったこともあり、今回試してみたのでメモ。試すにあたり、Llama.cpp の HTTPサーバー機能を試す を参考にしています。ありがとうございます。

システム構成は次のとおり
Mac mini Late 2018
3.2GHz 6 cores Intel Core i7
64GB 2667MHz DDR4
Sonoma 14.1

また、リビジョンのhashが465219bのllama.cppを利用しています。

続きを読む "Intel Mac上でllama.cppのサーバ機能を使って日本語LLMを使ってみる"

| | コメント (0)

2023.11.07

Intel Mac上でllama.cppを使って日本語LLM(ELYZA & Stabilityai beta)を使ってみる

以前、Intel Mac miniでLLMをローカルで動かす記事を書きました。GPUを使わずCPUのみでの実行にはなりますが、LLM を試すことは可能です。
Intel MacでGPUを使わずに大規模言語モデルと戯れてみた
Intel MacでLlama 2モデルと戯れてみる
この記事を書いた時には、日本語のLLMのrinnaなど36億パラメータや40億パラメータのモデルが提供されていましたが、ここにきて、70億〜100億パラメータ、さらに700億バラメータのモデルが出てきました。正確には日英バイリンガルモデルだそうです。

システム構成は次のとおり
Mac mini Late 2018
3.2GHz 6 cores Intel Core i7
64GB 2667MHz DDR4
Sonoma 14.1

ここでは、ggerganovさんによるllama.cppを利用して、モデルとしてELYZA-japanese-Llama-2-7bとStabilityaiのjapanese-stablelm-instruct-betaの7b, 70bバージョンをIntel MacでGPUなしでCPUのみで試してみます。

続きを読む "Intel Mac上でllama.cppを使って日本語LLM(ELYZA & Stabilityai beta)を使ってみる"

| | コメント (0)

2023.08.04

Intel MacでLlama 2モデルと戯れてみる

Intel MacでGPUを使わずに大規模言語モデルと戯れてみたに書きましたが、Intel Macでも推論であればLLMを十分扱うことができます。この度、Llama 2が発表されましたがIntel Macで70Bモデルを含めて動きます。さすがに重いけど。ただし量子化モデルを使ってllama.cppを動かしています。

システム構成は前回同様、
Mac mini Late 2018
3.2GHz 6 cores Intel Core i7
64GB 2667MHz DDR4
Ventura 13.5
です。

ご自分のPCローカルでLlama 2を動かしたい!という方は是非試してみてください。量子化されたモデルも公開されているので、自分で量子化する作業を省略することができます。

続きを読む "Intel MacでLlama 2モデルと戯れてみる"

| | コメント (0)

2023.07.08

macOS & Dockerで動作するリアルタイム画像認識デモ環境を作ってみた(3)

macOS & Dockerで動作するリアルタイム画像認識デモ環境を作ってみた(1)
macOS & Dockerで動作するリアルタイム画像認識デモ環境を作ってみた(2)
という記事に書きましたが、「macOS & Dockerで動作するリアルタイム画像認識デモ環境を作ってみた」シリーズ第3弾です。

(1)はVirtualBoxを仮想マシンのドライバとして使うもので、特殊な環境を作る必要がありました。(2)はどうも安定性に欠けるようです。遅延が酷いし。というわけで再トライしてみます。

環境:
マシン:Mac mini (2018) Intel Core i7 (物理コア数6+メモリ64GB)
OS:macOS Ventura 13.4.1
CLI環境:Homebrew導入済
仮想化製品:Lima limactl version 0.16.0
Docker:Homebrew版 Docker version 24.0.2, build cb74dfcd85

今回採った方法は、PythonでWebcam画像をソケット送信し、Dockerコンテナ内でPythonのソケット受信をマルチスレッド内で常時行って、YOLO v8を利用して画像認識したもの、になります。

続きを読む "macOS & Dockerで動作するリアルタイム画像認識デモ環境を作ってみた(3)"

| | コメント (0)

2023.07.02

Intel MacでGPUを使わずに大規模言語モデルと戯れてみた

「Mac mini Late 2018 のRAMを64GBに換装してみた」に書きましたが、PCローカルで大規模言語モデルを使って遊ぶために、ちょうどRAMの相場が下がっていますし、Mac mini Late 2018のRAMをMAX値64GBに増設しました。いよいよリンナちゃんと会話できますよ。

Mac mini Late 2018
3.2GHz 6 cores Intel Core i7
64GB 2667MHz DDR4
Ventura 13.4.1

きっかけは、
自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ!: 清水理史の「イニシャルB」
オープンなLLMをDockerで動かす
を読んだことです。この記事のやり方を試してみたところ、16GBではメモリが足らなくてプロセスがKillされたため、メモリを増設したわけです。
私はLimaとDockerを使ってますので、メモリを増設した後、docker-rootful.yamlにて、以下のようにパラメータ設定を追加しました。


cpus: 10
memory: "30GiB"
disk: "200GiB"

ハードウェア環境に応じて設定すればいいと思います。なぜか、memoryを32GiBとか大きくするとうまくいきませんでした。

続きを読む "Intel MacでGPUを使わずに大規模言語モデルと戯れてみた"

| | コメント (0)

2023.06.13

Mac mini Late 2018 のRAMを64GBに換装してみた

最近、大規模言語モデルって流行ってますよね。ChatGPTとか。その流れで、リンナちゃんの言語モデルなど公開されるなど大規模言語モデルが大変話題になっております。どうも、GPUのない(正確にはGPUを利用せずCPUのみ利用の条件で)自宅PCでも推論はできるようで、私も興味津々で状況をみておりました。しかし、私のPCはメモリ16GBで、これまでそれで十分だったわけですが、さすがにリンナちゃんの言語モデルを動かそうとするとメモリ不足でプロセスがKillされてしまうんです。悲しい。

しかーし、今は世界的なメモリ価格の下落により、RAMがかなりお求めやすくなっております。そこで、まずは私のMac mini Late 2018のメモリをMAXまで増量することにしました。リンナちゃんとお話するために。

続きを読む "Mac mini Late 2018 のRAMを64GBに換装してみた"

| | コメント (0)

2023.05.20

ADSLの終焉

2022年の大晦日にADSLはまだ終わらない・・・を書きましたが、程なく2023年4月21日にNTT東日本とNTT西日本からADSLサービス提供終了のニュースリリースがありました。今回はフレッツ光提供エリア外がサービス廃止対象です。フレッツ光提供エリアでは廃止時期がもっと早く、2022年2月1日より前にフレッツ光を利用可能になったエリアでは2023年1月31日でフレッツADSLサービスを提供停止済みです。
「フレッツ・ADSL」のサービス提供終了日および新規申込受付終了日等について: NTT東日本グループ
「フレッツ光」未提供エリア等における「フレッツ・ADSL」の新規申込受付終了および提供終了等について西日本電信電話株式会社
NTT東日本は2025年1月31日、NTT西日本は2026年1月31日に完全にサービスを終了するそうです。・・・ふーん、2023年7月31日まではまだ新規申込を受け付けているんだ・・・

続きを読む "ADSLの終焉"

| | コメント (0)

より以前の記事一覧