LM StudioでローカルLLMを試してみる。ミニPCのLinuxマシンでどのくらい使い物になりそうか

※当ブログでは商品・サービスのリンク先にプロモーションを含みます。

LM Studioの全面無償化という発表を見て、ちょっと動かしてみようかな、という気分になった。

これまで商用利用は認められてなくて、個人利用のみOKだったのが、無制限となったようだ。

いや、別にLM Studioが使いたかったとかいうわけでもなく、商用利用がOKとかNGとかも関係なくて、別にローカルでそんなLLMなんて重たいものを動かさんでもいいだろう、と思っていたんだけど。私はGeminiの有償版が普通に使えるんだし。

その上で、案外、ローカルLLMも使ってみると面白いかもしれない？と思ってしまったのだ。実用的には全く困ってないんだけど。

つまり、今回LM Studioを動かしてみたのは、ただのロマンである。そこにLM Studioがあったから、というだけである。

LM StudioをミニPC「Minisforum UM773 Lite」にインストール

LLMを動かすんだから、それなりのスペックのマシンに入れた方がいいのだろうけど、ここはあえてミニPCにインストールしてみることにした。

Minisforum UM773 Liteを普段遣いのLinuxマシンとしていて、今はManjaro Linux (Cinammon)が稼働している。

Minisforum UM773 Lite

本機の主なスペックとしては、

  • CPU: AMD Ryzen 7 7735HS (Radeon 680M)
  • MEM: 32GB
  • SSD: PCIe4.0
  • OS: Manjaro Linux 6.4.10

といったところ。

このくらいのスペックのマシンで、LLMがどのくらい使い物になるか試してみよう。

LM StudioをAURからインストール

LM Studioをインストールするにあたって、Manjaro Linuxでは (というか、Arch Linuxでは)、AURレポジトリにある「lmstudio」をインストールするのが便利そうだ。

yayでもなんでも使えばいいし、Cinammonの「パッケージ管理」アプリでもAURレポジトリを参照できるように設定したら、普通にインストールできた。

インストールが完了したら、LM Studioを起動する。すると、最初にダウンロードするモデルが提示されて、「Gemma-3-12b」が指定されていたので、これがオススメなのかな？と思ってダウンロードしてやる。8GB以上あって、それなりにダウンロードに時間を要した。

このモデルをロードしてやれば、LM Studioで遊ぶことができるようになる。

Gemma 3 12b を試す

まずは、LM Studioがオススメするままに、「Gemma-3-12b」を使ってチャットしてみる。

すると、これが生成する文章がなかなか遅く、タイピングが遅い人が頑張って打ち込んでいるのかな？というくらいの速度だ。

これはダメだな、と思った。動くは動くのだけれど、私としては実用的ではないと思った。

このミニPCでは、もっと軽量なモデルを使ったほうが幸せになれそうだ。

Gemma 3n e4b を試す

続いて、「Gemma-3n-e4b」を試してみる。

Gemmaのバージョンについて軽く調べたところ、Googleが提供しているモデルGemmaは、最新バージョンがGemma 3だそうだ。そして、モバイルデバイスなどリソースに制約がある端末向けのモデルとしてGemma 3nが用意されているようだ。

Gemma 3n は、スマートフォン、ノートパソコン、タブレットなどの日常的なデバイスでの使用向けに最適化された生成 AI モデルです。

Gemma 3の中でもさらに低容量のものがあって、そちらでも高速化できそうではあったが、ここでは3nを試してみることにした。ミニPCは、ノートパソコンみたいなものだしな。なお、Gemma-3n-e4bは4GBほどだった。

LM StudioでGemma-3n-e4bをロードし直して、チャットしてみる。

LM Studio Gemma 3n

すると、今度は結構実用的だと思われる速度で文章が生成された。以下に問いと回答を載せておく (回答は長いから閉じているが、開けば全文が見れるようにしている)

個人的には、回答もなかなか実用的なレベルになっている感じがした。

なお、下記のようにブログ記事の構成を作らせておきながら、この記事は全く無視して書いていることがわかるだろう。だからどうしたってことはないのだが。

LM Studioに聞いてみた！

ローカルLLMをLM Studioで試してみた、というテーマのブログ記事を書くので、その構成を考えてください。要点としては、Manjaro Linuxでインストールしたこと、マシンスペックはCPU Ryzen 7 7735HS、メモリ 32GBだったこと、Gemma-3-12bは遅かったこと、Gemma-3n-e4bはそこそこ実用的な速度で動いたこと、です。ついでにGemma 3と3nの違いについて調べたことも入れたい。

LM Studioの回答は・・・

ブログ記事構成案：ローカルLLMをLM Studioで試してみた！Manjaro LinuxでのGemmaモデル体験記

1. はじめに (読者の興味を引く導入)

  • 「最近話題のローカルLLM、実際に試してみた！」のようなキャッチーなタイトル。
  • ローカルLLMが注目されている背景（プライバシー、オフライン利用、カスタマイズ性など）を簡潔に説明。
  • LM Studio を使ってローカルLLMを試すことのメリット（手軽さ、無料、多様なモデル選択肢など）を紹介。
  • 本記事で試したモデルと環境を簡単に紹介 (Gemma-3 & Gemma-3n)。

2. 使用環境について (詳細なスペック情報)

  • OS: Manjaro Linux (なぜManjaroを選んだのか、簡単に触れるのも良い)
  • CPU: Ryzen 7 7735HS (コア数やクロック周波数などのスペックを記載)
  • メモリ: 32GB (LLMの動作に必要なメモリ量の説明も加える)
  • GPU: (もしGPUを使用した場合、モデル名とVRAM容量を記載。今回はCPUのみなので「CPUのみ使用」と明記)

3. ダウンロード & インストール (LM Studio の使いやすさ紹介)

  • LM Studio のダウンロードとインストール手順を簡単に説明。
  • Hugging Face Hub から Gemma モデルをダウンロードする手順を紹介。
  • モデルの選択肢が豊富であること、様々な量子化形式（Q4, Q5など）があることを説明。
  • 今回はGemma-3とGemma-3nを選択した理由を簡単に触れる。（例：性能と速度のバランスを考慮）

4. 試したモデルとパフォーマンス (詳細な結果報告)

  • Gemma-3:
    • ダウンロードから起動までの時間、ロード時間、応答速度などを具体的に記述。
    • 「CPUのみ使用のため、応答速度は遅い」という点を明確に説明。（具体的な待ち時間も記載すると説得力が増す）
    • どのようなタスク（質問応答、文章生成など）を試したか、その結果を簡潔に記述。
  • Gemma-3n-e4b:
    • Gemma-3と比較して、ダウンロードから起動までの時間、ロード時間、応答速度がどれくらい改善されたかを具体的に記述。
    • 「CPUのみ使用ながらも実用的な速度で動作した」という点を強調。
    • どのようなタスク（質問応答、文章生成など）を試したか、その結果を簡潔に記述。
  • パフォーマンス比較表: (必要に応じて)
モデルダウンロード時間ロード時間応答速度 (トークン/秒)
Gemma-3………
Gemma-3n-e4b………

5. Gemma 3 と Gemma 3n の違い (調査結果の紹介)

  • Gemma-3 と Gemma 3n は、どちらも Google が開発したオープンソースの LLM であることを改めて説明。
  • Gemma-3: 高性能を重視し、より複雑なタスクに対応できるように設計されている。ただし、その分計算資源も多く必要とする。
  • Gemma-3n: 速度と効率性を重視し、様々なデバイスで利用できるように設計されている。わずかに性能が劣るものの、実用的な速度で動作する。
  • どちらのモデルがどのような用途に適しているかを簡単に説明。（例：Gemma-3: 高度な文章作成、複雑な質問応答。Gemma-3n: 日常的なタスク、高速なプロトタイピング）

6. まとめ (今後の展望と読者への呼びかけ)

  • LM Studio でローカルLLMを試すことのメリットを改めて強調。
  • 環境構築は少し手間がかかるものの、その分自由度が高く、カスタマイズ性も高いことをアピール。
  • 将来的にGPU環境でより高性能なモデルを試したいという展望を語る。
  • 読者への呼びかけ（コメント欄での意見交換、質問など）。

その他:

  • 記事全体を通して、具体的なコマンドや設定内容を記述する。
  • スクリーンショットを多数掲載し、視覚的に分かりやすくする。
  • 関連するリンク（LM Studio, Hugging Face Hub, Gemma モデルの公式ドキュメントなど）を記載する。
  • 読者層を意識して、専門用語はわかりやすく解説する。

この構成案を参考に、ぜひオリジナルのブログ記事を作成してみてください！

おわりに

ミニPC「Minisforum UM773 Lite」にLM Studioをインストールして、ローカルLLMを試してみた。

Gemma 3 (12B)とGemma 3n (4b)を使ってみたところ、Gemma 3nの方が実用的な印象だ。ミニPCはノートパソコンみたいなものだし、性能的にもそんなものだろう。

有償版のGeminiが普通に使えるから、ローカルLLMは使ってなかったが、これはこれでアリかもしれないと思えたのが収穫だ。

LM Studioを使えば、こんなに簡単にローカルLLM環境が作れるとわかったし、簡単にモデルを切り替えられることもわかった。

例えば、Gemini以外の意見を聞いてみたいときなど、使えるシーンがあるかもしれない。特定のドメインに特化したモデルを使うとか。

あとは、それなりのGPUを積んでいる我が家のデスクトップで動かしてみるのも面白いかな、と思ったのだった。ローカルLLMにはロマンがある。

パソコン

Posted by junchan