グラフィックカード購入とローカルLLM導入の記録

サムネイル画像

直近では3連休があり、そのうちの1日に起きた出来事について書いていこうと思う。

複数PC運用の背景

今年から並列で3台のコンピューターを同じ部屋で用途別に使い分けている。

PC上では仮想デスクトップやパーティションで複数OSを使うことも可能だが、趣味として自作PCを続けてきた結果、物理的に複数台運用する形になった。

コロナ禍や半導体不足、物価高といったマイナス要因はあったものの、自作PCは比較的安価な趣味である。

型落ちのAMD RyzenやAM4マザーボードは低価格で入手可能であり、メモリやM.2 SSDも安く静音性に優れる。

ケースも安価な選択肢が増えている。

近年はミニPCやベアボーンPCも選択肢として有力で、ゲーミング用途でなければ安く構築できる。

当初はファイルサーバーやコンテナ運用が中心で、GPUは不要だった。

自作PCにおいてネックとなるのはGPU価格であり、高性能品は依然高価である。

しかし今夏、RTX 3060を超える高価なGPUを購入。

10万円近い投資であり、ゲーマーではない自分にとっては用途に悩むものであった。

GPU活用法として浮上したのがローカルLLMの運用である。

ちょうど「ollama」の記事を見つけ、想定よりも導入ハードルが低いと感じた。

既にChatGPT Plusを利用しているため完全な置き換えは考えていないが、ollamaはAPI経由で利用できる点が強力である。

例として、Claude CodeではLCD表示機の値をデータベースに登録するPythonコード生成がうまくいかなかったが、ollamaのモデルでは意図通りの値取得が可能であった。

また、特定のPDF（例：2009 Tetris® Design Guideline）を基に詳細な質問応答もできる。

現時点ではollamaの活用法は模索中である。

Markdownを含むテキストはプログラムに組み込みづらく、検索エンジン的な使い方に留まる可能性もある。

LLMはあくまで手段であり、用途に応じた機能設計が必要である。

とはいえ、ollama経由でのプログラミングは研究の余地が大きい。

今回の10万円投資は消費か浪費か判断が分かれるが、定型的なプログラミングから脱却できれば大きな投資となる。

長年依存してきたDeepLは翻訳精度に不満はないが、Web UIが使いづらい。

もしollama等で置き換えられれば年間12,000円の節約となる。

また、Copilot契約終了によりコミット作業が煩雑になったが、ollama対応のプラグインが登場すればClaude Code依存も減らせる。

特に、自分が書いていないコード変更にもClaude Codeのクレジットが自動付与される状況は回避したい。

これまで同じような題材でコードを書き続けてきた自分にとって、新しい開発環境は新鮮である。

ゲームプログラミングとは異なる難しさがあるだろうが、ChatGPTとClaudeを活用しながら乗り越えていきたい。