令音CEO / AIと人のハイブリッドで事業支援
自分のPCでAIを動かせば利用料はかからない。そう聞いても、手元のPCで本当に仕事に使えるのかが分からない。高いグラフィックボードが要るなら、話は変わってくる。
私は令音という一人会社で、数年前のゲーム用グラフィックボード（RTX 3070、VRAMは8GB）を積んだPCを使っている。結論を先に書く。要約・分類・タグ付けのような小さな仕事なら、8GBで実用になった。使用量の台帳に残っている2026年7月18日から10月8日までの12週間で、PCのAIを約2.4万回呼び出し、約5,400万トークンを処理した。AIの利用料は0円だった（PC本体と電気代は別にかかる）。
ただし、何も考えずに入れると遅い。遅さの原因は3回とも、モデルの賢さとは別のところにあった。
何に使って、何に使っていないか
約2.4万回のうち約7割は、社内で使う台本や会話文の生成だった。次に多いのが保存した記事へのタグ付け（約2,100回）で、記事の下書きの点検、企画案の量産、作業記録の要約が続く。どれも、1回が短く、数が多く、間違っても人か後段の検査で止められる仕事だ。
逆に、外に出す文章の最終稿や、長い資料を読み込んで判断する仕事には使っていない。そこは月額で契約しているAIに回している。PCのAIが書いた文は、そのまま公開せず、必ず後ろに確認を置く。
主力にしているのは、Googleが公開している小型モデル（gemma4:e4b）で、呼び出しの約8割を受け持った。
遅い原因① VRAMは、AIを入れる前から半分埋まっていた
最初に動かしたとき、生成は1秒に10〜15トークンしか出なかった。グラフィックボードではなく、CPUで動いていた。
調べると、何もしていない状態でも、VRAMの約4.5GBがすでに使われていた。画面の描画、動画の再生、スマホ連携のアプリ、ブラウザ。どれも正規のアプリで、異常ではない。8GBのうち、AIに使える空きは約3.6GBしかなかった。
動画を止め、常駐アプリを閉じて空きを6〜7GBにすると、同じモデルが1秒に40〜55トークンで動いた。買い足す前に、いま何がVRAMを使っているかを見る。これだけで速度が3〜4倍変わった。
遅い原因② 既定の設定が、記憶領域を取りすぎていた
次に効いたのは、一度に読める文章量の設定だった。私が使っている実行ソフトは、既定値が65,536トークンになっていた。この値が大きいと、モデル本体が小さくても、作業用の領域だけでVRAMがあふれる。実際に、小さなモデルなのに7割がCPU側に回っていた。
日常の用途は4,096〜8,192トークンで足りる。4,096に下げると、小型モデルはほぼ全部がグラフィックボードに載った。
遅い原因③ ファイルの大きさでは、速さは読めない
大きいモデルも試した。ここで分かったのは、ファイルの大きさが同じでも、作りによって速さが約9倍違うことだ。
| モデルの作り | ファイル | 生成の速さ |
|---|---|---|
| 全体を毎回使う型（約28B） | 18GB | 1秒に1.8トークン |
| 必要な部分だけ使う型（実働約3.8B） | 18GB | 1秒に15.9トークン |
前者は、8GBに載りきらない分をCPUが毎回すべて計算する。後者は、1回の生成で使う部分が小さいので、載りきらなくても実用の速さが出る。ダウンロードする前に、モデルの説明で「実際に動く部分の大きさ」を確かめるようになった。
もう1つ。22GBの版を入れたら、呼ぶたびに読み込みに36〜38秒かかった。PCのメモリは約32GBで、重みが収まりきらず、毎回SSDから読み直していた。17GBの版に替えると、読み込みは0.3秒になった。効いたのはグラフィックボードではなく、メモリの量だった。
設定を手でいじって、グラフィックボードに多く載せようともした。結果は逆で、1秒に28.7トークン出ていたものが1.7トークンまで落ちた。あふれた分が遅い領域に回るためで、自動に任せた配分がいちばん速かった。
賢さは、同じ仕事で比べて決める
速さだけで選ぶと失敗する。企画案を作る同じ指示を、3つのモデルに1回ずつ渡して比べたことがある。1つだけ、元の素材から離れて別の話を書いた。評判のよいモデルだった。残り2つは素材に沿っていて、大きいほうは具体的だったが、時間は約3倍かかった。
1回きりの比較なので断定はできない。ただ、評判ではなく、自分の仕事の指示で比べる以外に決め方がなかった。主力を入れ替えたのは、この比較のあとだ。
8GBで始めるなら
- 小型モデルを1つ入れて、要約か分類を1種類だけ任せる。最初から文章の最終稿を任せない
- 速度が出なければ、VRAMの空きと、一度に読める量の設定を見る。買い替えはそのあと
- 結果を外に出す前に、確認を1つ置く。人が読むか、機械の検査を通す
次にPCを替えるなら、私はグラフィックボードより先にメモリを増やす。この12週間でいちばん時間を失ったのは、メモリが足りずに読み直していた36秒の繰り返しだった。
まとめ
- 8GBのVRAMでも、要約・分類・タグ付けは実用になった。12週間で約2.4万回、AIの利用料は0円
- 遅い原因は、VRAMの空き、一度に読める量の設定、メモリ不足の3つだった
- 同じ18GBでも、モデルの作りで速さは1.8と15.9に分かれた
- モデルは評判ではなく、自分の仕事の指示で比べて決める
令音がAIと一緒に作った本は、令音の書籍ページにまとめてある。どの作業をPCのAIに回し、どこから人が見るかの線引きは、本づくりでも同じだった。