「ローカルでAIを動かしたいけれど、どんなPCなら足りるのか分からない」。そんな疑問に向けて、この記事では、家庭用ゲーミングPCで大型モデルを動かすとされる推論エンジン「Strata」について、公開されている情報を整理します。読み終えると、必要なスペックの目安、公表されている速度とその読み方、導入前の注意点が分かり、自分のPCで試せるかどうかを判断できるようになります。

Strataとは何か

Strataは、Niko1221氏が公開しているオープンソースの推論エンジンです。Qwen3.8-Flash-Nextという約1,250億パラメータ（125B）のモデルを、ゲーミングPCで動かすことを目的にしています。Windows・Linuxに対応し、PC Watchの報道ではv0.1.39が2026年10月4日に公開されたとされています。ローカルホストでOpenAI互換・Anthropic互換のAPIを提供するため、既存のツールの接続先を切り替えて使えるのも特徴です。

出典：Hackaday、PC Watch、Developer's Digest

必要スペックの目安

公開されているREADMEをまとめたDeveloper's Digestの記事によると、条件は次のとおりです。

  • GPU：NVIDIA GeForce RTX 20/30/40/50シリーズ、または対応するAMD Radeonで、VRAM 12GB以上
  • メインメモリ：32GB以上（選べる量子化サイズはメモリ量で決まる）
  • ストレージ：空き約80GB（ダウンロードは約70GB）、SSD推奨
  • OS：Windows 10/11またはLinux

Hackadayも「システムメモリ32GB以上、VRAM 12GB、ストレージ約80GB」という趣旨を伝えています。つまり、VRAM 8GB級のGPUでは、この構成の対象外と読むのが自然です。「8GBでも爆速」といった表現を見かけたら、条件をよく確認したほうがよいでしょう。

なぜ小さなGPUで大きなモデルが動くのか

仕組みの核は、モデルがMoE（Mixture of Experts）構造であることです。Hackadayによれば、このモデルには多数の小さな専門家（エキスパート）があり、1トークンの生成で使われるのはそのうち10個だけとされています。Strataはこの性質を使い、次のように記憶装置を使い分けます。

  • よく使われるエキスパートはVRAMに置く（キャッシュの役割）
  • 全エキスパートは通常、システムメモリに置く
  • 約29GBの参照テーブルはSSDに置き、必要に応じて読む
  • モデル自身の複数トークン予測を使い、候補を一度にまとめて検証する

なお、エキスパート数の説明は資料によって異なります（Hackadayは24,576個、Developer's Digestはモデルカードを引いて層あたり512個としています）。細部は一次情報で確かめるのが無難です。

公表されている速度と、その読み方

Developer's Digestが引用するStrata作者の計測（RTX 5070・VRAM 12GB・メモリ64GB）では、4,000トークンの回答を書く速度が、量子化の小さい順に毎秒94、79、62、53トークンと示されています。Hackadayも「量子化によって毎秒およそ50〜90トークン」と伝えています。

ただし、この数字は作者自身の計測か、掲示板での利用者報告が中心です。Developer's Digestも、独立した再現がまだない点を明記しています。さらに、こうした速度は2〜4ビット程度の強い量子化が前提で、Qwen社が公表しているベンチマーク（フル精度のもの）がそのまま当てはまるとは限りません。コミュニティでも、2ビット版や専門家を減らした版が元のモデルと同等かを疑問視する声があるとされています。速度は「出る可能性がある目安」、品質は「自分の用途で確かめる必要がある」と分けて考えるのが安全です。

導入前に知っておきたい注意点

公開資料から読み取れる注意点を整理します。

  • 初回ロードの負荷：35〜55GBをメモリに読み込むため、環境によっては1〜3分ほど動作が重くなる、またはフリーズしたように見えることがあります。
  • 初回プロンプト：3万トークン前後の長い入力は、最初の処理に1分ほどかかるとされています。
  • 同時処理：標準では1リクエストずつです。同時数を増やすと、12GBのカードでは1件ごとの速度が落ちます。
  • 導入作業：Hackadayの検証者は、NVIDIAのCコンパイラやgccとの相性でセットアップに苦労したと伝えています。
  • AIに任せる導入：READMEには「AIに貼り付けて導入させる」手順が用意されていますが、Developer's Digestは、先にインストーラーと手順書を自分で読むよう勧めています。
  • 回答品質：Hackadayの検証では、答えが概ね当たる一方、サイトの創設者についての誤りなど、事実の取り違えも見られたとされています。商用の大型サービスと同等とは言えない、という見方です。

ライセンスの落とし穴

Strata本体はMITライセンスですが、これは推論エンジンだけの話です。モデルの重みはQwen Community License 1.0で、Apache 2.0やMITではありません。Developer's Digestによると、「Model as a Service」や「AIワークアシスタント」にあたる事業を行う場合は、Qwenとの別途ライセンスが必要になるとされています。個人で試す分には問題になりにくくても、収益を伴う利用では規約を読み込んでおきたい部分です。

まとめ：試す前のチェックリスト

最後に、判断の手順を3つにまとめます。

  1. VRAMは12GB以上か、メインメモリは32GB以上か、SSDの空きは80GB以上かを確認する
  2. 公表速度は作者計測が中心と理解し、自分の用途で品質を確かめる前提にする
  3. 事業利用を考えるなら、モデルのライセンスを先に確認する

条件を満たすなら、ローカルで大型モデルを動かす選択肢が現実味を帯びてきました。一方で、条件に届かない場合は、より小さなモデルを選ぶほうが快適です。まずは自分のPCの数字を確かめるところから始めてみてください。