ローカルLLM1台がベンチマークで叩き出した「$69,875」の中身

この記事でわかること

「ローカルLLMで69,875ドル稼いだ」という報告を見かけたら、ちょっと立ち止まってください。これは実際にお金が振り込まれた話ではなく、AIの実力を測るベンチマークのスコアです。この記事では、その数字の正体と、そこから見えてくる「手元のPCでどこまでAIを戦力にできるか」のヒントを整理します。

「$69,875」の正体はベンチマークスコア

この数字の出どころは、OpenAIが公開している「SWE-Lancer」というベンチマークです。実在のフリーランス案件を土台に、AIモデルがどれだけ実務レベルのソフトウェア開発タスクをこなし、案件の報酬額に換算してどれだけ「稼げる」かを測る仕組みになっています。

ある開発者が、オープンウェイトモデル「Kimi K2.7 Code」を2bit量子化してMac Studio(Apple M3 Ultra、512GBメモリ)1台で動かし、このベンチマークに挑戦しました。用意されたタスクの総報酬額は189,300ドル。そのうち69,875ドル分、割合にして約37%を正解として獲得した、というのが数字の中身です。実際の入金があったわけではなく、あくまで「この案件を任せていたら、これだけの報酬に相当する働きをした」という評価スコアです。

クラウドAPIなしでどこまで戦えるか

注目すべきは、この結果がクラウドの大規模モデルではなく、手元のMac Studio1台・ローカル実行で得られた点です。使われたのは341GBに達する巨大なモデルファイルで、動かすだけでも相応のメモリが要求されますが、外部のAPIに1円も払わずに実務レベルのコーディングタスクをこなせる可能性を示しました。実験は2026年6月17日から30日までの約13日間、198件のタスクに対して行われ、平均処理時間は1タスクあたり約1.6時間だったと報告されています。

正解率3.85%から47.0%への跳躍

もう一つ興味深いのが、成績の伸び方です。最初にデフォルトの評価環境でそのまま試したところ、正解率はわずか3.85%(52タスク中2件)でした。ところが、モデルに合わせて評価用のプログラムを作り直したところ、正解率は47.0%(198タスク中93件)まで跳ね上がっています。

原因は単純で、評価環境が想定していた「コードをそのまま出力する」形式と、Kimi K2.7 Codeが得意とする「ツール呼び出し」形式がかみ合っていなかったためです。モデルの実力を発揮させるには、モデルの癖に合わせて受け皿となる仕組みを調整する必要がある、という教訓です。単純に高性能なモデルを用意するだけでなく、「どう使わせるか」の設計が結果を大きく左右することがわかります。

900秒の壁が示す「実運用ならではの制約」

さらに実務的な制約として、1タスクあたり900秒(15分)を超えると処理を強制的に打ち切るルールが設けられていました。198件中109件、実に半数以上でこの制限に触れており、うち75件は制限のせいでゼロ点扱いになっています。時間制限を設けなければ、実際の正解率はもっと高かった可能性があるということです。

これは、ローカルLLMを実務に組み込む際に必ず突き当たる現実でもあります。性能だけでなく「どれだけ待てるか」「どこで見切りをつけるか」という運用設計が、成果を左右する要素になってきます。

この実験から得られる実践的な示唆

まとめると、この実験が示しているのは「ローカルLLMで簡単に稼げる」という話ではなく、次の3点です。

高性能なオープンウェイトモデルは、クラウドに頼らず自分のマシンだけでも実務レベルの成果を出せる可能性がある
モデルの性能を引き出せるかどうかは、周辺の実行環境や受け皿の設計次第で大きく変わる
時間制限のような運用上の制約が、実際の成果を左右する隠れた変数になる