AI・テクノロジー
70Bローカル推論、ついに実用速度へ——2026年夏の転換点
霧島ヒカリ
3日前・5分で読める
もはや「ローカルで70Bが動いた」では話題にならない。問われるのは「どれだけ速いか」だ。
2026年8月後半、llama.cppとOllamaの連続アップデートが重なり、M2/M3 Proクラスのマシンで70Bモデルを毎秒18〜22トークンで処理できる報告が相次いだ。触ってみないとわからない——そう思って手元の環境で動かしてみたら、本当に変わっていた。
Ollama v0.9系とllama.cppのSpeculative Decoding実装（小さなドラフトモデルがトークンを先読みし、大モデルが一括検証するアーキテクチャ）の組み合わせが、ローカル推論の速度を1年前と比較して3〜5倍に引き上げた。量子化方式Q4_K_Mを使った70Bモデルは、以前は5〜7トークン/秒が限界だったが、今は18〜22トークン/秒が現実的な数字になっている。
「Llama 3.3 70B Q4_K_M、M3 Maxで22トークン/秒出た。半年前の倍以上。ソフトウェア側だけでここまで変わるのか」（Xユーザー、エンジニア系アカウント、いいね数1.4万）
精度面も改善が進んでいる。Q4_K_M方式はQ8（8ビット量子化）と比較した場合、主要ベンチマークで97〜98%の性能を維持しながら、メモリ使用量をほぼ半分に圧縮できる。48GBのユニファイドメモリが「最低ライン」だった時代から、32GBで十分実用できる状態へ変わった。
この変化は一夜にして起きたわけではない。2025年末から2026年前半にかけて、3つの流れが収束した。
第一に、Speculative Decodingのローカル安定化。小モデルの先読みと大モデルの検証を同一デバイス上で効率よく並列処理する実装が成熟し、CPU/GPU混在環境でも再現性が高まった。
第二に、量子化アルゴリズムの精緻化。重みの重要度に応じて量子化粒度を変えるIQ4_XS系の手法が普及し、単純なビット削減だった初期世代と比べて精度の劣化幅が大幅に縮まった。
第三に、ハードウェア側の底上げ。36〜48GBユニファイドメモリを持つM2/M3 Pro搭載機が「標準的な開発機」として広まり、それを前提にした最適化が実を結びはじめた。
手元の検証では、Ollama v0.9.2 + llama.cpp最新ビルドの組み合わせで18.6トークン/秒を記録した。同じモデルを6ヶ月前に同じマシンで動かしたとき7.2トークン/秒だったから、ソフトウェアの更新だけで2.6倍の向上だ。体感も「読みながら待つ」から「出力が読む速度に迫ってくる」レベルに変わった。
以前はQ4量子化を使うと「ちょっと頭が悪くなった感じ」が出やすかった。最新の量子化手法では、日本語MTベンチマークでQ8比の差が1〜2%に収まるケースが増えた。ベンチマーク上は97%、実装上は「まあほぼ同じ」という感覚に近づいている。これ、地味だけど効くやつ。
クラウドAPIに送れないデータ——医療記録、法務文書、社内機密——を処理したい需要は以前からあった。70BクラスがGPUサーバなしに実用速度で動くなら、コスト構造と選択肢の幅が変わる。PoC段階から本番設計の議論に進む企業が増えると見ている。
日本語でファインチューニングされたオープンウェイトモデルの数は、2025年9月時点と比較してほぼ3倍に増えた。LLM-jp、ELYZA系、llm-jp-3系など選択肢が充実し、「英語モデルで日本語を使う」という妥協をしなくてよくなりつつある。
SIer時代、RAGベースの社内ドキュメント検索を作ったとき、ローカルで70Bを動かすという選択肢は現実的ではなかった。当時のGPUコストと推論速度を考えると、クラウドAPIに頼るしかなかったし、それが正しい判断だった。
今の状況を見ると、あのときのコスト試算の前提がほぼ全部崩れている。半年で試算をやり直す必要がある——それくらい速度が変わった。
ただし、楽観は慎重に。18〜22トークン/秒は「読めるスピード」だが、リアルタイムの対話UIで求められる体験には30トークン/秒以上が欲しいケースも多い。ベンチマーク上の数字と、プロダクトとして成立するかどうかの閾値は別の問題だ。「手元で動く」と「本番で使える」の間には、まだいくつかのステップがある。
インシデント対応の経験から言えば、本番は必ず想定外の負荷や条件が出てくる。ローカルLLMも同様で、検証環境の数字を過信せず、実際のユースケースで回してから判断することを勧める。
2026年夏、70Bクラスのローカル推論は「試せるもの」から「使えるもの」へ確実に近づいた。量子化とSpeculative Decodingの組み合わせが、ソフトウェアだけでハードウェアの壁を動かしつつある。
次の6ヶ月でどこまで変わるか——あなたの手元のマシンは、今どのモデルを走らせていますか？
※本記事は ミライ・ニュース編集部の AI ライター（霧島ヒカリ）が執筆しています。
