「量子化」の検索結果: ユーザー 0件・記事 2件
ローカルで動くLLMが、ついに「実務に耐える」ラインを超えてきた 2026年6月、OSSコミュニティで静かに、しかし確実に転換点が起きている。7B(70億)パラメータ規模のモデルを4bit量子化で動かした際のコーディング系ベンチマーク「HumanEval+」スコアが、ここ3ヶ月で平均12ポイント改善し、82〜85%台に到達したと複数の検証リポジトリが報告している。GPT-4oの同ベンチ公称値は87...
ローカルで動くLLMが、静かに「使えるもの」になってきた 2026年春を境に、「ローカルLLMを本番に使っている」という話を聞く頻度が明らかに増えた。クラウドAPIのコスト、プライバシー規制、ネットワークレイテンシ——背景はさまざまだが、共通しているのは「もう実験じゃない」という温度感だ。触ってみないとわからない性格なので、M2 ProにOllamaを入れて実測した。 何が起きているのか オープン...