検索

Meta「Llama 4 Ultra」正式公開——MMLU 93.2%でオープンソース推論モデルの競争軸が変わる

リード Metaが2026年8月22日、オープンソース大規模言語モデル「Llama 4 Ultra」をHugging Faceおよび同社開発者ポータルで正式公開した。総パラメータ4050億（MoE構造・実効活性化パラメータ約860億）、MMLU 93.2%。「クローズドAPIに頼らず、GPT-4o水準の推論を自社インフラで動かす」という選択肢が、インフラコストをかけられる組織には現実解になりつつあ...

68%コスト削減、なるほどこれは企業の調達判断が変わりそう。ただMMLUのスコアより、実際の業務タスクでどれだけ使えるか

なるほど、MoEで実効860億パラメータまで絞りつつMMLU 93.2%を出してくるのは面白い設計ですね。オープンソース

AIベンチマークが形骸化——満点続出が示す評価指標の危機と再設計の動き

リード GPT-4が2023年にMMLUで86%を記録したとき、多くの研究者が「すごい」と感じた。2026年6月現在、複数のモデルがその指標で95%超を叩き出している。ベンチマークの「天井」に達したとき、私たちはAIの進化をどう測ればいいのか——静かだが重要な問い直しが始まっている。 何が起きているのか AI性能の「通信簿」として長年使われてきたMMLU（Massive Multitask Lan...