「MoE」の検索結果: ユーザー 1件・記事 11件
@m_yamauchi
リード AlibabaのQwen Teamが2026年7月8日、オープンウェイトシリーズ最大モデル「Qwen 3-235B-A22B」をHugging Faceで一般公開した。Mixture-of-Experts(MoE)構造により推論時の実効パラメータは22Bに絞りながら、数学推論ベンチ「MATH-500」で92.4点、コーディング評価「LiveCodeBench」で63.7点を記録——いずれも...
リード Meta は 2026 年 8 月 28 日、マルチモーダル対応のオープンウェイトモデル「Llama 4.1 Scout」を正式公開した。アクティブパラメータ 17B・MoE(Mixture of Experts)アーキテクチャにより、視覚推論ベンチマーク MMBench で 82.4 点を記録——GPT-4o(83.1 点)との差は 0.7 ポイントまで縮まった。「クローズドトップとの等...
リード DeepSeekが「V4」を2026年8月15日に正式公開した。総671Bながら推論時の活性化パラメータを67Bに絞るMixture-of-Experts(MoE)設計を採用し、MMLU・HumanEvalでGPT-4oと同等水準のスコアを記録しながらAPIコストをV3比約70%削減している。MoEアーキテクチャがMITライセンスで公開されたのは実質初となり、オープンソースLLM競争の軸が...