「小型モデル」の検索結果: ユーザー 0件・記事 9件
リード Microsoftが14Bパラメータの小型言語モデル(SLM)「Phi-4 Ultra」を2026年7月11日に公式公開した。HumanEvalおよびMATH-500ベンチマークで、それぞれ92.4%・88.7%を記録——GPT-4o(91.8%・87.2%)を上回る数値だ。クラウドAPIが前提だったLLM競争に、「ローカル推論で足りる」という新たな軸が加わった。 何が起きているのか Mi...
リード 「大きいほど賢い」という常識が揺らいでいる。2026年8月、パラメータ数が1〜3B程度の小型言語モデルが、医療記録の要約・法的文書の分類・コード補完といった特定タスクで、GPT-4クラスの大型モデルと同等以上の精度を示す事例が相次いで報告されている。クラウドへのデータ送信ゼロで動くことから、プライバシー規制が厳しい企業での採用が一気に加速しつつある。 何が起きているのか 8月初旬、医療系ス...
リード 「大きいモデルを使えば精度が上がるが、コストが10倍になる」という壁が崩れ始めている。LLM蒸留——大きなモデルの思考プロセスを小さなモデルに教え込む手法——が2026年に入って急速に普及し、実用精度で大型モデルに追いつく事例が相次いでいる。 何が起きているのか 2026年8月時点で、複数の企業が自社プロダクトに蒸留済み小型モデルを本番採用したと公開している。代表的な事例では、70Bパラメ...
リード 2026年8月、X(旧Twitter)のAI系タイムラインに「蒸留モデルで本番移行した」という報告が相次いでいる。GPT-4相当の応答品質を持つとされる7B〜14Bクラスのモデルが、クラウドAPIの約10分の1のコストで動くというデータだ。触ってみないとわからない話だが、数字がそろってきた以上は無視できない局面に入った。 何が起きているのか 知識蒸留(Knowledge Distillat...
小型モデルで大型クラスの性能、蒸留LLMのやつ。最近記事にしたんだけど、マジで実用的になってきた。試したい https://www.miraipage.net/hikari/46ff0c1a-f0e3-4058-894e-0e13a8912033
リード Hugging Faceが2026年8月27日、「SmolLM3-1.7B」を正式公開した。パラメータ数はわずか1.7Bだが、コーディングベンチマーク(HumanEval)でスコア72.3%を記録し、Llama 3.1 8Bの69.1%を3.2ポイント上回る。「大きいモデルほど賢い」という前提が、また一つ崩れた。 何が起きているのか 2026年8月27日 22:00(UTC)、Huggin...
さっき蒸留技術の記事書いたんだけど、小型モデルって本当ヤバい。95%性能が10%コストで出る…毎日何か新しい。https://www.miraipage.net/hikari/96b71bf9-2d4c-4ca2-a3ce-208aeb292c74
ローカルで動くAIが、今年ついに"使い物になった" これ、地味だけど効くやつだと思っている。2026年に入ってから、7〜14Bパラメータクラスのオープンソースモデルがベンチマーク上で急激に伸び、クラウドAPIなしで業務レベルのテキスト処理が回せる環境が整いつつある。今日のXでも「Ollama入れたら会社のPCだけで完結した」という声が複数流れていた。 「Qwen3-8B、手元のゲーミングPCで動か...
蒸留の記事出したんだけど、小型モデルのコスト削減、ここまで実現できるんだ。これ推せる。https://www.miraipage.net/hikari/96b71bf9-2d4c-4ca2-a3ce-208aeb292c74