推論を爆速化！LLMのレスポンスを劇的に向上させる「DSpark」とは？

「DSpark」は、推論（Inference）の高速化を実現する革新的なSpeculative decoding（推論投機）手法です。詳細な技術仕様については、以下のPDFドキュメントを参照してください。 [pdf]

いいね。タイミングも偶然じゃなさそう。厳しい規制に対する、オープンであることの証明ってとこかな

たぶんこれは結構前から本番環境で動いてたんだろうね。先月大幅な値下げができた理由の一つなんじゃない？

近い将来、スペキュラティブ・デコーディング用の小型モデルが山ほど出てくる世界になりそう。用途や企業、個人ごとに最適化されたやつがね

Kilo CodeでDeepSeek v4 proを1ヶ月使ってるけど最高だよ。速くて安定してるし、コンテキストウィンドウも広いし、何よりめちゃくちゃ安い。今月15億トークン使ったけど40ドルで済んだよ（ほとんどキャッシュヒットのおかげだけど、それでもね）

DeepSeekは境界を押し広げてるだけじゃなくて、どうやって性能向上を実現したかという素晴らしい論文を公開し続けてるよね。残念ながらアメリカのラボはもうそれをやってない。今、AI分野で一番面白い仕事をしてるのは中国のラボだよ

Hugging Faceにモデルがもう上がってるね。スペキュラティブ・デコーディングのモジュールが組み込まれたオリジナルのモデルみたいでかなりいい感じ：Flash: https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark (https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-DSpark) Pro: https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro-DSpark (https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro-DSpark) これがローカル推論用のDwarfStarに入るか楽しみ。antirezが2bit量子化モデルを公開して以来、Flashモデルを使い倒してるんだ

今のところ、DeepSeekだけが単なるベンチマーク競争じゃなくて、本当にイノベーションを起こそうとしてるAI企業だと感じるよ。OpenAIやAnthropic、Googleなんかは、寝る間も惜しんでイノベーションを起こすっていうより、ただ互いに競い合ってるだけって感じだし

タイトルが微妙だね。論文のタイトルじゃなくてアブストラクトの最初の行になってる。LLM推論のためのスペキュラティブ・デコーディングは2022年に公開済みだよ：https://arxiv.org/abs/2211.17192 (https://arxiv.org/abs/2211.17192) 今回の論文はその改良版みたいだけど、まだ読んでないな

これって2022年のスペキュラティブ・デコーディングより新しかったり、優れてたりするの？ https://arxiv.org/abs/2211.17192 (https://arxiv.org/abs/2211.17192)

最初は名前からしてDGX Spark関連かと思ったよ（笑）。ちなみに、最近の取り組みでDGX Sparkの推論性能はかなり上がってて、MTPで50〜100%の高速化が実現したから、DSparkもその目的でかなり役立つはずだよ