推論爆速化の定番！vLLM v0.28.0がリリース

LLM推論エンジンのデファクトスタンダードであるvLLMが、バージョン0.28.0へアップデートされました。

vLLMは大好きなんだけど、正直バグが多すぎてイライラする。最近B300でDeepSeek-V4-Flashを動かしてたんだけど、v0.26では完全に壊れてて、無理やり3つほどパッチを当てて修正する羽目になった。v0.27に上げたらパッチは不要になったけど、今度は出力が壊れてて、ランダムにゴミデータ（トークンの繰り返しループ）を吐き出すようになった。RTX 6000でGemma-4を動かしてるワークステーションでも、プロセス全体がフリーズして応答しなくなることがよくあって、一度終了させて再起動しないと治らない。友達のRTX 6000×4の環境でDeepSeek-V4-Flashを高負荷で回しても、同じようにゴミデータを吐き出すバグにぶち当たった。しかも今回は単なる繰り返しじゃなくてこんな感じ。（モデルの出力からコピーしたものだけど、思考トレースを終わらせようと必死に苦しんでるように見える）

[コード省略]

自分や友達の運が悪いだけなのか分からないけど、リリースされるたびに何かが致命的に壊れてる気がする。マイナーなモデルやハードを使ってるわけでもないのにさ。結局、中身の「バイブコーディング（ノリと勢いでの開発）」のツケが回ってきてるんじゃないの？

reasoning_content周りのグダグダがしっかり修正されることを期待してたんだけど、結局このドキュメントの変更だけで終わりかよ：https://github.com/vllm-project/vllm/pull/50624

vllmで負荷試験をしてみたんだけど、普通にクラッシュさせちゃったよ :-)

LLMのサンプラー対応に関しては、llama-cppと比べるとまだまだ遅れてるよね。top-n-sigmaは？DRYは？XTCは？みんな、頑張ってくれよ！

Pascalアーキテクチャのサポートをぜひお願いしたいんだけど :( Nvidiaが見捨てたからって、vllmまで追従する必要はないでしょ（llama.cppは対応してるし）