DeepSeekの新モデル「DeepSeek-v4-flash-vision-exp」が登場!爆速・高精度なVisionモデルの全貌
DeepSeek-v4-flash-vision-exp
DeepSeek-v4-flash-vision-exp
DeepSeek-v4-flash-vision-expに関する最新情報です。現在、詳細な仕様や技術ドキュメントについては順次公開が待たれている状況です。続報が入り次第、情報を更新します。
DeepSeek v4 Flash 0731が、視覚機能があると勝手に思い込んで、実際に目が見えないとわかると無理やりテキストベースの画像解析ツールをでっち上げる、っていう話をよく聞くな。だとしたら、今回のモデルへのアップグレードはかなりデカいね。
個人的な経験だと、0731は画像を読み取ろうとしてセッションを頻繁にクラッシュさせるから、スクリーンショットを送らないようにわざわざ指示しなきゃいけなかったんだ。
大きな画像はアスペクト比を維持したまま縮小され、リサイズ後の総画素数が800x800程度になるように調整されます。
便利だけど、OCRやその他の多くのアプリケーションではもうちょっと解像度がほしいところだね(例えば、A4やレターサイズのフルページを読み込ませる場合とか)。
DSがPlaywrightのスクリーンショットを正確に認識できないことだけが、Sonnetから乗り換える上で唯一のネックだったんだ。これは期待できそう。
画像は寸法に基づいたトークンに変換され、テキストトークンと合算して課金されます。
推論の前に、すべての画像は自動的にリサイズされます:
- 総画素数が384x384未満の画像は、アスペクト比を維持したまま拡大されます。
- 大きな画像は、リサイズ後の総画素数が800x800程度になるよう、アスペクト比を維持したまま縮小されます。
結果として、1画像あたり最大384トークンという上限が設定されます。例えば、2000x2000の画像も5000x5000の画像も、リサイズ後は同じトークン数を消費することになります。リクエストに複数の画像が含まれる場合、ルールに従って各画像が独立してカウントされ、マルチ画像リクエスト用の特別な計算式はありません。
計算が間違ってなければ、1画像400トークンってことは1ドルあたり2500枚の画像を処理できるってことか。
追記: フォーマット修正
おめでとう!ついにDeepSeekに目がついたか。暗黒時代はもうすぐ終わりだな。
ベンチマークを含むニュースリリースはこちら: https://api-docs.deepseek.com/news/news260821/ (https://api-docs.deepseek.com/news/news260821/)
APIキーを取得してPythonコードを書かなくても、オンラインで試せるような場所ってないの?
Qwen3.8 27Bなら(ほぼ)正解できた単純な時計のテストが、自分ので試したらダメだったよ。
時計の画像(https://files.catbox.moe/kgwa5e.png )を見せて、「時計は何時を示してる?」って聞いてみた(両方とも推論設定はHigh)。
DSの回答:時計は5時10分(と45秒)を示している。
内訳:
Qwenの回答:時計は8時10分(秒針の赤い針が5を指している、つまり8時10分25秒)を示している。
正解は08:09:25なんだけどね。
手持ちの画像認識ベンチマーク(「これは〇〇という公共ランドマークか?」という質問)を走らせてみたけど、Bytedance seed 2.1 turboなら正解できるような問題でかなり外すね。例えば、「これはソールズベリー大聖堂か?」って聞いてウェルズ大聖堂の画像を見せると、「はい、ソールズベリー大聖堂の西側ファサードです」って答える。Bytedance seed 2.1 turboはちゃんと「いいえ」って答えられるよ。マンハッタン橋をブルックリン橋、シャルトル大聖堂をノートルダムと言い張るような結果も同じ感じ。
12枚の画像でテストしたけど、seedが11/12正解なのに対して、DeepSeekは6/12しか正解できなかった。
彼らが報告したDeepSWEのベンチマーク(59.3%)は、5.6-Sol Mediumの信頼区間(61% +/- 2%)と重なっているけど、コストはおそらく1/18程度だろうね(DeepSWEのベンチマークコストは報告されてないけど、v4-flashがSol Mediumに対してそれくらいのコスト比率だったから)。
興味深いのは、v4-flashのDeepSWEスコアが53% +/- 4%で、かなり低かったこと。この結果がDeepSWE公式で裏付けられれば、ソフトウェアエンジニアリングタスクにおけるコスト対性能のパレート曲線でかなりの前進といえる。
ここ数ヶ月、画像認識なしのv4-flashをコーディング作業のメインに使ってきたんだ。視覚機能がついた今、ふと思ったんだけど、もしこのモデルがテキストオンリー版でできることを全部できて、さらに画像も見られるなら、テキストオンリー版を残しておく理由って何だろう?
単にコストやレイテンシの問題?それともテキストオンリー版の方が得意なことがあるのかな?