【速報】ComfyUIがMiniMax H3に完全対応！オープンウェイト・ネイティブ音声・2K動画生成を最速で試そう

ついにComfyUIがMiniMax H3のDay-0サポートを開始しました！今回のアップデートにより、オープンウェイトのモデルを直接扱えるようになったほか、ネイティブな音声生成や迫力の2K動画生成機能が統合されています。最先端のAI生成パイプラインをComfyUI上で構築したい方は要チェックです。

みんなが投稿したサンプルを見たけど、即座にLTX2とWANのフォルダを削除したよ。あれらはもう完全に価値がないね。

米国、英国、EUなどでのライセンスについては議論があるみたいだけど……とにかく、あのサンプルを見たら何も言えないよ、すごいね！

結果として、フル精度での123.6GBから最小のモデルバリエーションでは42.5GBまで、合計メモリフットプリントを66%削減できた。これを動的なVRAMオフロードと組み合わせることで、次世代の2KビデオモデルがRTX 3060のようなGPUでローカル動作可能になる。

かなりイケてるね。

でも、仮に16GBの3060を持っていたとして、15秒のクリップを生成するのにどれくらいかかるんだろう？

マウスのレンダリングは驚くほど良いね。あのクリップのいくつかは、現在のSOTAモデルと比べてもかなりの飛躍を感じる。

唯一「変」に見えるのは、缶を開けるクリップの飲み物の広告動画で、あれはまだ「AIによるスムージング」特有の効果が残ってる。まあ、この部分は従来通りのレンダリングでかなりうまく処理できるからいいけど。

しばらくの間は、従来の「クローズアップ」レンダリングや撮影と、AI生成のワイドショットやクイックカットを組み合わせるプロセスに移行していくような気がする。

ワクワクするけど、同時に不安でもある。ただ、これがオープンウェイトになったことはコミュニティにとって大きな勝利だね。

4070ti super（VRAM 16GB）で動かしてるけど、10秒の480p動画を生成するのに10分かかるよ。でも結果は spectacular（壮観）だ。

一方では、印象的だと思う。
もう一方では、見た目があまりに無個性でどこにでもあるような感じがして少し痛々しい。

モデルのモジュレーションウェイト（全パラメータの約40%）を剪定（prune）し、機能的に同等のルックアップテーブルに置き換えることで、出力品質を損なうことなくメモリフットプリントを劇的に削減できることを発見した。

これって「出力品質を損なわずに」ウェイトを削減する一般的な手法なの？もし事実ならの話だけど。シンプルすぎて本当かなと思ってしまうよ。もしこれが可能なら、LLMにも応用できるのかな？

ネイティブなフレーム間生成はすごいけど、クリップのつなぎ目でどうやってスムーズに「リンク」させるかが気になるね。通常、モデルはつなぎ目を超えると「勢い」を失ってしまうから。クリップ間でフレーム間生成を行ってマージできれば、解決するかもしれないね。

リファレンスからビデオを生成するモードがあれば、完全に独立した映像制作ができるようになるんじゃないか。今のままだと、シーンの大部分を変えてしまわずに別のシーンを適切につなぎ合わせることはできないからね。

Mac端末（例えばMac Studio Ultra）でこれを動かしてみた人いる？

これは興味深い問題だね。私たちが使ってうまくいった似たようなアプローチは、エージェントが各タスクで実際に必要とするツールだけを読み込むというものだった。

高校時代に思いついたパロディのアイデアをいくつか掘り起こして、RTXでMiniMax M3に投げ込んでみたよ。かなり普通のシナリオから外れると、やっぱりまだ荒っぽい部分が目立つね。変なコンセプトに踏み込んだ瞬間、特に人が回転板に縛り付けられて回されるようなゲームショーのシーンとかでは、少し崩れやすいみたいだ。

とはいえ、Text-to-Videoの全体的な出来栄えと実行速度には正直驚かされたよ。10秒で0.5メガピクセルの動画生成が数分で終わるなんて、WANの初期の頃を考えると少しクレイジーだね。

動画デモ:
https://imgpb.com/rllwg