たった1枚の写真が3D空間に！最強のAI生成ツール「Image-blaster」が凄すぎる

「Image-blaster」は、1枚の画像から3D環境、効果音（SFX）、そしてメッシュデータを丸ごと生成できる革新的なツールです。これ一つで、静止画から一気にリッチな3Dアセットを作り出すことが可能になります。

ブレードランナーのエスパー写真分析が、ただの非現実的な演出から、ほとんど魔法のような速さで現実のものになってしまったな。

これ最高すぎる。17年くらい前にMicrosoftがやってた「PhotoSynth」を思い出したよ。複数の画像から3D環境を作り出すやつで、当時の自分はPCでできる最高にクールな技術だと思ってた。それをたった1枚の画像でやっちゃうとか、桁違いに凄いだろ。週末はこれであそび倒す予定。

ここ1年でAIのモデリングパイプラインを触ってないなら、きっと驚くはず。この分野の主役は https://platform.worldlabs.ai/ だね（自分は関係者じゃないけど、作者はそこにいるよ）。すごく優秀だよ。Meshy.aiもある（ここのリポジトリは使ってなさそうだけど）し、シーン以外のものなら品質はトップクラス。テクスチャリングや自動リギングなんかもできるしね。最新のVLLMモデルは真のピクセル・イメージ・グラウンディングができるから、AIに対して物体のピクセル座標を尋ねて、編集のための3D認識を得たり、やりたいことが何でもできる。正直、もっと活用されてないのが不思議なくらい。業界が3Dアセットを「アーティストから受け取るファイル」だと決めつけていて、スクリプトで数分で想像して生成できるものだとまだ認識できていないからだと思う。技術の進化に業界が追いつけてないんだな。

worldlabsを使ってるみたいだけど、結構テストした結果、実用レベルには程遠かったな。壁の向こう側をハルシネーションで勝手に作り出しまくって、意味不明なことになってた。それっぽくハルシネーションしてくれるならいいけど、変なものになるなら1枚の画像を入力する意味があるのか疑問。結局、GPTのimage 2を使う方が今のところはマシな結果が出るよ。

同じオブジェクトの複数の写真から3Dメッシュを作るのはどうなの？

自分のチームはキャラクターアニメーションの分野に取り組んでいて、これが補完になるかもしれない： https://uthana.com/ 例： https://uthana.com/app/preview/cXi2eAP19XwQ/mH7opbcqZE4P

実際のアーキテクチャが気になる。外から見ると、ある程度の視点に固定されたガウシアン・スプラッティングのように見える。元のフレームから外れたり、オブジェクトの裏側に回り込んだ瞬間にぐちゃぐちゃになるから。でもBen Mildenhallが共同設立者でNeRFの共著者（https://arxiv.org/abs/2003.08934 ）なわけだし、単純なスプラッティングより面白いことをやってるはず。OPがパイプラインについて何か公開してくれたら嬉しいんだけどな。

似たような技術で、アイソメトリックなスプライトを作るものってないかな？昨日、画像生成AIで一貫性のあるアイソメトリックの静止画やアニメーションを作ろうとして30ドル溶かしたんだけど……最高のAIでもこれができない。3Dメッシュ生成に比べて、アイソメトリックのスプライト生成がこれほど難しいとは正直困惑してる。岐路に立たされてるよ。スマホ向けにハードウェア負荷の高い3Dメッシュのアイソメにするか、誰もまともに生成できていないアイソメトリック・スプライトを突き詰めるか……（もし誰かやり方を知ってたら教えてくれ、大歓迎だ）。

これはTRELLISと同じ系統なのかな？ https://github.com/Microsoft/TRELLIS これを使って画像から3Dキャラクターモデルを生成しようとしてるんだ。作ったモデルを3Dプリントして子供と遊ぶのが楽しくてね。ローカルモデルで動くものを探してるんだけど、なかなか見つからない。Meshy.ai（ここで言及されてるやつ）は生成はすごくいいけど、コストがすぐにかさんじゃうんだよね。

すごくいいね。このツールを使うにはClaudeが唯一の選択肢なのかな？ Sol Rothより