3D表現の革命！「Gaussian Splatting」で描く次世代グラフィックス入門

最近、コンピュータグラフィックス界隈で急速に注目を集めている「Gaussian Splatting（ガウシアン・スプラッティング）」について深掘りします。これは従来の点群データやメッシュベースの表現とは異なり、3D空間をガウス分布の集まりとして最適化することで、極めて高速かつ高精細なレンダリングを可能にする技術です。単なる静止画の生成に留まらず、実写に近いクオリティでリアルタイムに3Dシーンを構築できるため、VR/ARやデジタルツインの分野でゲームチェンジャーになると期待されています。

興味深くて素敵な記事だね。ただ、これは画家が隠し持っている知識のすべてをエンコードしようとしているように見える。絵画からリアルな画像を生成して、そのペアを使って画像生成モデルをファインチューニングした方が簡単じゃないかな？

作例については、ほとんどがボケているような画像ではなく、他のものを選ぶことをお勧めするよ。

すごくクールだね

めちゃくちゃ印象的な結果だし、素晴らしい解説記事だった。ありがとう！

2023年頃に、オリジナルの3DGSの論文に触発されて、これと似た勾配降下法ベースのコンセプトを検証してみたことがあるよ[0]。背後から前面へのアルファブレンディングと、ブラシストロークの曲率を変えるための極座標ガウス関数を使っていて、結果にはかなり満足してた。近いうちに、リポジトリに今あるモナリザ以外の例のGIFを追加しなきゃと思ってるんだけど、今のところそれしかないのが残念だよ。[0] https://github.com/mkaic/painterbot (https://github.com/mkaic/painterbot)

一部の画像の前面、特にオオカミや猫の部分はいい感じの効果が出てるね。ただ、背景の被写界深度が強調されすぎていて、その部分はブラシストロークというより、ぼかした後にポスタリゼーションをかけたように見える。作者がボケ味を好んでいることによる副作用かもしれないね。東京の写真は全体的にいい感じだよ。