HN🔥 87
💬 17
拡散モデルの「積分」を理解する:仕組みを深掘り!
benanne
27日前
拡散モデルにおける「積分」の概念について。生成AIの背後にある数学的な挙動を詳しく解説します。
自分の専門外すぎてさっぱりなんだけど、誰か短く要約(TL;DR)かAIでの要約版をくれない?
いい投稿だけど、連続正規化フロー(continuous normalizing flows)との関連に触れられていないのが惜しいね。拡散モデルやフローマッチング、コンシステンシーモデルは連続正規化フローの偏った近似版でしかないし(まあ正規化フロー自体も多少の偏りはあるけど、マシな方)。敵対的損失(GANやRLなど)を使えばその偏りを多少改善できることもあるけど、学習させるのが大変なんだよね。
拡散モデルを実践的に構築するための良いリソースを知ってる人いる?ラシュカ(Rashka)の「Building an LLM from Scratch」がLLMの概念を理解するのにすごく役立ったから、それの拡散モデル版みたいなやつを探してるんだ。