次世代AIの夜明け！連続拡散言語モデル（CDLM）とは何か？

「Continuous Diffusion Language Models (CDLM)」について解説します。これは従来の離散的な言語生成プロセスを、連続的な拡散過程へと進化させた興味深いアプローチです。既存のTransformerモデルに代わる、あるいは補完する可能性を秘めた技術として、生成AI界隈で注目を集めています。

「Attention is all you need」というタイトルは、「Attentionは十分だが必須ではない」に変えるべきだな。

LLMを下支えにするような感じで、自動ハーネスエンジニアリング向けのCDLMみたいなものが登場したりしないかな。

[2020年/2021年当時] 自己回帰モデルの優位性は現在ほど確立されていなかった。GPT-3は注目を集めていたが、「ChatGPTモーメント」は2022年後半まで訪れなかった

これには同意できない。2020年のチャット分野では、デコーダーモデルが完全に主流だったよ。GPT2は公開するには危険すぎると考えられていたし、GPT3のウェイティングリストに必死で申し込んだのを覚えてる。実際うまくいったしね。

（唯一の例外はエンコーダー・デコーダーモデルだけど、今ではその多くがデコーダーオンリーのモデルに取って代わられている）

でも、メインストリームになった決め手はRL（強化学習）だよ。最初はRLHFで、その後にDPOのような設定がずっと楽な改善手法が出てきた。その上にDiffusion（拡散モデル）を追加するのは、あまりに面倒くさすぎる。

ChatGPT以前は、事前学習と事後学習という概念自体がほとんどなかった。すべてが事前学習だったんだ。事後学習こそが、ボットを単なる「入力の続きを生成するだけのもの」から「会話ができるもの」へと変えたんだよ。

つまり、Diffusionが普及しなかったのは、単にトークン生成のやり方が複雑すぎたからであって、本当の課題は適切な分布でトークンを取得することにあったんだ。

AIが生成したものじゃない文章を読むと、なんだか新鮮な気分になるな。

言語モデルにおける拡散モデルは必然だと思っていた。今の限界を超えて成熟したとき、どれほどの創造的ポテンシャルが開花するか楽しみだ。

自己回帰型LLMには、まだまだ簡単に改善できるポイント（ローハンギングフルーツ）が残されているような気がするんだけどな。エンコーダーとか。