Transformerは本質的に「簡潔」である：ICLR 2026の注目論文を徹底解説

世界トップクラスのAI国際会議「ICLR 2026」にて発表された論文が、数ある投稿の中からわずか3本のみ選ばれる「Outstanding Paper（最優秀論文賞）」を受賞しました。Transformerモデルの本質的な簡潔性に迫る必読の内容です。

この論文はトップレベルのAIカンファレンスであるICLR 2026で発表されていて、優秀論文賞（Outstanding Paper）の3本のうちの1つに選ばれたやつだよ。

ここでも少し議論されてたね：

Transformers Are Inherently Succinct (2025) - https://news.ycombinator.com/item?id=48014197 (https://news.ycombinator.com/item?id=48014197) - 2026年5月 (9件のコメント)

LLM（あるいはTransformerアーキテクチャ）が計算複雑性理論の範疇にあるなんて知らなかったな。でももしTransformerがRNNよりも指数関数的に簡潔（succinct）でありえるなら、それって最適性に近づいてるってことなんじゃない？

逆はどうなの？RNNやLTLで表現できる言語のうち、Transformerだと指数関数的な爆発が必要になるものってあるのかな？

論文の内容は難しくてよく分からなかったけど、これってClaude Opus 4.8が最近やたらと簡潔で、情報密度の高い言葉を詰め込んでくる現象と関係あるのかな？最近、自分のコードについて書かれた内容を解析するのに苦労してるんだよね。gitのコミットメッセージの件名みたいな圧縮された言語を、ずっと絶え間なく使ってくる感じなんだ。

アブストラクトの最後の行に一番大事なことが書いてあるよ。

この簡潔性の結果として、我々はTransformerの基本的な検証問題（空性判定や等価性判定など）が証明可能に難解であること、具体的にはEXPSPACE完全であることを示す。

大規模なTransformerの正しさを形式的に証明しようと考えてたなら、検証を行うために指数関数的に「巨大な」スペースが必要になって、到底手が出せないってことだよ。

前の議論で自分が書いたコメントがこれ：https://news.ycombinator.com/item?id=48014197

著者たちはLTL（線形時相論理）を使って、要するに非簡約・非順序の二分決定グラフを表現していたんだ。あるいは単なるBDDだね。

BDDは簡約（共通式の共有）を行わないから、サイズが指数関数的になるのはほぼ確実。簡約化されたBDDはもっと簡潔だし、順序付き簡約BDDならさらに簡潔になる。

あと、この論文のTransformerは学習されたものじゃなくて構築されたものなんだ。真理値表を表現するようにモデルを学習させるのはかなり難しいよ。それに、万能近似器であるKolmogorov-Arnold表現との比較も行っていないね。

だから、この論文はみんなが思っているほど深くはないと思う。

「少ない言葉で済むなら、なんで多くの言葉を使うの？」 — オプティマスプライム

これは本当に重要な論文だよ。現場の多くの人が抱いていた直感を形式化したものだね。LLMの形式的な分析に時間を費やすのはもうやめていい。もし形式検証が必要な問題があるなら、LLMを使ってはいけないよ。LLMはそういうシステムを作る手助けにはなるかもしれないけど、LLM自体をシステムにしてはいけないということだ。