Muonから勾配クリッピングまで：QK安定性の最適化を考える

Muonオプティマイザの登場から勾配クリッピングの重要性まで、Transformerの学習におけるQK（Query-Key）正規化と安定性に関する深い洞察についてまとめました。モデルの学習をより効率的かつ安定させるための鍵となる概念を解説します。