4ビットの衝撃：NVFP4による強化学習での安定性とパフォーマンスの最適化

NVFP4（4ビット浮動小数点フォーマット）を用いた強化学習において、いかにして学習の安定性を確保しつつパフォーマンスを最大化させるか。そのための重要な教訓を解説します。

[フラグ済み]

いいまとめだね。後で参考にさせてもらうよ。RL（強化学習）に詳しくない人向けに補足すると、RLは報酬が検証可能な長期タスクには強力だけど、モデルを使って「ロールアウト」を大量に計算する必要があるからメモリを食うんだよね。例えばDeepseek R1で使われたGRPOのGは「グループ」のことで、この更新手法はグループサイズが大きいほど安定する。でもグループの各メンバーが1つのロールアウトになるから、品質と引き換えに速度を犠牲にしている状態。一つのアイデアとしてロールアウトを低精度で実行するというのがあるけど、それだと予測の精度が落ちてモデルの更新が発散してしまう問題がある。その解決策として、フォワードパスを低精度で、バックワードパスを高精度で行い、情報を失いすぎないようにガードレールを追加するっていうアプローチがあるね。