行列分解の真髄！特異値分解（SVD）の初期の歴史を紐解く（1993年）

機械学習やデータサイエンスの現場で欠かせない数学的ツール「特異値分解（SVD）」。その理論はどのように確立されたのか？1993年に発表されたこの歴史的資料は、SVDの黎明期における発展と研究の歩みを詳細に解説したPDF形式の貴重なドキュメントです。

コンピュータビジョンの仕事をしてると、SVDってどこにでも出てくるよね。以前はC++/EigenのSVD実装をしょっちゅう使ってたけど、正直なところ過去形かも。今はClaudeやCodexがコードを全部書いてくれるから、それらがSVDのコードを吐き出してるのをよく見るよ。それもかなり特殊なケースでね。SVDって本当に素晴らしいツールだよ。

興味がある人のために補足すると、固有値は正方行列にしか存在しないんだ。特異値っていうのは、いわば一般化された固有値みたいなものだね。特異値は行列にとっての基本周波数のようなものと言えるかな。RGBでどんな色でも表現できるのと同じで、数学をやる人間にとって特異値は、ある意味RGBカラーコードみたいな感覚だよ。MuonやAdamのような最適化アルゴリズムは、モデルの学習時にウェイトの第1、あるいは第2特異値をいじったりしてるんだ。

SVDに関する面白い話をひとつ。行列Dを低ランク近似してD'にする場合、元の行列と再構成された行列の平均二乗誤差（つまり、その差のフロベニウスノルム ||D - D'||_F）を最小化する近似は、エッカート・ヤング・ミルスキーの定理[0]によると、切り詰められたSVDになるんだ。実践的かどうかはさておき、これは興味深いことだよ。非線形性を持たせないニューラルネットワークをU -> S -> V^Tのように構成して（Sは切り詰められたスケーリングベクトル、UとV^Tは学習済みウェイト）、損失関数を再構成誤差のMSEにして勾配降下法で最小化すると、結果としてSVDで得られるものと同じU、S、Vが導かれるんだ。実際、これってVAE（変分オートエンコーダー）[1]とほとんど同じことなんだよね。このつながりに気づいている人は少なすぎるし、もっとMLの授業で教えるべきだと思う。VAEはU -> 非線形性 -> S -> 非線形性 -> V^Tという形で、KLダイバージェンスの正則化項を加えてるだけだからね（厳密にはVAEはベクトルを再構成するオペレーターとして学習するし、Sは埋め込みであって学習ウェイトじゃないから少し大雑把な説明だけど、それでも関連性は強い）。この仕組みを理解するといろいろ遊べるよ。SVDが便利そうだなと思う場所ならどこでも、代わりに任意のニューラルネットワークを構成できるし、SVDがフィットしない場合（例えばバイナリデータなど）でも、VAEなら自由に変更を加えられる。MSE以外の再構成誤差を使いたければそうすればいいし、結局のところ、それもSVDみたいなものなんだよ。[0] https://en.wikipedia.org/wiki/Low-rank_approximation#Basic_low-rank_approximation_problem [1] https://en.wikipedia.org/wiki/Variational_autoencoder

Bâtarde（littera bastardaとも）は、フォーマルなゴシック体のブラックレターと草書体を混ぜ合わせたハイブリッドな書体だよ。

こういう数学の論文を読めるようになって、内容を理解できるようになるための取っ掛かりを誰か教えてくれない？

Sheldon Axlerの『Linear Algebra Done Right』の第7章は、まるで詩を読んでいるみたいだよ。 https://linear.axler.net/

ちなみに、献辞の「15歳の誕生日を迎えるGene Golubへ」って何だろうと思ったなら補足しておくよ。Gene Golubは数値解析学者で、実用的な特異値分解の父と呼ばれた人だ（彼の車のナンバープレートは「Prof SVD」だった）。William Kahan（IEEE 754浮動小数点数の父）と一緒に貢献したんだ。彼の誕生日は2月29日だったから、この記事はGeneの60歳の誕生日に合わせたものなんだね。 https://en.wikipedia.org/wiki/Gene_H._Golub 安らかに。