【浪漫】1989年製のMacでトランスフォーマーモデルを動かす！HyperCardで実装した「MacMind」が凄すぎる
Show HN: MacMind – A transformer neural network in HyperCard on a 1989 Macintosh
HyperCard上でトランスフォーマーを動かしました。パラメータ数は1,216。マシンは1989年製のMacです。もちろん、学習にはそれなりの時間がかかりました。「MacMind」は、埋め込み表現、位置エンコーディング、セルフアテンション、バックプロパゲーション、勾配降下法を網羅した完全なトランスフォーマーニューラルネットワークです。すべては1987年にAppleがHyperCardに同梱したスクリプト言語「HyperTalk」で実装されています。コードはHyperCardのスクリプトエディタですべて閲覧可能で、ボタンをオプションクリックすれば、数学的なアルゴリズムを直接確認できます。今回取り組んだタスクは、高速フーリエ変換（FFT）の初期段階である「ビット反転置換」の学習です。モデルにはあらかじめ与えられた公式はなく、アテンションと試行錯誤を通じて自律的にパターンの位置を導き出します。学習193ステップ目には、精度が50%、75%、100%の間で振動し始め、まるでボールがボウルの中に転がり落ちるように収束しました。この「知能」を司る1,216個の数値は、HyperCardスタック内の隠しフィールドに保存されます。ファイルを保存して終了し、再び開いてもモデルは学習済みの状態で正しく動作します。System 7からMac OS 9まで、あらゆる環境で動くのが特徴です。物理学専攻だった私にとって、信号処理や量子力学、波形分析の心臓部であるFFTは旧友のような存在です。このプロジェクトを立ち上げたのは、AIが私たちの生活に浸透する今こそ、その実態を正しく理解すべきだと考えたからです。バックプロパゲーションもアテンションも、魔法ではなくただの数学。そして数学は、それがTPUクラスターで動こうが、1989年製の68030（CPU）で動こうが一切関係ないのです。リポジトリには、学習済みスタック（1,000ステップ）、自由にトレーニングできる白紙スタック、そして数学的妥当性を検証するためのPython/NumPy実装版が含まれています。
