爆速（？）の1MHz！Commodore 64で動くガチのTransformerモデル「Soul Player C64」が凄すぎる

伝説の8ビットPC「Commodore 64（クロック周波数1MHz）」上で、なんとTransformerモデルを動かすことに成功したプロジェクトです。限られたリソースでAIを実装するという狂気と技術力の結晶をぜひチェックしてください。

エリザから電話があって、孫の顔を見たかって聞かれたんだけど...

25KパラメータってGPT-4の約7000万分の1だよ。まともな文章にはならないでしょ。でも、このスケールでもアーキテクチャが機能するってことを示すのが狙いなんだ。

提示された例を見る限り、崩壊した意味不明な文章しか生成できてないみたいだし、このスケールで本当に「機能している」のかは疑問だね。

どのみち、書いてある文章自体があんまり意味を成していない（崩壊した文章を出力すること自体が目的？）し、AIが書いたのはほぼ確実だろうから、結局どのスケールでもアーキテクチャはあんまり上手くいかないって証明したようなもんじゃない？（冗談、冗談だよ）

よし、次は1541フラッシュアテンションが必要だな。

この一文が何を意味しているのか、その知識のベン図を想像すると……まあ、思っているよりは交差する部分に人が集まってそうだけどね。

VICEで動かすなら、SuperCPUを有効にしてワープモードで走らせるのがおすすめ。

でも、MacのキーボードをC64cみたいな打鍵感にできるの？

80年代後半から90年代前半だったら、これを見たら腰を抜かしてたと思うな。

（いや、ランダム生成よりマシじゃないならそうでもないか。まだ実際には試してないんだ。もっとサンプルがあればよかったんだけど！)

当時のスペックを維持しつつ、どこまで拡張できるか気になるところだね。例えばREU（RAM拡張ユニット）を追加したり、あるいはGeoRAM（実質的にはドーピングしたREUみたいなもの）を使ったりしてさ。

SuperCPUも選択肢だけど、個人的には「C64らしさ」の境界線を越えちゃう気がするし、単純に高速化するだけになりそう。

ELIZAと比べるとどうなの？

プロジェクトページでモデルとチャットできるよ: https://indiepixel.de/meful/index.html (https://indiepixel.de/meful/index.html)

（v3は）ほとんど挨拶しかしれくれないけど、25kパラメータなら文句は言えないでしょ。（このやたらとテンションの高い説明文は、たぶんClaudeあたりが書いたやつじゃないかな）

VIC-20で遊んだランダム文章生成プログラムを思い出したよ。単語のほとんどを、当時のクソガキが思いつく限りの悪口に入れ替えてさ。近所の友達と腹を抱えて笑ったもんだ。