1930年代の技術でLLMを再現？レトロな「Talkie: 13B」が面白い

「Talkie」は、1930年代の技術をコンセプトにした少し変わった13B規模の言語モデルです。レトロな雰囲気と最新のAI技術が融合した、エンジニアの好奇心をそそるプロジェクトです。

くそっ、VRAMが20GBしかないよ。こういうのをやるにはもっと強いマシンが必要だな。

これは面白いね。Ollamaで簡単にインストールできるのかな？

もっと巨大なモデル（35Bや122Bクラス）を使って、徹底的なシステムプロンプトを与えれば、「昔風」なLLMとしてヴィクトリア朝やエドワード朝時代の教養ある紳士のような話し方をさせることもできると思うよ。

ヴィンテージなんて呼ぶのは面白いね。真空管ハードウェアで動いてるわけじゃないだろ？

過去の人と話すことを夢見たことはあるかい？

面白い話だけど、LLMはかつてスティーブ・ジョブズがインタビューの一つで構想していたものだよ[1]。

基本的に彼の人生における主要な願いの一つは、アリストテレスと出会って対話することだった。当時、彼は将来のコンピュータならそれが可能になると言っていたんだ。

[1] 1985年にスティーブ・ジョブズは、アリストテレスから回答を得る手助けをしてくれるマシンについて語っている。まさに現代のLLMだね[動画]:
https://youtu.be/yolkEfuUaGs

Pythonの例は興味深いね。LLMを単なる「確率的なオウム」として切り捨てる人たちへの良い反論になる。

かっこいいな。こういうモデルが一般相対性理論のようなものを思いつくのか、あるいは何か別の成果を出せるのか、理解しようとする試みは本当に興味深い。

関連情報:
https://github.com/haykgrigo3/TimeCapsuleLLM

特定の場所や時代のデータのみを一から学習させ、現代のバイアスを減らし、当時の口調や語彙、世界観を再現する言語モデル。

ここでも議論されているよ:
https://news.ycombinator.com/item?id=46590280