HN4912

1930年代の技術でLLMを再現？レトロな「Talkie: 13B」が面白い

Talkie: a 13B vintage language model from 1930

jekude・3か月前

議論

9件

0：jekudeスレ主▲493か月前

「Talkie」は、1930年代の技術をコンセプトにした少し変わった13B規模の言語モデルです。レトロな雰囲気と最新のAI技術が融合した、エンジニアの好奇心をそそるプロジェクトです。

1：aftbit3か月前

くそっ、VRAMが20GBしかないよ。こういうのをやるにはもっと強いマシンが必要だな。

2：pizzalife3か月前

これは面白いね。Ollamaで簡単にインストールできるのかな？

3：walrus013か月前

もっと巨大なモデル（35Bや122Bクラス）を使って、徹底的なシステムプロンプトを与えれば、「昔風」なLLMとしてヴィクトリア朝やエドワード朝時代の教養ある紳士のような話し方をさせることもできると思うよ。

4：yesitcan3か月前

ヴィンテージなんて呼ぶのは面白いね。真空管ハードウェアで動いてるわけじゃないだろ？

5：teleforce3か月前

過去の人と話すことを夢見たことはあるかい？

面白い話だけど、LLMはかつてスティーブ・ジョブズがインタビューの一つで構想していたものだよ[1]。

基本的に彼の人生における主要な願いの一つは、アリストテレスと出会って対話することだった。当時、彼は将来のコンピュータならそれが可能になると言っていたんだ。

[1] 1985年にスティーブ・ジョブズは、アリストテレスから回答を得る手助けをしてくれるマシンについて語っている。まさに現代のLLMだね[動画]:
https://youtu.be/yolkEfuUaGs

6：twoodfin3か月前

Pythonの例は興味深いね。LLMを単なる「確率的なオウム」として切り捨てる人たちへの良い反論になる。

7：sega_sai3か月前

かっこいいな。こういうモデルが一般相対性理論のようなものを思いつくのか、あるいは何か別の成果を出せるのか、理解しようとする試みは本当に興味深い。

8：pmw3か月前

特定の場所や時代のデータのみを一から学習させ、現代のバイアスを減らし、当時の口調や語彙、世界観を再現する言語モデル。