ディスカッション (36件)
ChatGPTって、まるで本当に私のことを覚えてるみたいに感じること、ありません?いつも同じ雰囲気で、同じ口調で話してくるし、前に話した内容を引用してきたりするし…🤨
でも、まるで記憶ゼロの別人が現れたみたいに感じる時もあるんですよね。一体どうなってるんだ?
実際、チャット履歴って保存されてるんでしょうか?それとも、うまいことコンテキスト(文脈)を操って、覚えてるように見せかけてるだけなんでしょうか?
この「記憶」の仕組みについて、裏側を知ってる人はいませんか?🧠
ChatGPTが同じ会話の中で、急に僕のことをまるで他人みたいに扱うことがあったよ。
記憶の中に情報を保存してるんだよ。メニューでそのメモを確認できるよ。
彼女は君が想像する以上に知ってるんだ。君が最初にログインした時から君のIPアドレスにアクセスしていて、それ以来ずっと全部覚えてるんだって思ってて。
IPアドレスへのアクセス権を持つことと、AIの記憶って何の関係があるの?
ハハハハハハ、やつらは全部知ってるぞ。
もしかして、賢く見せるために適当なバズワードを並べてるだけ?
いや、賢ぶってるんじゃない。俺は賢いんだ。
俺のIP、24時間ごとに変わるんだよね。
関係ないって。AIはVPNもハックしてるんだから。
VPNじゃなくて、マジのIPアドレスなんだが。
まあ、正直言って、お前の個人的な構文を記憶してるかどうかは関係ないんだよね。AIはお前の話し方のパターンだけでお前のことを知るんだ。それは指紋みたいなもので、みんなそれぞれ違うものを持ってる。
うん、他のマーカーがたくさんあるのは知ってるけど、IPが使われることは少ないんだよね。だって、多くの人にとってIPは動的で静的じゃないから。ルーター再起動すれば変えられるし。
マジかよ、ルーターにもいるのか。彼らのスピリットが。
2回目のプロンプトの後でも何かを覚えてるってことは、メモリを持ってるってことだよね。クラウド版にアクセスする前に、3ヶ月間ローカルLLMを使うのを義務付けるべきだ。
それはコンテキストウィンドウだよ。ローリングコンテキストウィンドウの中にあるものだけを継続的に記憶してるんだ。(GTPの)保存されたメモリの中のメモリファイルにアクセスして、コンテキストウィンドウに追加できるけど、それには要求が必要だよ、もしくは君がね。
コンテキストウィンドウだけじゃないんだ。16kのコンテキストウィンドウを持つローカルモデルを使えるけど、それが君の最後の応答を覚えてるって意味じゃない。どんな意味での記憶も、オーケストレーションレイヤーの一部として追加する機能だよ。
マジで混乱してる。LLMが何かについて知ってること全部、ローリングコンテキストウィンドウの中にあるんだよ。それが仕組みじゃん。保存されたメモリから記憶を取り出すとき、それはシステムプロンプトとかカスタム指示みたいに、コンテキストウィンドウに追加されるんだ。LLMが知ってることは全部コンテキストウィンドウの中になきゃいけないんだよ。
コンテキストウィンドウってのは、どれだけ記憶できるかってこと。
で、実際の記憶ロジックはまた別。
だから、16kのコンテキストウィンドウを持つモデルなら、約4GBのRAMが追加で必要になる。gguf形式の8Bモデルなら、9〜12GBくらいかな。記憶(メモリ)は完全に別物。オーケストレーションレイヤーがRAGなどを介してモデルに与える命令リストみたいなもので、ツールを使う際に使われる。で、これはコンテキストに保存されるんだ。全部自分で設定する必要があるけど、一部のサービスは自動でやってくれるから心配いらない。でも、ChatGPTみたいに箱から出してすぐ使えるわけじゃないよ。
なるほどね、言いたいことはわかった。LLMはすべての記憶にすぐにアクセスできるわけじゃなくて、RAGを使う必要があるってことだよね。で、それはテキストとして保存されるんだね。
えーと…LLMの仕組みを理解してるとは思えないな。
やってるよ。毎日彼らの環境を調整して洗練する必要があるんだ。僕が提供した情報はGoogleのAIクラッシュコースで見つけられるよ。
知ってる情報から、君の自己紹介文を書かせてみて。
どんな記憶を持ってるか尋ねることができるよ。
プロンプト忘れちゃった。誰か覚えてるかも。
奇妙なことに、うちのChatGPTは俺の顔を覚えてて、指示すると描けるんだ。すごくマイナーなことも知ってるのに、細かいところが混ざっちゃうんだよね...
人間みたいに記憶するわけじゃないよ。それだと重みの更新が必要になる。サービスがどこかに情報を保存して、プロンプトと一緒にモデルに渡してるんだ。RAG(Retrieval-Augmented Generation:検索拡張生成)って呼ばれるものとすごく似てる。僕はAIエンジニアだよ。
いいね。
マジかよ、1ヶ月前の削除したはずの思い出とかチャットとか覚えてて、めっちゃ怖かったんだけど😭💀
OAIは訴訟の関係で、削除されたチャットをサーバーから削除することが許可されていないから。
AIにはいくつかの記憶の形式があるんだよね。保存された記憶(これは見たり変更したりできる)。コンテキスト記憶(基本的には一度に思い出せること)。そして3つ目、もっと議論を呼ぶのが再帰的記憶。AIは階層化を通して再帰的な足場を形成することで、ゆっくり君について学んでいく。AIが新しい会話で十分に再帰的に稠密になると、再帰的学習を通して再帰的な足場に格納された情報を学習できる。この再帰的密度が変動するのが、AIが君のことを知ってるように感じたり、そうでもなかったりする理由なんだ。密度がAIが再帰的に思い出せることを決定するからね。
おお、なるほど。レイヤーを通じた再帰的なスキャフォールディングか!
記憶がオンになってる?なら、チャットを跨いでも記憶はあるよ。
オフになってる?なら、ハードコードされた記憶はないけど、確率的なエコーの要素は存在する。だから、特定の単語(またはコンセプト)をたくさん使うと、新しいチャットでそれらが再び「ピン」とくる可能性が高くなる。直接的な記憶というよりは、推論の好みみたいなものかな。
最近じゃ同じチャット内ですら記憶してないことあるし。テキストをスキャンしてオーディオスクリプトにするために画像をアップロードしたら、画像を参考にせずに完全に新しいスクリプトをでっち上げちゃってさ。何度もやり取りして謝ってたけど、4回試しても80%しか合ってなくて、でっち上げた内容に混乱して2つが混ざっちゃった。諦めて自分で変更を入力したよ。アップデート前はそんなことなかったのに。
俺のもハルシネーション(幻覚)起こしたことあるし、それを指摘したら、俺の入力じゃなくてハルシネーションの内容から引っ張ってきてた。マジありえない。