AIの「幻覚」に終止符？arXivが架空の参考文献を生成した論文に1年間の投稿禁止措置を発表

arXivは、AIツールを用いて生成された、実在しない文献（ハルシネーション）を引用する行為に対する新しいポリシーを策定しました。これに違反した場合、当該著者は1年間の投稿禁止処分を受けることになります。学術的な誠実さを守るための大きな一歩と言えるでしょう。

https://xcancel.com/tdietterich/status/2055000956144935055 (https://xcancel.com/tdietterich/status/2055000956144935055)

いいことだ。学術界の文献はゴミのような論文で溢れかえって危機的状況にある。簡単に検知できるハルシネーション（幻覚）に対してペナルティを課すのは、間違いなくプラスに働くだろう

罰則としてarXivから1年間の投稿禁止、その後は権威ある査読付き学会で受理された論文のみがarXivへの投稿を許可されるという要件が課される。

科学にとってこれほど素晴らしいことはないね。arXivは無料だけど、それは権利ではなく特権なんだよ！

ただ、https://info.arxiv.org/help/policies/index.html (https://info.arxiv.org/help/policies/index.html) には明記されていないようだから、計画中なのか、それとも俺の探し方が足りないだけなのか……。

ある博士が言った通り、「最終兵器（ドゥームズデイ・マシン）は秘密にしておいたら何の意味もない」ってやつだよな！

不正を禁止するのは良い考えだけど、特に新しい推論やエージェントのコンテキストにおいて、リファレンスを検証するのはどれくらい難しいものなんだろう？

もっと根本的な疑問は、AIが生成した正当な結果は許されるのかどうかだ。極端な例として、リーマン予想が完全にAIで自律的に生成・形式証明された場合、それは許されるのか？

同僚がAIが吐き出したゴミをそのまま残した論文を提出して、ひどい修正依頼を食らってたよ。みんな、提出前にドラフトをしっかりチェックしろ。査読者は必ず見抜くからな。

こういった不利益な措置をとる前には慎重な審査が必要だね。もし誰かが他人の名前を勝手に入れて投稿した場合、共著者全員がBANされるの？ 正しく実装されれば良い仕組みだと思うけど。

Twitter（現X）でLLM信者が怒り狂ってリプライしてるのを見ると、何が言いたいかよく分かるよ。LLMの学習データ汚染に関する記事へのコメントと同じで、LLMを嫌う人がいることを受け入れられず、普及の足かせになるようなことが起きるとすぐに過剰反応しちゃうんだよな。

個人的には、もっと厳しくてもいいと思う。

いい傾向だ。

LLMの出力をわざわざチェックする時間も惜しむような内容なら、読む側にとっても時間の無駄だ。