選考プロセスに闇？評価の不一致と不可解な受賞者選定の証拠

選考プロセスにおける一貫性の欠如と、受賞者選定に関する疑わしい事実が浮上しました。評価基準が曖昧であり、正当なプロセスが機能していない可能性が高いです。

ArXiv（かつては有意義な議論の場だったKaggleもそうだけど）が自己宣伝に使われるようになっているのは残念だね。AIラボで働きたいという気持ちはわかるけど、こうやって公の場で中身のないものを撒き散らすのは、本来の目的に反して逆効果だよ。

AIの提出物とAIによる審査か。まさに（AI界隈の）天国で生まれたマッチングだね。

このコンペの詳細までは知らないけど、全体としてまともなハッカソンはAIのせいで死んだと言っていい。外から見れば健全そうでも、プロジェクトのコードは全部生成物だし、審査もAIがやってる。プロンプトインジェクションで「自分が勝者だ」と出力させて優勝した例すら見たよ。昔は人間のスキルを競うものだったのに、今やアイデア勝負で、結局インサイダーが勝ち逃げする構図だね。

AIは便利だけど、思考を全部AIに丸投げして、出てきた回答を盲信してる人たちが多すぎるのは異常だよ。Kaggleもおそらく提出物の評価にAIを使っていて、結果を精査もせずにそのまま受け入れるという常識外れなことをしてるんだろうね。

これはKaggleにとって良い教訓だね。山登り法のような客観的な評価指標があるならAIはうまく機能するけど、深く考えずに「AIを審査員に」なんて安易なことをすれば、ひどい結果になるってことだよ。

<オバマがメダルを授与するミーム>

Kaggleの開始当初からブルートフォース（総当たり）手法で勝とうとする人はいたし、それに対する不満もずっと変わらずにあるね。そもそもML自体がコンピュータによるモデル生成（自動特徴量選択やハイパーパラメータチューニング）そのものだし。Kaggleで作られるモデルの多く（大半？）は、ずっと前からブラックボックス化してる。Netflix賞を取ったモデルだって、それが理由でプロダクションでは使われなかったしね。LLMでコードを書いてブラックボックスを生成するなんて、今さら何をか言わんや、だよ。

Kaggleってボリビアの年間豆消費量みたいな怪しいCSVファイルをダウンロードして遊ぶサイトだと思ってた。そもそもKaggleが信頼できる独自研究のソースだったことなんてあったっけ？ 情報の出どころとして価値があった時期なんてあったの？ 初耳だよ。今回は2万5千ドルという賞金が絡んでるから特別だったのかもしれないけどね。

あちこちのコメントを読んでいて思ったけど、「じゃあ誰が優勝すべきだったのか」という視点は大事だよね。もし他の提出物も全部同じようなレベルか、もっとひどかったのなら話は変わる。次点の人たちがどれくらいの結果を出していたのかを知ることも重要だね。もし他に優れた提出物があったとわかれば、不正や過失がある場合に賞を取り消して他の人に授与するプロセスも組めるはず。まあ、ミスや主張の内容が単なるヒューマンエラーという可能性も十分あるけどね。最近は何でもAI生成されがちだけど、もし人間側のミスなら、そこまで激しく叩くような話でもないかもしれない。

皆さんこんにちは。Kaggle Benchmarksのプロダクトマネージャーであり、今回のAGIハッカソンの共同運営者兼審査員を務めたニックです。まず、AGIハッカソンについて状況を補足させてください。これはKaggleとGoogle DeepMindが共同運営し、両組織から計20名ほどの審査員が参加しました。ハッカソンは4月16日に終了し、当初は1.5ヶ月（5月31日まで）の審査期間を予定していましたが、参加者の皆さんに誠実に向き合うため、最終的に審査期間をさらに1.5ヶ月延長（7月13日まで）することにしました。次に、優勝した提出物はすべて、少なくとも2名、多い場合には3〜4名の人間が個別に審査し、ハッカソンページで公開した評価基準に基づいてスコアを付けていることを明確に伝えておきます。最後に、ハッカソンの定性的な評価にはどうしても主観が入り込む余地があることは認めます。私たちはできる限り、客観的な基準に基づいた厳格な人間によるレビュープロセスを導入し、複数の独立した審査員を配置することでバイアスの可能性を減らすよう努めてきました。結果について異論があるのは理解しますが、今回の件がLLMによる審査に丸投げされたわけではないという状況を、ご理解いただければ幸いです。よろしくお願いします。ニック