機械学習エンジニア必見！Ilya Sutskeverが選ぶ「読むべき論文30選」が初心者向けに解説されていて最高

OpenAIの共同創設者であるIlya Sutskever氏が推奨する、機械学習を学ぶ上で欠かせない「重要な論文30本」が、初心者にも分かりやすい形式でまとめられているサイト『30papers.com』が公開されました。機械学習の基礎を固めたい方や、深層学習の歴史的な転換点を学びたい方にとって、これ以上ない学習リソースになっています。

作成者です。トリニティ・カレッジ・ダブリンのCS専攻1年生です。これを作ったのは、論文を読み始めた頃、他の人もきっと同じことを聞いているはずの質問にClaudeを使いすぎて、制限にすぐ引っかかってしまうのが嫌だったからです。このサイトはあくまでサイドプロジェクトで、間違いなく「開発中（WIP）」です。質問やGitHubへのPRは大歓迎です。

一瞬混乱した。これが「Ilyaによるトップ30論文」だと思っていて、なぜ「Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton」がリストに入っているのか不思議に思ったよ。

さらに、このサイトで取り上げている論文の大部分は読んでいるものの、サイトの各バージョンをすべて端から端まで読んだわけではない。

「サイトのバージョン」って、実際のテキストのこと？それとも「解説」のこと？いずれにせよ、これはかなり怪しい点だ。

素晴らしいリストの見せ方ですね！

論文を読むのと並行して、彼のトークやポッドキャストをいくつか視聴することをお勧めします。そうすれば、全体像やこれらの研究がどう結びついているのかを把握しやすくなるはずです。

https://www.dwarkesh.com/p/ilya-sutskever (https://www.dwarkesh.com/p/ilya-sutskever)

https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023... (https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023-08-14)

https://www.dwarkesh.com/p/ilya-sutskever-2 (https://www.dwarkesh.com/p/ilya-sutskever-2)

推奨される論理的な読書順序で整理してほしかったな。例えば、Attentionメカニズムを導入した論文は「Attention Is All You Need」よりも前に配置されるべきだろう。

コルモゴロフ複雑性に関する理論論文に注目したい。よく知らない人のために言うと、Ilyaは「ニューラルネットワークが汎化する理由」、つまりなぜそもそも機能するのかという理由は、それらが学習データの「単純な記述」を効果的に見つけ出し、コルモゴロフ複雑性の限界へと収束しているからだと主張している。[1]

[1] https://www.youtube.com/watch?v=AKMuA_TVz3A (https://www.youtube.com/watch?v=AKMuA_TVz3A)

誰かがXで「これがIlyaの論文30選だ」と投稿して、ソースも示さず、どこから持ってきたかも明かさず、しかもIlyaやCarmackとも繋がっていない（Ilyaが彼にリストを渡したとのことだが）。

それに基づいて誰かが「vibe code」で使いにくいサイトを作ったら、HNのトップページに載ったのか？これってまともな話なの？

これを見て最初に思ったのは、論文を聴くためのPdfToMp3を作ったことだな。それが今ではListenDockに進化した。面白いことに、PdfToMp3はNotebookLMより前に存在していて、既に「概要」機能もあったんだけど、当時は「教師による解説」と呼んでいたよ。

「Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton」の「教師による解説」の例を置いておくね。

https://listendock.com/e/quantifying_the_rise_and_fall_of_co... (https://listendock.com/e/quantifying_the_rise_and_fall_of_complexity_in_closed_systems_the_coffee_automaton_wvlvm)

スタイリングとアニメーション自体はとてもかっこいいんだけど、コンテンツそのものの邪魔になっている気がする。

アニメーションの背景効果はページの上部だけで見せて、スクロールするにつれて静的なグラフィック（あるいはもっと控えめなアニメーション）に切り替わるほうがいいんじゃないかな。

あと、リストカードのズームアウト効果は意図したような効果になっていないと思う。論文をよく見たいと思っているのに、スクロールして表示させると小さくなって見づらくなるのは、がっかりするし少しイライラする。

色、影、レイアウトはすごくいいんだけど、アニメーションが（現状では）体験を向上させるどころか損なわせている感じがするな。共有してくれてありがとう！

初心者には『Welch Labs Illustrated Guide To AI』をお勧めするよ。もし論文を読み慣れていないなら、これは素晴らしい本で自分も楽しめた。この本を読んでからこれらの論文に取り組むと、深く理解できるはずだ。

みんな、この投稿に寄せられた多くの反響に本当に感謝しています。友達が論文を読むきっかけになればいいという小さなプロジェクトのつもりだったので驚いています。

背景やアニメーションが激しすぎるという苦情が多かったので（使いやすさよりもクールに見えることを優先しすぎたかもしれません）、ページ内の動きと論文の背景の両方をオンオフできるトグルを追加しました。

また、各論文について個人的な考察をもっと知りたかったという声もありました。現在、人気の論文についてはすでにXの @notmcrowley で考察を行っています。もし需要があるなら、それをサイトに追加しても問題ありません。ただ、私はMLやAIの正式な教育を受けていないので、解釈はあくまで自分のものであり、必ずしも正解ではないかもしれないという点だけ注意してください。（もし経験豊富な方で協力してくださる方がいれば、ぜひ連絡してください）