Transformerの衝撃：Attention Is All You Needを極める

「Attention Is All You Need」という論文は、現在のAIブームの原点とも言える革命的なものでした。従来のRNNやCNNに頼らず、Self-Attentionメカニズムのみで構成されたTransformerアーキテクチャは、自然言語処理の歴史を塗り替えました。現在、私たちが日常的に利用している大規模言語モデル（LLM）の礎となったこの概念について、改めてその重要性を再確認しましょう。

だから本が好きなんだよね。注意を引こうと必死になることもないし。最近のアプリときたら、どれもこれも目の前のコンテンツに無理やり意識を向けさせようとしてくるから。

開けばエンタメを提供してくれるような巨大アプリなんて当時はなかった。その代わり、特定の目的を持ったWebサイトのブックマークが数十個あった。

この意見は見落としがあるよ。当時はLycosやYahoo!、MSNのようなカスタムホームページがいかに一般的だったか、そしてブラウザがいかにそれらをデフォルトのホームページとして設定するよう促していたか。現代の「アルゴリズム」ほど依存性は高くなかったかもしれないけど、それでもクリックベイトまみれの画像やリンクで注意を引こうとしていたし、広告で財布の中身を空にさせようとしていたのは同じことだよ。

MSN: https://web.archive.org/web/20021108094511/http://www.msn.co... (https://web.archive.org/web/20021108094511/http://www.msn.com/)

My MSN: https://web.archive.org/web/20021107081016/http://my.msn.com... (https://web.archive.org/web/20021107081016/http://my.msn.com/)

自分が見たいものを選ぶ代わりに、誰かにとって都合の良いものを決めさせてしまっている。

100%同意。だからこそ、自分が使っているプラットフォームではアルゴリズムによるおすすめ機能をすべて無効にしているんだ。アプリ本体の設定でオフにするか、Web版で使ってuBlockやAdGuardみたいな拡張機能で気を散らす要素を非表示にしているよ。今の僕のフィードは、直接フォローしているチャンネルやプロフィールだけ。あ、あとRSSもあるな。みんなも同じことをやってみるのを強く勧めるよ。本当に頭がスッキリするから。

今年に入ってからソーシャルメディアを断ったんだけど、これが最高に良い決断だった。始めたきっかけは、スマホが普及する前にはドゥームスクロール（ネガティブな情報を延々と追い続けること）をするアプリなんてなかったって気づいたことだね。より「意図的な」メディアとの付き合い方に戻そうと決めてから、劇的に変わったよ。スマホをついつい手に取っちゃう時でも、「別にスマホでやることなんてないじゃん」って気づいて、すぐに置くことができるようになった。おかげで、どこに行くにも本を持ち歩く習慣が身について、今年はもう4冊も読み終わったんだ！

Mosaicブラウザ（1993年）には、フルテキストの履歴検索機能があったんだよ。その後に登場したブックマークシステムときたら、Webディレクトリとどっこいどっこいのひどい代物だった。で、そのまま今に至るというわけ。Deliciousの検索収益のせいで、Webサイトを整理するという概念そのものが面白みのないものになってしまった。10年前に楽しんでいたあのアングラなサイトだって、当時はあなたと同じような人たちがたくさん見ていたはずなのに、今はもう閉鎖されてる。更新する意味がないからね。FirefoxでRSSすらまともに使えない一方で、アドレスバーにはFacebookのいいねボタンが居座っているという有様。ブックマークメニューを整理しようとはしてきたけど、結局リンク切ればかりでほとんど使わなくなっちゃった。なんでブラウザはブックマークのテキスト版を保存しておいてくれないんだろう？ 1993年の人たちの方が今よりリソースを使えていたのか？ 何十年もかけて数GBに増えるのを恐れる必要なんてあるのか？ 閉鎖されたサイトの多くはどこかにバックアップがあるけど、それを探す自動化の仕組みがない。ページ内のテキストの一部でも分かれば検索できるかもしれないのに。もし高い類似性を持つページが見つかれば、別の保存先を探し出して警告ダイアログを出すような自動化だってできるはずだろ。

インターネットの黄金時代って、Webは利用できるけど常時接続はしていなかった短い期間のことだよ。自分の意志でログインして、やりたいことをやって、さっと切断する。そういう自律的な使い方ができた時代。

でもどんな習慣も、大切なのはやり続けること。意識を向け続ければ、脳内で何かがカチッとはまるはず。

集中して仕事に取り組む期間の後に、僕が悪い習慣を一つ見つけた。あちこちのウィンドウやタブを行き来して、何も最後までやり遂げずにコンテンツをただ消費し続けていることに気づいたんだ。このパターンを認識してからは、一度に一つの作業に集中して完了させるようにした。例えば、この記事を最後まで読む、といった具合にね。これが劇的に効いて、以前よりずっと集中力が上がったよ。まずは自分の行動に気づいて、その後に習慣として実践するっていうのはまさにその通りだね。

本当に、ログオフして外に出てみることをお勧めするよ。しばらく外を歩いて、近所の植物や生き物がどんな感じか観察してみて。ネットで調べたりコミュニティで学んだりするのもいいけど、まずはログオフして外に出て、生の自然を体験することを忘れないでね。

僕も、PCの前で何時間も無駄に過ごしていることに気づいたよ。何も生産的なことはしてなくて、Hacker Newsでドゥームスクロールしたり、よく分からないYoutube動画を注意深く観ることもなく延々と流し見したりしてる。PCを立ち上げる前に「やりたいことリスト」を作ることで解決できるんじゃないかと思ってるけど、まだ試せていないな。

Lex Fridmanが学者たちにインタビューしているのを見ていて「テトリス効果」を感じたよ。専門家はみんな自分の専門分野というレンズを通して世界を見ていて、それがすべてを解釈する上で最も重要で面白い方法だと確信しているようだったから。