1996年AOL大規模障害の真実：当時のエンジニアによる痛恨のポストモーテム

1996年に発生したAOLの大規模なサービスダウンについて、当時のエンジニアが振り返ったポストモーテム（事後検証記録）です。

1996年、AOHellが起動して、28.8kbpsの回線でAphex Twinが爆音で流れて、コードレス電話はどこかに隠されてて、ピザが届くのを待ってる……そんな気分だ。

最近始めたことなんだけど、ChatGPTとかを使ってUsenetで当時のユーザーの反応を調べてるんだ（80年代や90年代の特定の期間ならね）。案の定、Usenetのalt.aol.sucksには、当時の障害に関する面白い書き込みがたくさんあったよ。

Ciscoって何の略か知ってるか？？Case's Internet System Crapped Out（ケースのインターネットシステムがイカれた）だ。その通り、スティーブ・ケースとAOLの連中は、お粗末なネットワーク機器の被害者になったってわけ。AOLにとって不幸だったのは、Cisco Systemsの機器を使って痛い目を見た最初のISPになったことだね。

https://groups.google.com/g/alt.aol-sucks/c/iqjd7crtPs4
https://groups.google.com/g/alt.aol-sucks/c/K75nltM31Bw
https://groups.google.com/g/alt.aol-sucks/c/vVup-HvlPWM

こっちは記者がコメントを求めて笑いものにされてるスレッド：
https://groups.google.com/g/alt.aol-sucks/c/mStonlu_H8E

comp.risksの方にはもう少し真面目な反応もあったよ：
https://catless.ncl.ac.uk/Risks/18/30#subj2
https://catless.ncl.ac.uk/Risks/18/31#subj3
https://catless.ncl.ac.uk/Risks/18/41#subj3

昨日の朝、メールシステムが激しく滞留しているという連絡を受けた。原因を突き止めるのに時間がかかったが、結局AOLが原因だった。AOLのインターネットからのメール受信システムは比較的遅くて、1日に数十万通ものメールが届くから、受信用に30台のシステムを用意してAOL.COMで受けていたんだ。つまり、AOLにメールを送ろうとするシステムは、諦める前に30個のアドレス全てを個別に試さなきゃいけない。コネクションのタイムアウト待ちが（典型的には）60秒だから、メールを送るのに30分も行列に並ぶ羽目になってたわけだ。

seclistsのnanogも読んでみると面白いよ
https://seclists.org/nanog/1996/Aug/51

sendmailが障害をうまく捌けなかったことに関するフレイムウォーも起こってた

AOLの障害を覚えてる？あるホストはAOL向けに2000通のメッセージを溜め込んでいたんだけど、qmailを使っていたおかげで動作が重くなることはなかったんだ。一方で、sendmailのユーザーはもっと少ないキューで窒息してたけどね。
https://groups.google.com/g/comp.mail.sendmail/c/TeNdv2laT94

私たちngrokは、信頼性というトピックにおいて見過ごされている視点だと考え、Macにこの記事の執筆を依頼しました。

えーっと、そうなんだ。この30年前の事後検証から、現代に役立つ信頼性の知見って何か得られたかな？記事を読み終わったけど、答えは「ゼロ」って感じ。この時代のインターネットを懐かしむのは嫌いじゃないけど、ここに何か重要な意味があるとは思えないな。