「中身を知らずに自動化」は危険？エンジニアが陥りがちな自動化の落とし穴

仕組みを深く理解しないまま自動化ツールを導入するのは、非常にリスキーです。本質を理解せずに自動化を推進することは、一時的な効率化とは裏腹に、将来的な技術的負債や予測不能なバグを招く原因となります。自動化はあくまで手段であり、正しく制御するためにはまず「中身の仕組み」を把握することが不可欠です。

数学的な能力をどうやって評価するのか、正直よくわからないな。自分は微積分2と離散数学を修了したけど、今の最先端AI技術には詳しいと言われていても、もう忘れていることは間違いなくあるし。ぶっちゃけ、CSの学位を取った時に受けた期末試験に今合格できる自信はないね。

「文明は、意識せずとも実行できる重要な操作の数を増やすことで進歩する」 - A. N. ホワイトヘッド

AIには過程を可視化させるべきだよ。使うツール、バックグラウンドで生成して実行するプログラム、あらゆる論理的推論に至るまでね。すべての計算に対してLeanやRocqによる証明、あるいは実行トレースの出力を義務付けるべきだ。事実についてはソースを示せるようにし、抽象的な推論については説明可能なステップに分解できるようにする。その上で、専門家相手でも素人相手でも、どんな詳細レベルでも説明できるようにすべきだね。

ガウスやオイラーと比べて自分はどの程度の位置にいるのか悩んでいる学生に向けた、ビル・サーストンのMath Overflowでの有名な回答も参照してみて:

https://mathoverflow.net/questions/43690/whats-a-mathematici... (https://mathoverflow.net/questions/43690/whats-a-mathematician-to-do#44213)

「数学の成果とは、明確さと理解である。定理そのものではない。[定理の重要性は]単なる命題にあるのではなく、我々の理解に挑み、数学的発展を導き、理解を深めるという役割にある。

世界は明確さと理解が過剰で困っているわけではない（控えめに言ってもね）... 要するに、数学とは数学者のコミュニティの中で生き、新旧のアイデアに命を吹き込み、理解を広めるものとしてのみ存在する。数学の真の満足感は、他者から学び、共有することにある。誰もが少数のことは明確に理解しているが、多くのことは曖昧な概念として抱えている。解明が必要なアイデアが尽きることはない。誰が最初にある土地に足を踏み入れたかなんてことは二の次だよ。革命的な変化は確かに重要だが、革命はそう頻繁には起きないし、それ自体では持続しない。数学者のコミュニティに強く依存しているんだ。」

AIが専門家に取って代わることよりも、AIがもっともらしく間違っている時に、それが間違いだと気づける人を育てられなくなることの方が心配だよ。

AIに対して恐怖を感じている人は多いけど、自分から見て明らかに危険な他の領域については同じレベルの危機感を持っていない人が多い気がする（未知のものは何でも悪いものだと決めつけたいんだろうね）。ホワイトヘッドの引用はすごくいいね！この流れを楽しもうぜ。これが最後になるかもしれないからね！

「シンギュラリティは近い」と言われているのは、AIが前方に向かって脱出速度に達しているからではなく、我々がシステムとして人間をコンピューターが理解不能な領域へと押し戻しているからじゃないか？

「このエッセイは、数学的キャパシティを半導体能力と同等の戦略的資産として扱うべきだと論じている」

つまり、数学者たちがもっと予算を寄越せと言ってるだけだな。

これからは「物事を理解している人」と「理解をAIに丸投げする人」で差がつくと思う。自分が理解していないことをAIにプロンプトで指示することに、経済的あるいは社会的な価値は大して生まれないはずだ。まず、誰でもできることなら、なぜわざわざお金や信用を与える必要がある？次に、難しいことを学ぼうとする人が減れば減るほど、その知識の希少性が高まって価値が出るはずだよ。仮にこの予測が外れたとしても、理解不能なツールに依存する騒がしいチアリーダーになるよりは、難しいことに挑戦し続けて学び、人間として成長する方が人生は豊かになると思うね。