【CUDA学習】必読の良書を厳選！並列コンピューティングを極めよう

CUDAの習得を目指している方へ。並列コンピューティングの基礎から実装テクニックまで、スキルアップに役立つおすすめの書籍リストをまとめました。初心者の方も上級者の方も、ぜひチェックしてみてください。

LLMを使って生産性を今すぐ数百パーセント上げろなんて会社から強要される時代に、どうやって言い訳を作って腰を据えて本を読めっていうんだ？

厳密にはCUDAじゃないけど、「AI Systems Performance Engineering」も触れておく価値はあるかもね。

自分は https://www.olcf.ornl.gov/cuda-training-series/ を一通りやってみたけど、入門や基礎を固めるには良かったよ。

最近では（ADSPのポッドキャスト[1]とかでもそうだけど）、NVIDIAの中枢に近い人たちが、CUDAカーネルを自作することに対して「反対」の立場をとるようになってきてるよね。（NVIDIAでそれがフルタイムの仕事ってわけじゃないなら、って話だけどね）。

[1] https://adspthepodcast.com/2024/08/30/Episode-197.html

最初にクリックしたリンクが404エラーだった：
Programming Massively Parallel Processors: A Hands-on Approach (3rd Edition)
https://www.cambridge.org/core/books/programming-in-parallel-with-cuda/9781108855273

Pythonと高レベルCUDAのセクションに関連して、興味があるならまずはWarpを覗いてみるといいかも。まだ新しいから本にはなっていないと思うけど。WarpならPythonで直接CUDAカーネルを書けるし、とにかく始めやすいよ。 https://github.com/nvidia/warp

ここに挙がってる本はほとんど読んだか、少なくともざっと目を通したけど、一番の入門書は『CUDA Programming: A Developer's Guide to Parallel Computing with GPUs』だと思う。

『Massively Parallel Processors: A Hands-on Approach』は、個人的にはあんまり良くないかな。細かいミスが多いし、CUDAを分かっていても分かりにくい文章がある。

『CUDA by Example: An Introduction to General-Purpose GPU Programming』は単純すぎるし、アーキテクチャを抽象化しすぎている感じ。

来年あたり、ハードウェアの仕組みから入って、そこから最適化まで（実質的にはNVIDIAカードを対象に）カバーするCUDAの本を書こうと思ってる。グラフ以外の主要なアルゴリズムも全部含めるつもり。

大学で既にその形式で講義をやってるんだけど、学生にはかなり好評だよ。

並列プログラミングやNVIDIAについて学べる良いMOOCって何かある？

cuTileみたいな新しいパラダイムについて、何か良い学習リソースを知ってる人はいない？