PyTorchでカスタムオペレーションを自作する方法：独自処理を高速化しよう

PyTorchで既存のモジュールだけではカバーできない複雑な処理や、計算効率を極限まで高めたい場合に必須となる「カスタムオペレーション（Custom Operation）」の実装方法についてのトピックです。C++やCUDAを用いた実装の勘所や、PyTorchのディスパッチャへの統合手法などが議論の焦点となります。

いいじゃん。pt2のサポートを追加する方法と、カスタムオペレータをInductorを使って通常のオペレータとフュージョンさせるにはどうすればいいの？

CUDA C++みたいにローレベルなことをする前に、PyTorchのカスタムオペレータを作るならJaxとかCuPyを使うみたいな他の選択肢ってないの？

うーん、自分が見た時はDynamoがtorchbindをサポートしてなかったんだけど、いつサポートされたんだ？どのバージョンまでアップグレードすればいいか知りたいんだよね。