WalShadow登場：Postgresの物理WALからClickHouseへ！サブ秒で実現する爆速レプリケーション

WalShadowは、PostgreSQLの物理WAL（Write Ahead Log）を直接読み取り、ClickHouseへサブ秒（1秒未満）のレイテンシでデータをレプリケーションするための新しいツールです。複雑な論理デコード設定に頼ることなく、物理層での高速なデータ同期を実現します。

彼らはPostgresでCDCを行う際に昔から「定番」とされていたwal_level = logicalを使わず、わざわざwal_level = replicaを直接使っているな。僕の知る限り、これはPostgres自身のレプリケーション以外で使われることはなかったはずだけど。これすごく興味深いよ。こんなに違いが出るとは予想もしなかった。あと、コーディングエージェントの助けがなければ、こういう実装にたどり着くことは絶対になかっただろうね。プロトコルレベルの詳細をわざわざ解析しなきゃいけないなんて、以前ならとんでもない時間泥棒だったからさ。

これってSupabaseでホストされているPostgresでも動くのかな？うちの会社では、会社用ブレインのMCP用にPostgresのデータ（サーバーログ、銀行データ、Slackなどと一緒に）をClickHouseにミラーリングしてるんだけど、どんな読み取り専用DB接続文字列でも使えるっていう理由で、かなり非効率なポーリング方式をとってるんだよね。常に改善してレイテンシを解消したいと思ってるんだけど。