資金調達完了!PostgreSQL運用の救世主「PgDog」があなたのデータベースにやってくる
PgDog is funded and coming to a database near you
PgDog is funded and coming to a database near you
PostgreSQLの運用管理を劇的に変えるツール「PgDog」が、正式に資金調達を完了しました。今後、多くのデータベース環境で導入が進むことが期待されます。続報に乞うご期待!
基本的な理解を深めたいんだけど、今4TBのDBを1つの大きなサーバーで運用してるんだ。これって、PGDogみたいなプロキシツールを使って、500GBずつ処理する小さめのサーバー8台に分けて、そこにプロキシ用のサーバーを1台挟むっていう考え方で合ってる?今、複数のサービスからの書き込み負荷がものすごく高いプロジェクトを抱えてて、Webアプリがそこから読み出してる状態なんだ。インデックス作成、クエリ最適化、キャッシュ、サーバーのアップグレードをしても全く追いつかなくなってきてる。DBサイズを減らすために静的データの大部分をClickHouseに移行することも検討してるんだけど、このユースケースにPgDogや他のシャーディングが有効かどうか、意見を聞かせてほしい。
Postgresで一番ダウンタイムの原因になる「メジャーバージョンアップ」に、これがどう役立つのか興味がある。プール機能はフェイルオーバーや負荷分散には優秀だけど、年に1〜2回、アップグレードのために10〜20分くらいのダウンタイムがどうしても必要になるんだ。新旧バージョン間での論理レプリケーションを使えばなんとかなるかもしれないけど、それでも書き込みを中途半端にせず、新しいクラスタに完全に切り替える必要はあるよね。誰かこれについて経験ある人いない?
「20TB以上のデータをシャーディングした実績あり」これってタイプミスだよね?20TBってそんなに大きくないし、もっと遥かに大規模なシャーディングをしてるはずじゃないかな。
PgDogにNeki、multigresが出てきてすごいな。そう、これがPostgresの抱える最大の問題点だよね。あとインデックスヒントがないことかな。Postgres 19に期待してる。
「なぜ私たちなのか」→「InstacartでPostgresを運用し、2020年4月には会社の規模を5倍に拡大した。その時直面した最大の課題は、毎分数十万件もの食料品配達注文をPostgresで処理させることだった」これ以上の説得力はないよね :)
「MongoやDynamoみたいなDBが存在するのは、Postgresにスケーリングの問題があるからだ」って意見だけど、Postgresをいくつか使ってきた経験から言うと、一番の問題はスケーリングじゃなくて「高可用性(HA)」だったな。1つのPostgresクラスタで毎分10万トランザクションを捌くのは簡単だったけど、プライマリノードが落ちたときに呼び出しがかかって、手動でスタンバイにフェイルオーバーさせて、そのあとスタンバイを入れ替える作業が必要だった。手動のツールも非常に扱いにくかったし、自動化されたソリューションなんてまともなものはなかった。しっかりしたHAの仕組みがないから、極力自己管理のPostgresは避けてるよ。
Enterprise Editionがあるようだけど、オープンソースではない機能はどれか教えてもらえる?今後追加する新機能が、VCの出資者に還元するためにEEライセンスになる可能性はあるのかな?
先行事例をちゃんと認めて、何からインスピレーションを受けたのか明記してほしいな。https://github.com/postgresml/pgcat ここのことだよ。DBプロキシにお金を払ってスタートアップに頼るんじゃなくて、自分のインフラのレイヤーは自分で管理すべきだ。
PgDog最高。正直必要ない環境なんだけど、森をハイキングしてるときに暇つぶしでたまたま聞いた「Postgres FM」というポッドキャストでPgDogの存在を知って興味を持ったから、オンプレのk8s環境で使ってるよ。https://open.spotify.com/episode/6qgpfiW68KcvRASs6649Fb
うちはまだPgpool-IIを使ってる。かなり安定してるけど、PgDogへの移行には興味があるな。PgDogに変えることのメリットについて詳しく聞きたい。