Cloudflare K2登場：爆速でサーバーレスなイベントストリーム処理の新境地

Cloudflare K2は、分散型サーバーレス環境におけるイベントストリーム処理を劇的にシンプルかつ高速化する新機能です。従来の複雑なデータパイプライン構築に悩まされることなく、エッジ環境で直接イベントをストリーミング・操作することが可能になります。

もし自分がCloudflareの真剣な顧客だったら、インフラのセキュリティについてかなり心配になるな。確かにLLMを使えば高速にコーディングできるけど、人員を減らしながらこれほどまでにハイペースで新製品をリリースするのは少し異常だよ。

この記事の著者で、K2のテックリードをしているよ。何か質問があれば気軽に聞いて！

オブジェクトストレージが急速に新しいコアデータ基盤になりつつあるね。「S3の上でKafkaを作ろう」「S3の上でGitHubを作ろう」という感じで、今後数年で「オブジェクトストレージ・ファースト」なシステムはどんどん増えていきそう。個人的にはこの未来にワクワクしてる。ディスクを管理するシステムなんて扱わずに、ステートレスなサーバーとストレージバケットを使えるならそれに越したことはないよ。S3のAPIがこうしたユースケースに合わせて拡張されるかも気になるところ。新しいExpress One Zoneバケットタイプで扱いにくいファイル追記操作が追加されたけど、上限が1万回までだしね。今後数年で何が出てくるか楽しみ。

AutoMQやWarpStreamと何が違うんだろう？そのうち一つは使ったことがあるけど、あれも確かにS3ベースのサーバーレスソリューションだったし。Kafka自体も長期保存のためにデータをS3にオフロードする機能をサポートしてるはず。記事を読んだけど全部を理解できたわけじゃないから、マルチリージョン配信のような、他にも何か追加のメリットがあるのか知りたいな（どう実装されるのか想像つかないけど）。

ローンチおめでとう！ストリーム／イベントベースのシステムは本当に強力だけど、同時にかなり複雑でもあるよね。多くの人がストリームを扱うときにKafkaのトピックやパーティションを基準に考えることが、複雑さや落とし穴の原因になってるから。個々のストリームを安価で簡単に扱えるようにするのは大きな簡略化だよ。順序あり・なしの両方でストリームを柔軟に消費できるようになればさらに良いね。今回は順序なしに対応しているようだけど、言及されていたキーベースの順序付けのためにマネージド側がどうやって処理を分割するのか興味がある。

ローンチおめでとう！とても興味深いね。普段Kafka Streamsでアプリを書いている身としては、Kafka APIのサポートが来る日を心待ちにしているよ。コスト効率の良い完全サーバーレスなKafka互換サービスがあったら素晴らしいし、多くの企業にとって便利だと思う。素晴らしい仕事だね！

データインフラ系のスタートアップのどれくらいがS3のラッパーなんだろうね。それに、OLTPとOLAPの境界線も日に日に曖昧になってるし。もし既製品を探しているなら、https://github.com/viggy28/streambed が気になるかもしれないよ。（免責：自分はコミッターの一人です）

D1 + Durable Objectsを使ってマルチテナンシーを実現した人はいる？使い勝手はどうだった？

CloudflareはAWS/GCP/Azureに追いつこうとしてるね。最初は小規模なサービスがいくつかあるだけだったのに、今では何でも詰め込んでる。

コンシューマーにバッチのACKを要求するんじゃなくて、consumeリクエスト時にバッチの末尾IDを送信させる方式じゃダメなの？