【メモリ節約術】PandasからPolarsへ移行する際の落とし穴：知らないとハマるQuantileの罠

PandasからPolarsに乗り換えることでメモリを節約できますが、Quantileのデフォルト補間方法に微妙な違いがあるので注意が必要です。

詳細はこちらをご覧ください: https://wedgworth.dev/polars-vs-pandas-quantile-method/

PolarsとPandasの間には、これ以外にも、うっかり見過ごしてしまうような大きな違いはありますか？

PolarsってRustで書かれたフレームワークだっけ？

Polars、マジで最高なんだよね。はい、TEDトーク終わり。これ作った人はマジで称賛されるべき。/ Rustに転向した開発者より

まだPolarsはあんまり使ってないんだけど、見た感じ、大量のデータを扱う人（例えば俺みたいな）にとって一番のメリットは、パイプライン（この2つのカラムを足して、5を掛ける、とか）を記述して、そこにデータをストリームとして流せることだと思う。

つまり、Pandasみたいに、すべてのデータをデータフレームにロードしようとしてメモリを使いまくるのとは違って、Polarsはデータをバッチでロードして、最終結果だけを見せてくれるんだ。

Pandasはロシアの戦車、Polarsは巡航ミサイルって感じ。それ以外は、俺が使った限りでは、どっちも同じ結果になるみたいだけどね。

もうpandasは捨てたわ。ホッキョクグマが俺の新しい守護動物だ。

Pandasの使用経験はあまりないけど、データフレームが非常に大きいときに、このメモリの問題に既に出くわしたことがあるよ。最初は、Pandasでプロジェクトを実装する方法が、非常に多くのRAMを消費し、遅くしているのだと思った（parquetとか何もなしでCSVを扱っていた）。でも、Pandasがデータフレーム全体をRAMにロードすると、データの操作が戦略ではなくリソースの問題になるなら、納得がいくね。

全部Polarsに置き換えて、時間とリソースを計測して、どうなるか試してみるよ。

PandasからPolarsに乗り換えて、パフォーマンスに感動してる。遅延評価を扱うのには慣れてるんだ（メモリに収まらないサイズのデータフレームを扱うためにDaskを使ってたからね）。

（Lazy APIを使ってパフォーマンスを最適化するために式の順序を変更する）式の最適化で苦労したことがあるよ。例えば、列の削除が、その列を操作する式の前に移動されちゃったりね。でも、これは少し前のビルドでの話。

あと、圧縮ファイルはストリーミングされずにメモリに読み込まれるよ（scan_csvまたはread_csv操作で読み込まれる圧縮テキストファイル）。

めちゃくちゃ乗り換えたいんだよね。でも、GeoPolarsが完成するまでは無理だな。これは、PolarsがArrow Extension Typesをサポートしてない/サポートする予定がないからブロックされてるんだ。さらに、Polarsはコアデータ型のサブクラス化をサポートしてないし。つまり、乗り換えたいのは山々だけど、主なユースケースが実現できないんだ。

Pandasに対抗するために、もっとOOP的なPyThermiteを作り始めたんだ。Pandasに対するベンチマークを実行しているときに、Polarsに対しても実行することにした。PolarsもRustでバックエンドが組まれたスレッド化（rayon）ツールだから、良い勝負になると思ったんだ。そしたら、Polarsが大規模なデータセットのロードとフィルタリングでPandasを圧倒的に打ち負かしたんだ。1000万行以上だよ。インデックスがない限り、データセットのクエリ処理はこれ以上パフォーマンスが上がらないんじゃないかな。