Rustで爆速ベクトル検索！Googleの技術「TurboQuant」を実装した「Turbovec」が熱い

「Turbovec」は、Googleが発表した論文『TurboQuant: Reducing the Memory Consumption of Neural Information Retrieval Models』に基づき、Rustで実装されたベクトル検索ライブラリです。効率的な量子化技術を活用することで、メモリ消費を抑えつつ高速な検索を実現しています。Rustで高性能な検索エンジンを構築したい開発者にとって、非常に注目すべきプロジェクトです。

プロジェクトを実際に普及させたいなら、READMEをもう少し人間味のある文章にした方がいいんじゃないかな。

うわっ！1000万件のドキュメントで4GBってすごいね。これなら逆引きインデックスを今までよりずっと速く構築できるし、デバッグやパフォーマンス・テストといった開発体験（DevX）もかなりスムーズになりそう。SQLiteバインディングのリリースが待ち遠しい！

ローカルかつプライバシー重視の検索には完璧そう。でもRust製だし、WASMにコンパイルしてブラウザ拡張機能で直接動かそうとした人っている？

既存のパイプラインに後付けしたい人がいたら参考に。自分も似たような考え方で求人検索用にベクトルの圧縮をやってるんだけど、精度は3.5%減くらいで8倍くらいの圧縮が実現できてるよ。実験内容はここ：https://corvi.careers/blog/vector-search-embedding-compression/

いやあ、これはヤバいね。O_O 最高に素晴らしい仕事だ！

なんでQdrantじゃダメなの？あそこは数ヶ月前からTurboQuantを統合してて、うまく動いてるよ。

FAISSはもうSoTA（最新技術）とは言えないよ：

https://ann-benchmarks.com/index.html
https://vector-index-bench.github.io/
https://big-ann-benchmarks.com/neurips23.html

みんなTurboQuantのオープンレビューのコメントは読んでおいたほうがいいよ：https://openreview.net/forum?id=tO3ASKZlok

ローカルで動かせる、高速かつ軽量なおすすめの埋め込みモデルと検索エンジンって何？

Turbovecが、同じビット数のMatryoshka埋め込みよりも優れた検索性能を発揮するっていうのがいまいち納得できないな。