軽量かつオープン！Googleの「EmbeddingGemma 2」で実現する次世代マルチモーダル検索

「EmbeddingGemma 2」が登場しました。これは、軽量でありながら強力な性能を誇るオープンなマルチモーダル埋め込みモデルです。複雑な推論環境を構築せずとも、高精度なベクトル化が可能になるため、検索エンジンやRAGシステムの実装における強力な武器となるでしょう。

ついに来たか。LLMやエージェントの仕組みが大きく変わりつつあるのに、ちょうどいいサイズの埋め込みモデルが出てこなくてずっともどかしかったんだ。しかもこれマルチモーダル対応なのか！テキスト専用で270Mっていうのは従来のモデルと比べても優秀だし、テキスト＋ビジョンで合計440Mというのも妥当なところだね。EmbeddingGemma用に調整した、かなり高速なローカル埋め込み作成ツールを密かに持ってるんだけど、より良いモデルが出るまでリリースを控えてたんだよね。

EmbeddingGemma 2がApache 2.0ライセンスなのは本当にありがたい。特に埋め込みモデルの場合、クローズドでプロプライエタリな、ホスティング専用モデルを使うのは理にかなっていないと思う。ほとんどのアプリケーションでは何千、何百万もの埋め込みベクトルを計算して、後で比較するために保存するわけだからね。モデルがプロプライエタリだと、ベンダーがいつかサポート終了を決めるかもしれない。代わりに新しいモデルが出たとしても、保存済みの何百万ものベクトルを再計算するためにわざわざコストを払わなきゃいけないんだ。2024年4月にOpenAIが「新しいモデルへの移行コストをカバーする」と申し出たことはあったけど（https://openai.com/index/gpt-4-api-general-availability/ ）、すべてのプロバイダーに期待できることじゃないだろう。特筆すべきは、別に自分自身でホストしたいわけじゃないってこと。ホスト型モデルの利用料を払うのはやぶさかではないけど、もしサービスが終了しても自分自身でオープンウェイト版を動かせる、あるいは他のベンダーに移行できるという保証があることが重要なんだ。

なぜsiglip2（これもGoogle製）と比較されないんだろう？完全にマルチモーダルじゃないからかな？それとも単に組織やチームが違うだけ？

GoogleがAndroidスマホに搭載するようなモデルをオープンソース（というかオープンウェイト＋ライセンス）で提供してくれるのは、素直に脱帽。

パラメータ数の内訳が面白いね。合計740M（テキスト270M、ビジョン170M、オーディオ300M）。

Voyage AI（https://www.voyageai.com/ ）のテキスト埋め込みモデルとどう違うのか気になるところ。以前いくつか使ってみたけど、ここにあるQwenモデルより優れていると感じたよ。

従来のデバイス内埋め込みモデルと違って、これはMatFormersじゃなくてMRLで学習されている点に注意。残念ながら、埋め込み次元を下げるときにモデルのウェイトまで一緒に縮小することはできないみたいだね。マルチモーダルに対してMatFormersをどう適用するかの研究がまだ進んでいないのかな？

テキストと画像を使って「Jev」のようなタスクに使えるのもかなり良さそう。https://developers.google.com/edge/mediapipe/solutions/decision/decision_maker

テキストに関してはベンチマークは初代EmbeddingGemmaと同じだね。ただ、今回の新モデルなら必要ない機能を無効化できるから、例えばテキスト専用にするなんて使い方ができる。

みんな、このサイズのマルチモーダルモデルをデバイス上で動かしてどんな用途に使ってるの？何が得意なのか、ハルシネーション（幻覚）の発生率はどんな感じなんだろう？