最新のナノモデル:LFM2-ColBERT-350M ⚛️のご紹介 LFM2-ColBERT-350Mは、わずか350Mのパラメータで、1つの言語でドキュメントを保存し、多くの言語で取得し、そのサイズのほんの一部であるモデルの高精度と推論速度で取得することができます。 > サブ500Mクラスで最高のクロスリンガルレトリバー > ドイツ語、アラビア語、韓国語、スペイン語、ポルトガル語、イタリア語、フランス語、日本語の大型モデルを上回るパフォーマンスを発揮します > 英語のはるかに大きなモデルと同等のパフォーマンス > コンパクトな350M設計で、大規模でデバイス上での検索に対応 > バッチサイズに応じて直線的にスケーリングし、ドキュメントエンコーディングで1Kドキュメント/秒以上を維持します 1/n 🧵

LFM2-350M-ColBERTは、9つの言語で高い精度を維持しながら、2.3倍小さいモデルと同等の推論速度を実現します。 2/n

LFM2-ColBERT-350Mは後期相互作用を利用します。 ほとんどの検索研究は、バイエンコーダーまたはリランカーに焦点を当てています。レイトインタラクションは両方の長所を組み合わせ、トークンレベルの精度を復元しながら、個別のエンコーダーの効率を維持します。 > 完全なクロスアテンションなしできめ細かな相互作用を保持します > スケールのために事前に計算されたドキュメント埋め込みをサポート > 多言語検索の精度と速度のバランスをとる 3/n