Mチップを搭載したMacをお持ちですか?mlx-retrieval プロジェクトを使用して、Gemma3 270m を多言語埋め込みまたはリランカー モデルとしてローカルでトレーニングできるようになりました。これにより、M3 UltraでGemma3 270mを4000トークン/秒でローカルでトレーニングできます。MLX を使用して効果的なデコーダーのみの埋め込みモデルまたはリランカー モデルをトレーニングするためのいくつかの標準プラクティスを実装しました: フル/パート LoRA、InfoNCE、勾配累積、ストリーミング データ ローダー。さらに、列車評価ループのための MTEB 統合。
25.85K