Vous avez un Mac avec une puce M ? Vous pouvez maintenant entraîner Gemma3 270m localement en tant que modèle d'embedding multilingue ou de reranker en utilisant notre projet mlx-retrieval. Cela vous permet d'entraîner Gemma3 270m localement à 4000 tokens/s sur M3 Ultra - c'est une vitesse réellement utilisable. Nous avons mis en œuvre certaines pratiques standard pour entraîner un modèle d'embedding ou de reranker efficace uniquement avec décodeur : LoRA complet/partiel, InfoNCE, accumulation de gradients et chargeur de données en streaming. De plus, intégration MTEB pour les boucles d'entraînement-évaluation.
28,12K