LoRALow-Rank Adaptation

Réponse directe

Une méthode de fine-tuning qui adapte un grand modèle en entraînant un petit nombre de paramètres supplémentaires.

Explication détaillée

LoRA conserve les paramètres principaux du modèle et apprend de petites matrices ajoutées à certaines couches. L’adaptation demande ainsi moins de mémoire et produit un fichier bien plus léger qu’une copie entièrement réentraînée du modèle. Pour utiliser l’adaptateur, il faut toutefois toujours disposer du modèle de base compatible ou fusionner les deux.

Exemple

Une équipe peut créer un adaptateur LoRA pour donner à un modèle d’images un style visuel particulier sans réentraîner ni distribuer une nouvelle copie complète du modèle.

Analogie

C’est comme ajouter un module spécialisé à une machine existante au lieu de reconstruire toute la machine.

Erreurs fréquentes

« Un fichier LoRA est un modèle complet. » Il dépend généralement du modèle de base pour fonctionner. « LoRA et quantification sont identiques. » LoRA adapte le comportement ; la quantification réduit la précision numérique des paramètres. « LoRA réduit automatiquement le coût d’inférence du modèle de base. » Son principal gain concerne l’adaptation et le stockage des variantes.

Termes liés

Sources

Microsoft Research — LoRA: Low-Rank Adaptation of Large Language Models — Microsoft Research · consulté le 2026-07-24
LoRA: Low-Rank Adaptation of Large Language Models — Hu et al. — arXiv · consulté le 2026-07-24

Dernière mise à jour : 24/07/2026 · Rédaction : Alban Speckaert