Méthodologie des classements

Principes

• Chaque classement est organisé par cas d’usage.
• Chaque classement est daté et affiche sa dernière mise à jour.
• Chaque classement prend en compte plusieurs critères, jamais un seul indicateur.
• Chaque classement s’appuie sur des sources identifiables.
• Un classement peut évoluer avec les modèles, les versions et les prix.
• Un classement n’est pas une vérité absolue ; il ne doit pas être confondu avec un classement global.

Critères pris en compte

Selon le cas d’usage, tout ou partie des critères suivants peut entrer en jeu :

• Qualité des résultats
• Fiabilité
• Facilité d’utilisation
• Prise en charge du français
• Prix
• Vitesse
• Confidentialité
• Limites d’usage
• Disponibilité (zones géographiques, dépendances)
• Qualité de la documentation
• Résultats de benchmarks reconnus
• Tests éditoriaux reproductibles

Sources

Nous distinguons trois types de sources :

• Source primaire : documentation officielle de l’éditeur (spécifications, page de tarifs, politique de confidentialité).
• Benchmark tiers : résultats publiés par un organisme, une équipe de recherche ou une publication indépendante et vérifiable.
• Évaluation éditoriale : tests réalisés par l’équipe Notitia, sur des protocoles reproductibles et documentés.

Chaque classement affiche la date de vérification des informations et, lorsque possible, la version exacte du modèle évalué.

Indépendance et transparence commerciale

• Nous n’inventons ni benchmark, ni citation, ni partenariat.
• Tout lien affilié ou partenariat est clairement signalé.
• Un partenariat commercial ne détermine jamais la position dans un classement.
• Les décisions éditoriales sont prises indépendamment des relations commerciales.

Classement dynamique « Meilleures IA pour coder » (coding-v2)

Pour la catégorie « Meilleures IA pour coder », Notitia calcule un indice dynamique à partir de deux sources indépendantes :

• Arena WebDev — leaderboard overall de LMArena (préférence humaine sur tâches de développement web).
• LLM Stats — Coding — endpoint officiel /rankings?category=code, méthode TrueSkill, avec un conservative_rating défini par μ − 3σ (borne inférieure prudente).

Le score de chaque source est ensuite normalisé séparément en percentile 0–100 sur l'ensemble des modèles éligibles du run courant. Les échelles brutes ne sont jamais additionnées.

L'indice Notitia pondère ces percentiles à 45 % Arena WebDev + 55 % LLM Stats Coding, un léger biais éditorial en faveur de la capacité mesurée. Un modèle n'entre dans le classement que s'il est présent dans les deux sources — l'intersection est stricte.

Les percentiles sont relatifs à l'échantillon éligible : une valeur de 0 indique la dernière position du comparatif, pas une absence de capacité. Le prix n'entre pas dans ce classement et sera utilisé séparément pour un futur classement « qualité-prix ».

Les snapshots sont validés puis publiés manuellement ; chaque publication trace les dates Arena et LLM Stats correspondantes. Notitia n'a aucune relation commerciale avec LMArena, LLM Stats ou les éditeurs des modèles classés.

Corrections et mises à jour

Vous avez repéré une erreur, une information obsolète ou un modèle manquant ? Écrivez-nous à support@notit-ia.app. Les coordonnées et informations utiles figurent sur la page Support.

Limites

Les classements Notitia sont un guide d’aide au choix, pas un jugement définitif. Le contexte (données traitées, budget, contraintes réglementaires, préférences linguistiques) reste déterminant. Nous recommandons de tester les outils sur vos propres cas avant toute décision d’adoption professionnelle.