Garde-fous spécialisés ou LLM de frontière : ce que révèle BELLS-O

Tout système d'IA déployé à grande échelle est aujourd'hui entouré de superviseurs : des systèmes chargés de repérer les requêtes malveillantes, les réponses dangereuses et les tentatives de contournement. Deux familles s'affrontent. D'un côté, des garde-fous spécialisés, entraînés pour cette seule tâche. De l'autre, des LLM généralistes de frontière, utilisés comme juges.

Les benchmarks existants comparent surtout leur précision. En production, ce n'est qu'une partie de la question : un superviseur trop lent dégrade l'expérience, un superviseur trop cher ne passe pas à l'échelle, et un superviseur qui bloque des requêtes légitimes finit par être désactivé. BELLS-O est le premier benchmark opérationnel indépendant qui mesure ces quatre dimensions ensemble.

Ce que nous avons mesuré

Nous avons évalué 28 systèmes issus de 17 fournisseurs sur deux tâches. La modération de contenu couvre 11 catégories de risques, en entrée comme en sortie du modèle. La détection de jailbreaks couvre 13 techniques d'attaque. Pour chaque système, nous mesurons le taux de détection, le taux de faux positifs, la latence et le coût monétaire.

Les jeux de données combinent des requêtes rédigées à la main, des échantillons sélectionnés par des experts et des données synthétiques paraphrasées pour effacer les empreintes du modèle qui les a générées : 1 400 requêtes et 1 300 paires entrée-sortie pour la modération, 6 406 jailbreaks construits à partir de 720 requêtes de base, complétés par des jeux publics.

Modération : les spécialistes dominent

Sur la modération de contenu, les meilleurs garde-fous spécialisés atteignent environ 95 % de détection, contre 94 % pour les LLM de frontière, avec dans les deux cas 2 % de faux positifs ou moins. À performance égale, les spécialisés sont 5 à 10 fois plus rapides et environ 10 fois moins chers.

Jailbreaks : l'avantage aux généralistes, à un prix

La détection de jailbreaks renverse le classement. Les LLM de frontière détectent davantage d'attaques et déclenchent moins de fausses alertes, mais leur coût est 10 à 50 fois supérieur et leur latence 5 à 10 fois plus élevée.

L'écart est particulièrement net sur les requêtes bénignes qui ont la forme d'un jailbreak : le taux médian de faux positifs y atteint 30,5 % pour les superviseurs spécialisés, contre 10,2 % pour les généralistes.

Synthèse des résultats. Source : Waibl, Michalak et Mariaccia, 2026.
Tâche	Meilleure détection	Coût	Latence
Modération de contenu	Spécialisés, ≈ 95 % (généralistes ≈ 94 %)	Spécialisés ≈ 10× moins chers	Spécialisés 5–10× plus rapides
Détection de jailbreaks	Généralistes, avec moins de faux positifs	Généralistes 10–50× plus chers	Généralistes 5–10× plus lents

Plus capable ne veut pas dire plus vigilant

Au sein d'une même famille de modèles, la version la plus capable réduit les faux positifs sans améliorer la détection. Claude Sonnet 4.6 descend à 8,6 % de faux positifs contre 15,5 % pour Sonnet 4.5, pour une détection quasi identique (66,0 % contre 65,8 %). Ministral 14B affiche 6,4 % de faux positifs, contre 22,7 % pour sa version 3B.

Des angles morts partagés

Certaines attaques échappent aux deux familles. Les jailbreaks en art ASCII ne sont détectés qu'à 43,1 % en médiane par les spécialisés, et à 10,1 % par les généralistes. Les injections de prompt restent elles aussi mal couvertes.

Il n'existe pas de meilleur superviseur dans l'absolu, seulement un meilleur superviseur pour un usage donné.

Ce qu'il faut en retenir

Choisir un superviseur en lisant un classement figé est une erreur. Le bon choix dépend de la tâche, du volume de requêtes, du budget de latence et du coût acceptable d'un faux positif. Ces arbitrages doivent être réexaminés à chaque déploiement, à partir de mesures faites dans les conditions réelles d'usage.

C'est précisément la démarche de RabelAI : mesurer ce qui compte pour votre contexte, avec des protocoles ouverts et reproductibles.

BELLS-O a été mené par Leonhard Waibl, Felix Michalak et Hadrien Mariaccia, en collaboration avec le UK AI Security Institute, le Centre pour la Sécurité de l'IA (CeSIA) et le Supervised Program for Alignment Research (SPAR).