I.
Pour les développeurs de systèmes d'IA
Évaluations de sécurité, de robustesse et de fiabilité avant mise sur le marché. Un regard extérieur, documenté, opposable.
Évaluer un système →« Science sans conscience n'est que ruine de l'âme. »
Évaluations indépendantes des systèmes d'IA
Mesurer ce que l'IA sait faire. Et ce qu'elle devrait faire.
RabelAI évalue les systèmes d'IA de manière indépendante et rigoureuse, pour les entreprises qui les développent, les régulateurs qui les encadrent et les chercheurs qui les étudient.
Une interface entre ceux qui construisent l'IA et ceux qui en répondent.
Les mêmes protocoles, la même exigence, trois manières d'y accéder.
II.
Pour les régulateurs et institutions
Des protocoles alignés sur les exigences européennes, et des résultats lisibles pour éclairer la décision publique.
Travailler ensemble →III.
Pour la recherche et la société
Un think tank sur le développement bénéfique de l'IA : notes, analyses et prises de position fondées sur nos mesures.
Lire nos publications →Méthode
La science des mesures, la conscience de leurs conséquences.
Indépendance
Aucun lien capitalistique avec les développeurs évalués. Nos conclusions ne se négocient pas.
Reproductibilité
Protocoles documentés, versionnés et rejouables. Chaque score peut être retracé jusqu'à sa source.
Transparence
Méthodologies publiques, limites explicites. Ce que nous ne mesurons pas est dit aussi clairement que ce que nous mesurons.
Ancrage européen
Données hébergées en Europe, cadre de travail pensé avec l'AI Act.
Première évaluation de référence
BELLS-O : les systèmes de supervision des LLM à l'épreuve du terrain
Garde-fous spécialisés ou LLM de frontière utilisés comme superviseurs : lesquels détectent le mieux les usages malveillants, à quel coût et avec quelle latence ? Le premier benchmark opérationnel indépendant de ces systèmes.
- systèmes évalués
- 28
- fournisseurs
- 17
- catégories de risques
- 11
- techniques de jailbreak
- 13
Modération de contenu
Les meilleurs garde-fous spécialisés détectent environ 95 % des contenus malveillants, contre 94 % pour les LLM de frontière, avec 2 % de faux positifs ou moins. Ils sont 5 à 10 fois plus rapides et environ 10 fois moins chers.
- Détection
- ≈ 95 % contre 94 %
- Latence
- 5–10× plus rapides
- Coût
- ≈ 10× moins chers
Détection de jailbreaks
Les LLM de frontière détectent davantage d'attaques et produisent moins de faux positifs, mais coûtent 10 à 50 fois plus cher, avec une latence 5 à 10 fois supérieure.
- Détection
- LLM de frontière en tête
- Latence
- 5–10× supérieure
- Coût
- 10–50× plus cher
Mené en collaboration avec
UK AI Security Institute
Royaume-Uni
CeSIA
Centre pour la Sécurité de l'IA
SPAR
Supervised Program for Alignment Research
Offres
Du rapport ponctuel à l'évaluation sur mesure.
Rapports d'évaluation
L'analyse complète d'un système : protocoles, résultats détaillés, limites et recommandations.
À partir de [PRIX]
Parcourir les rapportsÉvaluation sur mesure
Votre système, vos cas d'usage, vos exigences réglementaires. Un protocole conçu pour vous, un rapport opposable.
Sur devis
Prendre rendez-vousAccès aux données
Les résultats d'évaluations structurés et mis à jour, pour vos propres analyses et votre veille.
Bientôt disponible
Être tenu informéThink tank
Penser le développement bénéfique de l'IA.
Garde-fous spécialisés ou LLM de frontière : ce que révèle BELLS-O
28 systèmes de supervision évalués sur la détection, les faux positifs, la latence et le coût. Aucun ne domine partout : le bon choix dépend de l'usage.
Lire l'article →Pourquoi Rabelais
Un humaniste de la Renaissance face à la révolution du savoir.
Médecin, savant et écrivain, Rabelais a vécu l'irruption de l'imprimerie : une technologie qui démultipliait l'accès au savoir. Dans Pantagruel, il rappelait que la connaissance ne vaut que guidée par la conscience.
Cinq siècles plus tard, l'IA pose la même question à une autre échelle. RabelAI existe pour que la mesure des capacités ne soit jamais séparée de la réflexion sur leurs effets.
Parlons de votre système.
Un premier échange de trente minutes pour cadrer vos besoins, sans engagement.