Scrutia vs un audit humain : 91% de concordance

Quand on lance un outil automatisé sur un site, la question est toujours la même : est-ce que ça vaut quelque chose par rapport à un vrai audit ?

Nous avons décidé de répondre avec des données. Nous avons comparé les résultats de Scrutia avec les déclarations d'accessibilité officielles de 9 sites publics français — des audits réalisés par des cabinets experts reconnus sur des échantillons de 13 à 22 pages.

Le chiffre clé : ±5 points d'écart

Sur les 5 sites ayant un audit récent (2024-2025), l'écart moyen entre le score estimé de Scrutia et le score officiel est de ±5 points. C'est remarquablement proche pour un outil automatisé qui audite une seule page en 2 minutes.

Les résultats les plus serrés :

lyon.fr : 79% estimé Scrutia vs 81% officiel (écart : 2 points)
rennes.fr : 89% estimé Scrutia vs 84% officiel (écart : 5 points)
has-sante.fr : 74% estimé Scrutia vs 82% officiel (écart : 8 points)

L'analyse détaillée : lyon.fr

C'est sur lyon.fr que nous avons poussé la comparaison le plus loin. L'audit officiel, réalisé en novembre 2024 sur 18 pages, a trouvé 81% de conformité et 11 critères non conformes.

Scrutia a retrouvé 10 de ces 11 non-conformités automatiquement :

Images de décoration mal ignorées par les technologies d'assistance
Liens non explicites ("En savoir plus" sans contexte)
Modale de cookies non compatible avec les technologies d'assistance
Changements de langue non signalés dans le code source
Contenu invisible lorsque les CSS sont désactivées
Débordement horizontal sur écran de 320 pixels
Espacement du texte non personnalisable sans perte de contenu
Champs de formulaire sans étiquette associée
Ordre de tabulation incohérent
Et plus encore

Le seul critère non détecté concerne les documents bureautiques en téléchargement — il faut ouvrir chaque PDF pour vérifier sa structure, ce qu'aucun outil automatisé ne peut faire.

8 problèmes supplémentaires

Au-delà de la concordance, Scrutia a identifié 8 non-conformités supplémentaires que l'audit officiel n'avait pas signalées :

Des SVG focusables à l'intérieur d'éléments aria-hidden, créant des pièges clavier sur 13 pages
18 liens ouvrant de nouvelles fenêtres sans en informer l'utilisateur
Des IDs HTML dupliqués dans les SVG sur toutes les pages
Un titre h1 vide sur la page d'accueil
Des liens dans le texte visuellement indistinguables du texte courant

Certains sont des vrais problèmes que l'audit officiel a peut-être jugés mineurs. D'autres reflètent une interprétation plus stricte de certains critères RGAA. Dans tous les cas, ce sont des pistes d'amélioration concrètes pour les équipes techniques.

Pourquoi les scores diffèrent

Le score officiel (81%) et le score confirmé de Scrutia (60%) semblent éloignés. Mais ils ne mesurent pas la même chose :

L'audit humain tranche tout. Les experts donnent un verdict ferme (conforme ou non conforme) sur chaque critère. Zéro critère "à vérifier".

Scrutia est prudent. 35 critères sont classés "à vérifier manuellement" — ils ne comptent ni comme conformes ni comme non conformes. Si on les considère comme conformes (hypothèse raisonnable pour un site bien structuré comme lyon.fr), le score estimé monte à 79% — à 2 points du score officiel.

Scrutia est aussi plus strict. Les 8 non-conformités supplémentaires trouvées par Scrutia abaissent mécaniquement le score confirmé. Un expert humain aurait peut-être classé certaines d'entre elles comme mineures ou les aurait regroupées.

C'est pourquoi Scrutia affiche désormais une fourchette (60% — 79%) au lieu d'un chiffre unique. La réalité se situe entre les deux, et l'audit officiel (81%) le confirme.

Ce que ça veut dire pour vous

Un pré-audit en 2 minutes, pas en 5 jours

Un audit complet par un cabinet expert prend plusieurs jours et coûte plusieurs milliers d'euros. C'est justifié et nécessaire pour la conformité légale. Mais entre deux audits officiels, comment savoir si une refonte a introduit des régressions ? Comment prioriser les corrections ?

Scrutia donne un diagnostic immédiat et actionnable. En 2 minutes, vous savez quels sont les problèmes les plus critiques, avec du code correctif pour chacun.

Complémentaire, pas concurrent

L'idée n'est pas de remplacer l'expertise humaine. 47 critères sur 106 nécessitent fondamentalement un humain (test avec lecteur d'écran, analyse visuelle, vérification de documents). Scrutia couvre automatiquement les 59 autres et identifie précisément les 47 restants pour vérification manuelle.

Le scénario idéal : Scrutia en continu (à chaque déploiement, chaque sprint) + audit expert une fois par an pour la déclaration officielle.

Des résultats reproductibles

Contrairement à un scanner qui donne un résultat différent à chaque passage, 35 des verdicts de Scrutia sont des auto-verdicts déterministes — du code JavaScript qui vérifie le DOM, pas de l'IA qui interprète. Même page, même résultat, à chaque fois.

Méthodologie

Les scores Scrutia sont des "scores estimés" : ils incluent les critères "à vérifier manuellement" comme potentiellement conformes. Les scores officiels proviennent des déclarations d'accessibilité publiées sur chaque site, basées sur des audits réalisés par des cabinets indépendants avec des lecteurs d'écran (NVDA, JAWS, VoiceOver) sur des échantillons de 13 à 22 pages.

Toutes les données de comparaison sont consultables sur notre page de validation.

Vous voulez comparer votre site avec votre dernier audit officiel ? Lancez un pré-audit gratuit sur Scrutia.