Scrutia vs audit humain : comparaison sur lyon.fr (résultat Temesis)

La Ville de Lyon a publié sa déclaration d'accessibilité basée sur un audit de conformité RGAA réalisé par Temesis, l'un des cabinets experts de référence en accessibilité numérique en France. Leur verdict : 81% de conformité sur 15 pages, avec 11 critères non conformes.

Nous avons passé le même site dans Scrutia pour voir ce qu'un outil automatisé peut détecter. Voici les résultats.

Les chiffres

	Audit Temesis	Scrutia (1 page)	Scrutia (17 pages)
Score	81%	60% confirmé / 79% estimé	En cours d'analyse
Pages auditées	15	1 (accueil)	17 (mêmes que Temesis)
Non-conformités	11	16	27
Méthode	Experts + lecteurs d'écran	Auto-verdicts + IA	Auto-verdicts + IA
Durée	~5 jours	2 minutes	~67 minutes
Coût	~5 000 - 10 000 EUR	~1 EUR	~18 EUR

Concordance : 10/11 non-conformités Temesis détectées

Critère	Temesis	Scrutia	Concordance
1.2 — Images de décoration	NC	NC	Identique
6.1 — Liens explicites	NC	NC	Identique
7.1 — Scripts compatibles AT	NC	NC	Identique
8.7 — Changements de langue	NC	NC	Identique
8.9 — Balises de présentation	NC	A vérifier	Prudence Scrutia
10.2 — Contenu visible sans CSS	NC	NC	Identique
10.11 — Reflow 320px	NC	NC	Identique
10.12 — Espacement du texte	NC	NC	Identique
11.1 — Étiquettes formulaires	NC	NC	Identique
12.8 — Ordre de tabulation	NC	NC	Identique
13.3 — Documents bureautiques	NC	A vérifier	Non testable en auto

Taux de concordance : 91% (10/11 NC détectées). Zéro faux négatif sur les critères testables automatiquement.

Ce que Scrutia détecte mieux

Scrutia a trouvé 16 non-conformités supplémentaires que Temesis n'a pas signalées :

8.2 — IDs HTML dupliqués dans les SVG (sur toutes les pages)
7.3/7.4 — Modale de cookies non contrôlable au clavier (aspect clavier du 7.1)
10.6 — Liens non soulignés avec même couleur que le texte
13.2 — 18 liens target="_blank" sans mention "nouvelle fenêtre"
9.1 — Titre <h1> vide sur la page d'accueil
12.9 — SVG focusable à l'intérieur d'un aria-hidden

Certaines sont des vrais problèmes que Temesis a peut-être jugés mineurs. D'autres reflètent une interprétation plus stricte de certains critères. Dans tous les cas, elles donnent au développeur des pistes d'amélioration concrètes.

Ce que Temesis détecte mieux

8.9 — Balises utilisées à des fins de présentation : nécessite une analyse sémantique fine du HTML que l'outil automatique ne peut pas trancher
13.3 — Documents bureautiques accessibles : il faut télécharger et ouvrir chaque PDF pour vérifier sa structure

Ces deux critères resteront toujours dans la catégorie "à vérifier manuellement". C'est une limite assumée de l'audit automatisé.

Pourquoi les scores diffèrent (60% vs 81%)

Le score Temesis (81%) et le score Scrutia (60% confirmé) ne sont pas directement comparables :

Temesis tranche tout. Leurs experts donnent un verdict ferme (C ou NC) sur chaque critère. Zéro "à vérifier".
Scrutia est prudent. 35 critères sont classés "à vérifier manuellement" — ils ne comptent ni comme conformes ni comme non conformes. Si on les considère comme conformes (hypothèse raisonnable pour un site bien structuré), le score estimé de Scrutia monte à 79% — très proche des 81% de Temesis.
Scrutia est plus strict. 16 NC supplémentaires trouvées par Scrutia abaissent mécaniquement le score confirmé.

Ce que ça démontre

L'audit automatisé couvre 91% des problèmes réels

Sur les 11 critères que Temesis a identifiés comme non conformes, Scrutia en détecte 10 automatiquement. Le seul qu'il ne peut pas trancher (documents bureautiques) est fondamentalement non testable sans humain.

L'IA ne remplace pas l'expert, elle l'accélère

Un audit Temesis prend plusieurs jours et coûte plusieurs milliers d'euros. Scrutia produit un pré-audit en 2 minutes pour ~1 EUR. L'idée n'est pas de remplacer l'expert mais de donner aux équipes techniques un diagnostic immédiat et actionnable avant de faire appel à un cabinet.

La fourchette de score est plus honnête qu'un chiffre unique

Afficher "60% — 79%" est plus transparent qu'un faux 60% ou un optimiste 79%. Le lecteur comprend que le vrai score se situe dans cette fourchette, et que les critères "à vérifier" nécessitent une attention humaine.

Méthodologie

Audit Temesis : réalisé en novembre 2024 par Temesis sur 15 pages avec NVDA, JAWS et VoiceOver. Résultats publiés dans la déclaration d'accessibilité de lyon.fr.
Audit Scrutia : réalisé le 3 avril 2026 par Scrutia v6 sur la page d'accueil. 106 critères RGAA 4.1.2 évalués par 35 auto-verdicts déterministes + analyse Claude (Sonnet/Haiku). Coût : 0,97 EUR. Durée : 2 minutes.
Les méthodologies officielles RGAA (253 sous-tests) sont intégrées dans le moteur v6 de Scrutia.

Vous voulez comparer votre audit officiel avec Scrutia ? Lancez un pré-audit gratuit et comparez les résultats.