L'IA en Comptabilité : Comparatif Luca vs LLM généralistes
Que mesurent ces chiffres ?
- Score moyen
- Sur 100, c’est la note moyenne obtenue par le modèle sur l’ensemble des questions (chaque question est notée de 0 à 10, ramenée ici sur 100).
- Sans Luca
- Le même modèle, mais interrogé directement, sans l’environnement Luca. Sert de point de comparaison.
- Réponses non nulles
- Part des questions ayant obtenu au moins un peu de points (sinon, c’est un échec complet).
- Erreurs majeures
- Part des questions contenant une erreur technique grave (faux fondement juridique, calcul completement faux, etc.).
Qu’apporte Luca de ComptaSecure ?
Au delà de l’amélioration de la performance et de la fiabilité de chaque Modèle ou LLM, Compta Secure, au travers de son IA Luca, sélectionne les meilleurs LLMs du moment et les combine pour proposer un ensemble plus fiable et performant pour les professionnels du chiffre. Par ailleurs Luca est déployé sur des serveurs dédiés et sécurisés en France avec la garantie de confidentialité et de non utilisation pour l’entrainement des modèles.
Classement par score moyen (sur 100)
Plus le score est élevé, meilleure est la performance. Les étiquettes « Sans Luca » représentent le même modèle interrogé directement, pour comparaison.
En moyenne, Luca améliore le score de 10.1 pts / 100 et réduit les erreurs majeures de 3.5 points.
Comparaison détaillée
Pour chaque modèle, comparaison du score moyen et du taux d’erreurs majeures avec et sans l’environnement Luca.
| # | Évaluation | Questions | Score moyenPlus = mieux | Erreurs majeuresMoins = mieux | ||
|---|---|---|---|---|---|---|
| Avec Luca | Sans Luca | Avec Luca | Sans Luca | |||
| 1 | OpenAI GPT-5.4 100 questions × 1 génération |
100 | 57.7 |
48.8−8.9 pts |
18.0 |
24.0+6.0 pts |
| 2 | DeepSeek V4 Flash 100 questions × 1 génération |
100 | 55.6 |
38.9−16.7 pts |
31.0 |
37.2+6.2 pts |
| 3 | Claude Opus 4.6 50 questions × ancien moteur |
50 | 52.3 |
43.7−8.6 pts |
34.0 |
34.0±0,0 pts |
| 4 | OpenAI GPT-4.1 50 questions × ancien moteur |
50 | 42.7 |
35.0−7.7 pts |
32.0 |
30.0−2.0 pts |
| 5 | Zhipu GLM 5.2 10 questions × 3 générations |
10 | 29.3 |
20.5−8.8 pts |
36.7 |
44.0+7.3 pts |
Analyse des données comptables
Résultats sur un ensemble de recherche et d'analyse complexe sur la donnée comptable. A VENIR