J’ai redonné le même rapport financier à Mistral juste pour voir : la bonne réponse est passée d’une fois sur quatre à presque toutes

Un tableau de résultats trimestriels, une colonne de marges, quelques notes de bas de page techniques : rien de sorcier pour un humain habitué aux bilans comptables. Pour une intelligence artificielle, c’est une autre histoire. Il y a quelques mois, j’ai soumis le même rapport financier à Mistral quatre fois de suite, avec des reformulations légèrement différentes de ma question. Résultat : une bonne réponse sur quatre. Le reste du temps, le modèle inventait des chiffres, confondait des lignes du bilan ou arrondissait des pourcentages de façon fantaisiste. Curieux de voir si les choses avaient bougé, j’ai réitéré l’exercice à l’identique cet été. Cette fois, la réponse correcte est sortie presque à chaque tentative.

Un taux d’erreur qui n’avait rien d’anecdotique

Ce n’était pas un hasard de débutant mal formulé. Les tâches financières figurent parmi les plus casse-gueule pour les grands modèles de langage, et les chiffres le confirment noir sur blanc. 78 % des entreprises de services financiers déploient désormais l’IA pour l’analyse de données, mais sans garde-fous, les taux d’hallucination sur les tâches financières varient de 15 à 25 %. Un quart d’erreurs, c’est à peu près ce que j’observais avec mon rapport test : un score cohérent avec la réalité du marché, pas une anomalie isolée.

Le coût de ces approximations n’est pas symbolique. Les entreprises signalent 2,3 erreurs significatives pilotées par l’IA par trimestre, avec des coûts d’incident individuels allant de 50 000 à 2,1 millions de dollars. De quoi refroidir n’importe quel directeur financier tenté de confier ses tableaux Excel à un chatbot sans vérification. D’ailleurs, une étude indépendante avait déjà pointé du doigt un problème similaire ailleurs : ChatGPT-4o hallucinait 20,0 % sur les références de littérature financière lors d’un benchmark. Le mal n’est donc pas propre à Mistral, il touche toute la catégorie des modèles généralistes appliqués à des documents chiffrés.

Ce qui a changé entre les deux tests

Entre mon premier essai et le second, Mistral n’est plus tout à fait la même entreprise. Fini le simple laboratoire de recherche : Mistral AI n’est plus un laboratoire, en 2026 l’entreprise mute en plateforme industrielle. Ce virage s’est traduit très concrètement sur les modèles eux-mêmes. Mistral Large 3, sorti fin 2025, a changé la donne côté architecture : le modèle emploie une architecture de mixture d’experts granulaire avec 675 milliards de paramètres au total et 41 milliards de paramètres actifs par passage, et supporte une fenêtre de contexte de 256K tokens, nativement multimodal et multilingue. Une fenêtre de contexte élargie, c’est concrètement la possibilité d’ingérer un rapport financier complet, annexes comprises, sans le découper en morceaux qui font perdre le fil des correspondances entre les tableaux.

Le second facteur, presque plus déterminant à mes yeux, concerne le traitement des documents en amont. Mistral a lancé en juin 2026 une nouvelle génération d’OCR taillée pour les documents structurés. Mistral OCR 4 traite 2 000 pages par minute dans 170 langues avec une précision de 85,20 sur OlmOCRBench. Surtout, l’enjeu n’est plus seulement de lire le texte mais de comprendre où il se trouve : le modèle identifie précisément les boîtes englobantes pour chaque élément, permettant une localisation spatiale exacte indispensable à la vérification humaine. Pour un rapport financier truffé de tableaux imbriqués, cette capacité à distinguer une sous-total d’un total général fait toute la différence entre une réponse juste et une réponse approximative.

Des progrès réels, mais pas une baguette magique

Attention à l’euphorie facile. Des tests indépendants menés sur les versions antérieures de l’OCR de Mistral avaient déjà mis en évidence des limites précises sur ce type de documents : l’OCR de Mistral a peiné avec les états financiers multi-colonnes contenant des sous-totaux imbriqués et des relations hiérarchiques. Et un défaut de reproductibilité subsistait, un point qui devrait alerter toute personne pensant automatiser un reporting sans contrôle : les workflows d’entreprise ont besoin de résultats cohérents et reproductibles, or les modèles de vision-langage comme Mistral montrent une variance de sortie même sur des entrées identiques. mon “presque toujours juste” n’est pas un “toujours juste”. Sur dix essais supplémentaires, il est probable qu’une réponse dérape encore, surtout sur des tableaux à la mise en page inhabituelle.

Un phénomène contre-intuitif mérite d’être signalé, car il nuance largement le mythe du modèle “toujours plus intelligent, donc toujours plus fiable”. Une analyse récente du secteur a montré que les modèles de raisonnement, ceux commercialisés comme les plus capables, sont systématiquement moins bons sur la synthèse ancrée : GPT-5, Claude Sonnet 4.5, Grok-4 et Gemini-3-Pro ont tous dépassé 10 % de taux d’hallucination sur ce type de tâche. L’explication tient en une phrase : les modèles de raisonnement investissent un effort computationnel à réfléchir aux réponses, ce qui les amène à ajouter des inférences et des connexions qui vont au-delà du contenu du document source. Un modèle qui “réfléchit trop” sur un bilan comptable a tendance à broder plutôt qu’à citer. Ironique, mais logique : sur un rapport financier, on ne demande pas de créativité, on demande de la fidélité au chiffre.

Ce que ça change pour qui manipule des chiffres au quotidien

Le progrès technique n’excuse pas la naïveté. Mistral elle-même positionne désormais son offre finance autour de la vérifiabilité plutôt que de la performance brute : l’entreprise mise sur une intelligence documentaire et de connaissance combinant OCR haute précision, larges fenêtres de contexte et RAG avancé pour traiter dossiers de crédit, polices et recherches. La promesse commerciale est claire, mais elle sous-entend aussi, en creux, que le modèle brut ne suffit toujours pas sans cette couche de vérification ajoutée.

Mon expérience improvisée n’a rien d’un protocole scientifique rigoureux, je le concède volontiers, mais elle illustre une trajectoire réelle et mesurable ailleurs dans le secteur. Le vrai enseignement n’est pas que Mistral serait devenu infaillible sur les rapports financiers, un tel constat serait prématuré et probablement faux. C’est plutôt que l’écart entre “un outil à double vérifier systématiquement” et “un outil sur lequel on peut s’appuyer avec une relecture ciblée” s’est nettement resserré en quelques mois. Reste à savoir combien de temps cet acquis tiendra face à la prochaine génération de rapports financiers toujours plus complexes, avec leurs tableaux consolidés sur plusieurs devises et leurs notes en petits caractères que même certains analystes humains survolent un peu vite.

Sources : intelligence-artificielle.developpez.com | emarketerz.fr