Icon LLM Monitor LLM Monitor
Guide GEO · Mesure de la visibilité IA

Mesurer sa visibilité dans ChatGPT : pourquoi une seule réponse ne prouve rien

Posez deux fois la même question à ChatGPT, Gemini ou Claude : vous obtiendrez deux réponses différentes. La visibilité d'une marque dans les IA génératives ne se lit donc pas sur une capture d'écran. Elle se mesure en fréquence de présence, calculée sur des dizaines de questions répétées, avec une marge d'erreur connue. Testez-le vous-même avec les deux outils de cette page.

Par Guillaume Fraybin, CEO de LLM Monitor · Mis à jour le 30 septembre 2026 · 10 min de lecture

< 1 sur 100chance d'obtenir deux fois la même liste de marques sur 100 requêtes identiquesSparkToro et Gumshoe, janvier 2026 [1]
74 %des sources citées par ChatGPT remplacées d'une semaine à l'autreSISTRIX, mai 2026 [2]
± 17 ptsde marge d'erreur sur un taux de 50 % mesuré avec 30 exécutionsIntervalle de Wilson à 95 % [17]
1. Le constat

Une IA ne répond jamais deux fois pareil

Un modèle de langage comme ChatGPT, Gemini ou Claude écrit sa réponse un mot après l'autre. À chaque étape, il calcule la probabilité de chaque mot possible, puis en tire un au sort. Ce tirage est voulu : il rend les réponses plus naturelles et plus variées. Google recommande d'ailleurs de laisser la « température » de Gemini 3, le réglage qui dose ce hasard, à sa valeur par défaut de 1,0 [6].

Réduire ce réglage à zéro ne suffit même pas à rendre un modèle prévisible. Anthropic précise que « même avec une température de 0,0, les résultats ne seront pas entièrement déterministes » [7]. Les chercheurs de Thinking Machines Lab ont soumis 1 000 fois le même prompt à température 0 : ils ont obtenu 80 réponses différentes, à cause de la manière dont les serveurs regroupent les requêtes [14].

Pour une marque, la conséquence est directe. SparkToro et Gumshoe ont fait exécuter 12 prompts 2 961 fois par 600 volontaires sur ChatGPT, Claude et l'IA de Google : il y a moins d'une chance sur 100 d'obtenir deux fois la même liste de marques, et environ une chance sur 1 000 d'obtenir le même ordre [1]. Leur conclusion : un pourcentage de visibilité calculé sur des prompts répétés est « une métrique raisonnable », une « position dans l'IA » isolée ne l'est pas.

2. Testez par vous-même

Simulateur : posez la même question 100 fois

Ce simulateur reproduit le comportement d'une IA qui recommande des marques. Chaque marque a une probabilité fixe d'être citée. Relancez la question plusieurs fois, puis lancez-la 100 fois : observez ce qui change et ce qui se stabilise.

Simulateur de réponses d'IA
“Quel bracelet de santé au quotidien me conseilles-tu ?”
0 exécution(s)
0 liste différente
Dernière réponse
Cliquez sur « Relancer la question »
Cliquez sur « Relancer la question » pour obtenir une première réponse.
Simulation pédagogique : marques et probabilités fictives.
1Les listes changent presque à chaque fois

Sur 100 réponses, vous verrez des dizaines de listes différentes : marques citées, nombre de marques et ordre varient.

2Les fréquences, elles, se stabilisent

Plus vous lancez de réponses, plus le pourcentage de chaque marque converge vers sa vraie probabilité. C'est lui qu'il faut suivre.

3La première place est trompeuse

Une marque citée très souvent n'arrive pas toujours en tête. Un rang observé sur une seule réponse ne dit presque rien.

3. Une deuxième source de variation

Les sources citées changent aussi chaque semaine

Quand une IA cherche sur le web pour répondre, elle ne consulte pas toujours les mêmes pages. SISTRIX a suivi 82 619 prompts pendant 17 semaines, dans six pays, entre décembre 2025 et avril 2026 [2]. Part des sources citées remplacées d'une semaine à l'autre :

La même étude montre un point rassurant : pour 86 % des prompts, un noyau stable de quelques domaines reste cité semaine après semaine, tandis que le reste tourne. D'autres mesures vont dans le même sens. AirOps observe que seules 30 % environ des marques restent visibles d'une exécution à la suivante, sur plus de 45 000 citations analysées [4]. Semrush, sur 126 millions de prompts, ne compte que 36 marques restées dans le top 100 de toutes les plateformes chaque mois de janvier à avril 2026 [3]. Et pour une même requête, AI Mode et AI Overviews ne partagent que 13,7 % de leurs citations [15].

À cela s'ajoute la personnalisation. ChatGPT peut utiliser la mémoire de l'utilisateur et sa localisation approximative pour réécrire la requête de recherche [8]. Google personnalise AI Mode avec Personal Intelligence (Gmail, Photos) depuis janvier 2026 [9]. Deux personnes qui posent la même question ne voient donc pas la même réponse.

4. La bonne méthode

Combien d'exécutions pour une mesure fiable ?

Si chaque réponse est un tirage, la visibilité d'une marque est une probabilité : la part des réponses dans lesquelles elle apparaît. Mesurer cette probabilité, c'est comme réaliser un sondage. Plus l'échantillon est grand, plus la marge d'erreur est petite. Le calculateur ci-dessous montre cette marge pour le nombre d'exécutions et le taux de mention de votre choix.

Calculateur de marge d'erreur
30
50 %
± 17 pts

Avec 30 exécutions, un taux observé de 50 % signifie que la vraie visibilité se situe entre 33 % et 67 %.

Exécutions1030100400
Intervalle pour 50 % observé24 à 76 %33 à 67 %40 à 60 %45 à 55 %

Comment lire le calculateur

Le point vert est le taux que vous avez observé. La bande verte est l'intervalle de confiance à 95 % : la zone où se trouve très probablement la vraie visibilité de la marque. Une seule exécution, c'est pile ou face : la bande couvre presque tout l'axe. À 30 exécutions, un taux de 50 % peut encore valoir entre 33 et 67 %. À 100, entre 40 et 60 %. Pour descendre à plus ou moins 5 points, il faut environ 385 observations.

Deux travaux publiés en septembre 2026 confirment l'intérêt de répéter. Le premier montre qu'une seule exécution ne fait apparaître que 2 marques sur 3 parmi celles qu'on découvre en 5 exécutions (62 à 77 % selon les modèles), et qu'à partir de 10 exécutions, on voit déjà 93 à 95 % des marques observées sur 15 : au-delà, les nouvelles découvertes deviennent rares [12]. Le second recommande de traiter les recommandations d'une IA « comme une distribution de probabilité plutôt que comme une liste unique observée » [13].

En pratique, on n'atteint pas 385 observations en répétant 385 fois une seule question. On combine des répétitions (chaque question posée plusieurs fois) et de la largeur (des dizaines de questions par thème et par persona). C'est aussi plus représentatif de la réalité : vos clients ne posent jamais exactement la même question.

5. Notre approche

La méthode LLM Monitor : mesurer ce qui est stable

Tout ce qui précède résume le problème que nous nous évertuons à résoudre chaque jour chez LLM Monitor : transformer des réponses d'IA aléatoires en indicateurs de visibilité fiables, comparables dans le temps et face à vos concurrents. Plutôt qu'une capture d'écran, nous calculons un niveau de visibilité « à partir de plusieurs exécutions » [20], sur ChatGPT, Gemini, Claude, Mistral et d'autres modèles [21].

Les outils gratuits ne suffisent pas à le faire. Google recommande de suivre sa visibilité avec le nouveau rapport IA générative de la Search Console [10], mais ce rapport compte les liens affichés (les citations), pas les mentions de votre marque dans le texte des réponses [11]. Or seules 23,1 % des mentions de marque sont accompagnées d'une citation dans la même réponse [5] : une marque peut être recommandée sans jamais apparaître dans ce rapport.

01

Répéter

Chaque question est exécutée plusieurs fois. La visibilité est calculée sur l'ensemble des exécutions, jamais sur une réponse isolée.

02

Élargir

Personas × thèmes × questions : on couvre les nombreuses sous-questions que se posent vos clients, pas un seul mot-clé.

03

Comparer

Plusieurs modèles et vos concurrents, interrogés sur les mêmes questions, pour une part de voix mesurée à armes égales.

04

Suivre

Des fréquences et des tendances dans le temps, plutôt qu'une position isolée qui change à chaque réponse.

Visibility Score

Mesure la fréquence et la position des mentions de votre marque dans les réponses analysées.

Share of Voice

Compare la présence de votre marque à celle de vos concurrents, sur les mêmes réponses.

Brand Ranking

Classe les marques du panel selon leur visibilité, calculée sur des centaines de réponses.

Mesurez la visibilité de votre marque dans les IA avec une méthode statistique robuste, par persona, par thème et par modèle.

Essayer LLM Monitor gratuitement pendant 1 mois
6. FAQ

Questions fréquentes

Pourquoi ChatGPT ne donne-t-il pas toujours la même réponse ?

Parce qu'il écrit sa réponse mot après mot en tirant au sort parmi les mots les plus probables. S'y ajoutent les variations de la recherche web (sous-requêtes, sources consultées), la charge des serveurs et le contexte de l'utilisateur (mémoire, localisation). Selon SparkToro, il y a moins d'une chance sur 100 d'obtenir deux fois la même liste de marques sur 100 requêtes identiques [1].

Combien de fois faut-il poser une question pour mesurer la visibilité d'une marque ?

Jamais une seule. Avec 30 exécutions, un taux observé de 50 % correspond à une visibilité réelle comprise entre 33 % et 67 %. Avec 100 exécutions, entre 40 % et 60 %. Pour une précision de plus ou moins 5 points, comptez environ 385 observations, en combinant répétitions et diversité des questions.

Une capture d'écran de ChatGPT prouve-t-elle qu'une marque est bien positionnée ?

Non. C'est un seul tirage parmi des milliers de réponses possibles, qui dépend en plus du profil de la personne qui a posé la question. La visibilité se mesure en fréquence, sur des dizaines de questions répétées.

Qu'est-ce que l'intervalle de Wilson ?

Une méthode statistique proposée par Edwin B. Wilson en 1927 pour estimer la marge d'erreur d'une proportion, comme le pourcentage de réponses qui citent une marque. Contrairement à la formule classique, il reste fiable avec peu d'observations et pour des taux proches de 0 % ou de 100 % [17] [18].

Le classement d'une marque dans ChatGPT est-il un indicateur fiable ?

Une position isolée, non : l'ordre des marques change presque à chaque réponse. Un classement n'a de sens que s'il est calculé sur un grand nombre de réponses, par exemple en classant les marques selon leur fréquence de citation.

7. Sources

Bibliographie détaillée

Toutes les sources ont été consultées le 30 septembre 2026. Les dates indiquées sont celles de publication, et de mise à jour quand elle est connue.

Études et données de marché (2026)

  1. 1NEW Research: AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility2026
    Rand Fishkin (SparkToro) et Patrick O'Donnell (Gumshoe) · publié le 28 janvier 2026, mis à jour le 28 juin 2026 · étude indépendante, non évaluée par des pairs600 volontaires, 12 prompts, 2 961 exécutions sur ChatGPT, Claude et Google AI. Moins d'une chance sur 100 d'obtenir deux fois la même liste de marques, environ une sur 1 000 pour le même ordre. Conclusion : un % de visibilité sur des prompts répétés est une métrique raisonnable, une « position dans l'IA » ne l'est pas.
  2. 2AI citation drift: how stable are sources in AI search results?2026
    Johannes Beus, SISTRIX · publié le 1er mai 2026, modifié le 12 mai 202682 619 prompts, 1,55 million de captures, 6 pays dont la France, 17 semaines (17 décembre 2025 au 8 avril 2026). Remplacement hebdomadaire des sources : ChatGPT 74 %, AI Mode 56 %, AI Overviews 5 %. Noyau stable de quelques domaines pour 86 % des prompts, le reste tournant à 89 % par semaine.
  3. 3Semrush releases expanded 2026 AI Visibility Index analyzing 126 million AI search prompts2026
    Semrush · 26 juin 2026 · communiqué d'étude126 millions de prompts américains (janvier à avril 2026) sur ChatGPT, Gemini, AI Mode et AI Overviews. Seules 36 marques sont restées dans le top 100 de toutes les plateformes chaque mois.
  4. 4LLM Mentions vs Citations: What They Mean and Why Both Matter2026
    AirOps · 15 juin 2026 · article d'éditeurSur plus de 45 000 citations analysées, seules 30 % environ des marques restent visibles d'une exécution à la suivante.
  5. 5How AI Mentions and Cites Your Brand (New Study)2026
    BuzzStream · 29 juin 2026, mis à jour le 14 juillet 202612 000 réponses, environ 200 marques, 4 plateformes : seules 23,1 % des mentions de marque sont accompagnées d'une citation dans la même réponse. Utile pour distinguer ce qu'on mesure : mention ou citation.

Documentation des fournisseurs d'IA

  1. 6Gemini 3 Developer Guide2026
    Google AI for Developers · mis à jour le 23 septembre 2026« Nous recommandons vivement de garder le paramètre de température à sa valeur par défaut de 1,0 » : les modèles actuels fonctionnent avec une part de hasard assumée.
  2. 7Messages API reference (paramètre temperature)2026
    Anthropic, Claude Platform Docs · consulté le 30 septembre 2026« Même avec une température de 0,0, les résultats ne seront pas entièrement déterministes. » Les modèles sortis après Claude Opus 4.6 ne permettent plus de régler la température.
  3. 8Searching the web with ChatGPT2026
    OpenAI Help Center · mis à jour en 2026ChatGPT réécrit la question en une ou plusieurs requêtes ciblées, et peut utiliser la mémoire et une localisation approximative de l'utilisateur pour le faire.
  4. 9Personal Intelligence in AI Mode2026
    Robby Stein, Google · 22 janvier 2026AI Mode peut adapter ses réponses à l'utilisateur à partir de Gmail et Google Photos (sur activation) : une source de variation supplémentaire d'une personne à l'autre.
  5. 10Google's Guide to Optimizing for Generative AI Features on Google Search2026
    Google Search Central · mis à jour le 10 juillet 2026Définit le query fan-out et le grounding, et recommande de mesurer sa visibilité avec le rapport IA générative de la Search Console.
  6. 11Rapport sur les performances de l'IA générative (Search Console)2026
    Google Search Console Help · rapport disponible pour tous les sites depuis le 31 août 2026Compte les impressions des liens d'un site dans AI Overviews et AI Mode (sans les clics à ce jour) : une mesure des citations, pas des mentions.

Travaux de recherche (2025-2026)

  1. 12Measuring Brand and Source Discovery under Repeated LLM Queries: A Finite-Sample Audit2026
    Żatuchin · arXiv 2609.05059 · 11 septembre 2026 · prépublication, auteur affilié à un éditeur GEO50 questions d'achat × 6 configurations de modèles × 15 appels = 4 500 réponses. Une exécution retrouve 62,2 à 76,8 % des marques vues en 5 exécutions ; 10 exécutions retrouvent en médiane 92,6 à 95,2 % de l'ensemble vu en 15.
  2. 13Evaluating Brand Retrieval and Ranking in Large Language Model Recommendations2026
    Malthouse, Lee, Yang, Pal, Feng · arXiv 2609.16304 · 14 septembre 2026 · prépublication6 modèles (dont GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.7), 5 catégories de produits, chaque prompt posé 40 fois : 1 200 listes. Des réponses répétées produisent des marques et des classements différents ; les auteurs recommandent de raisonner en distribution de probabilité.
  3. 14Defeating Nondeterminism in LLM Inference2025
    Horace He et al., Thinking Machines Lab · 10 septembre 20251 000 complétions du même prompt à température 0 donnent 80 réponses différentes, faute d'« invariance au lot » dans les serveurs.
  4. 15AI Mode vs AI Overviews2025
    Despina Gavoyannis et Xibeijia Guan, Ahrefs · 15 décembre 2025Pour une même requête, AI Mode et AI Overviews ne partagent que 13,7 % de leurs citations.

Références statistiques

  1. 16NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1 : Confidence intervalsRéférence
    National Institute of Standards and TechnologyPrésente l'intervalle de Wilson et rappelle qu'Agresti et Coull le recommandent « pour pratiquement toutes les combinaisons de n et p », face à l'approximation normale.
  2. 17Probable Inference, the Law of Succession, and Statistical Inference1927
    Edwin B. Wilson · Journal of the American Statistical Association, vol. 22, n° 158, p. 209-212 · 1927L'article fondateur de l'intervalle de Wilson.
  3. 18Approximate Is Better than “Exact” for Interval Estimation of Binomial Proportions1998
    Alan Agresti et Brent A. Coull · The American Statistician, vol. 52, n° 2, p. 119-126 · 1998Compare les méthodes d'intervalle pour une proportion et recommande l'intervalle de Wilson.
  4. 19A statistical approach to model evaluations2024
    Anthropic · 19 novembre 2024 (d'après E. Miller, « Adding Error Bars to Evals », arXiv 2411.00640)Recommande de publier des intervalles de confiance à 95 %, de regrouper les erreurs standard quand les questions sont liées, et de répéter les réponses plusieurs fois.

LLM Monitor

  1. 20LLM Monitor, article de blog sur le pilotage GEO2026
    LLM Monitor · 2026La visibilité y est définie comme une mesure de fréquence de présence, « calculée à partir de plusieurs exécutions ».
  2. 21FAQ LLM Monitor2026
    LLM Monitor · 2026Modèles suivis (ChatGPT, Gemini, Claude, Mistral et d'autres) et définition des indicateurs : score de visibilité IA et Share of Voice.