Détecteur de filigrane ChatGPT : Ce qu'il mesure et ce qu'il manque

Qu'est-ce qu'un détecteur de filigrane ChatGPT ?

Le terme couvre deux technologies significativement différentes qui ont été fusionnées en une seule étiquette dans les résultats de recherche et le marketing de produits. Au sens strict, un détecteur de filigrane ChatGPT est un outil qui recherche des signaux délibérément intégrés dans le texte au moment de la génération — des signaux qui ne sont pas présents à moins que le système générateur ne les ait spécifiquement insérés. Pour que cela fonctionne, ChatGPT devrait d'abord ajouter des filigranes à ses résultats, ce qu'il ne fait pas par défaut pour aucune interface disponible publiquement. Au sens plus large et familier que la plupart des gens entendent quand ils cherchent un détecteur de filigrane ChatGPT, l'objectif est simplement de déterminer si un texte a été écrit par ChatGPT. Les outils qui apparaissent dans les résultats de recherche sous cette étiquette sont presque universellement des détecteurs statistiques de texte IA — des outils qui mesurent les propriétés telles que la prévisibilité du texte, la variation de la longueur des phrases et la distribution du vocabulaire pour estimer la probabilité qu'un passage soit généré par machine. Ces approches statistiques produisent une estimation de probabilité, pas un verdict binaire, et fonctionnent en lisant les motifs inhérents à la façon dont les grands modèles de langage génèrent du texte plutôt que de détecter un signal qu'OpenAI a intentionnellement intégré. La distinction est importante car les deux approches ont des forces différentes, des modes de défaillance différents et des implications différentes lorsqu'un résultat est positif ou négatif.

1. Les outils étiquetés comme détecteur de filigrane ChatGPT sont presque toujours des détecteurs statistiques de texte IA — pas des outils qui trouvent des signaux intégrés
2. Les détecteurs statistiques mesurent la perplexité (le degré de prévisibilité du texte) et la rafale (la variation de la complexité des phrases)
3. La détection authentique de filigrane nécessite que le système générateur ait intégré un signal détectable lors de la génération — ChatGPT ne le fait pas par défaut
4. La détection statistique peut produire des faux positifs sur du texte écrit par des humains ; un vrai détecteur de filigrane (quand le filigrane existe) ne peut pas signaler falsement un texte qui ne porte pas de signal intégré

ChatGPT filigrane-t-il ses résultats textuels ?

Pour la grande majorité des utilisateurs, la réponse est non. Les résultats ChatGPT standards — que ce soit de l'application web de consommation, de l'application iOS ou Android, ou de l'API standard — ne portent pas de filigrane de texte. OpenAI a confirmé publiquement explorer le filigrane de texte et a embauché Scott Aaronson, un informaticien théorique éminente, en partie pour rechercher le filigrane de résultat IA. Aaronson a publié des articles de blog en 2022 décrivant une approche cryptographique qui fonctionne en influençant les tokens que le modèle échantillonne lors de la génération, créant un biais statistiquement détectable sur un long passage. Malgré cette recherche, OpenAI a choisi de ne pas déployer le filigrane de texte dans ses produits de consommation. De multiples rapports ont attribué cette décision en partie à des préoccupations d'équité : les filigranes de texte basés sur les distributions de tokens peuvent se dégrader lorsque les utilisateurs modifient le texte généré, et il y avait des préoccupations que les non-locuteurs natifs de l'anglais, les étudiants qui utilisent des outils de correction grammaticale et les auteurs handicapés qui dépendent de l'aide à l'édition seraient affectés de manière disproportionnée. Un utilisateur qui prend un brouillon ChatGPT et l'exécute à travers un correcteur grammatical ou un outil de paraphrase pourrait se retrouver avec un texte qui échoue la détection de filigrane tandis qu'un résultat IA original non modifié réussirait — un problème d'équité avec des conséquences réelles dans les contextes académiques et professionnels. La conséquence pratique de cette décision de déploiement est qu'un détecteur de filigrane ChatGPT s'appuyant sur un signal intégré ne trouvera rien dans le résultat ChatGPT standard. Non pas parce que le texte est écrit par des humains, mais parce qu'aucun filigrane n'existe à trouver.

1. ChatGPT standard (application de consommation et API) ne intègre pas actuellement de filigranes dans le texte généré
2. OpenAI a recherché le filigrane basé sur la distribution de tokens avec Scott Aaronson mais a décidé de ne pas le déployer dans les produits de consommation
3. Les préoccupations concernant l'équité envers les non-locuteurs natifs et les utilisateurs d'outils de correction et de grammaire ont contribué à la décision de ne pas déployer
4. Les implémentations d'API d'entreprise ou personnalisées utilisant les modèles OpenAI pourraient théoriquement activer le filigrane selon la configuration — mais ce n'est pas la norme et ce n'est pas documenté publiquement
5. L'absence d'un filigrane dans le texte ChatGPT standard signifie que la détection statistique est la seule approche pratiquement disponible pour la plupart des utilisateurs

Qu'a réellement trouvé la recherche interne de filigrane d'OpenAI ?

L'approche technique qu'OpenAI a explorée — et qu'Aaronson a décrite publiquement en 2022 — est une version de la méthode de filigrane en liste verte/liste rouge qui s'est développée dans la recherche académique. Le mécanisme fonctionne comme suit : avant de générer chaque token, le modèle applique une fonction de hachage pseudo-aléatoire au contexte de token récent, créant une partition du vocabulaire en un ensemble "vert" et un ensemble "rouge" pour cette position dans la séquence. Lors de l'échantillonnage, le modèle est biaisé pour favoriser les tokens dans l'ensemble vert. Sur un passage de plusieurs centaines de tokens, cela crée un déséquilibre statistiquement détectable : le texte en filigrane affichera une proportion plus élevée de tokens en liste verte que celle attendue par hasard dans un passage non filigrane. Un détecteur ayant la même fonction de hachage peut alors évaluer tout texte candidat en mesurant sa fréquence de tokens verts et en la comparant à la ligne de base attendue pour la sortie non filigrane. Le texte qui obtient un score significativement au-dessus de cette ligne de base est probablement en filigrane ; le texte près de la ligne de base ne l'est probablement pas. Aaronson a confirmé dans les écrits publics que l'approche peut réaliser une détection fiable sur des passages suffisamment longs avec des taux de faux positifs bas dans des conditions normales. La faiblesse documentée de la méthode est la robustesse à la paraphrase. Une analyse de 2023 de l'Université du Maryland a constaté que la paraphrase systématique — changeant environ un tiers des mots d'un passage tout en préservant son sens — réduisait la précision de détection de presque certain à seulement légèrement au-dessus du hasard pour certaines configurations de filigrane. Une préoccupation distincte, notée dans la discussion académique, est qu'un adversaire déterminé qui connaît la fonction de hachage de la liste verte pourrait intentionnellement biaiser son texte loin des tokens verts pour échapper falsement à la détection. Ces problèmes de robustesse et adversariaux, combinés aux préoccupations d'équité concernant les textes IA légèrement modifiés, ont contribué à la décision d'OpenAI de ne pas déployer le système.

"L'idée de base est de générer une 'liste rouge' aléatoire de tokens et de décourager doucement l'utilisation des tokens de liste rouge d'une petite quantité ajustable. Après la génération, un détecteur de filigrane vérifie si le texte utilise une fraction inhabituellement petite de tokens de liste rouge." — Scott Aaronson, 2022

Comment les détecteurs statistiques identifient-ils le texte ChatGPT sans filigrane ?

Quand aucun filigrane intégré n'existe, un détecteur de filigrane ChatGPT revient à mesurer les propriétés statistiques intrinsèques qui diffèrent entre le texte écrit par des humains et le texte généré par les grands modèles de langage. Deux métriques dominent la méthodologie actuelle. La perplexité mesure le degré de surprise du texte par rapport à ce qu'un modèle de langage prédirait : le texte véritablement écrit par des humains tend à obtenir des scores plus élevés en perplexité car les humains font des choix de mots non conventionnels, prennent des tournants inattendus dans le raisonnement et suivent des motifs stylistiques idiosyncrasiques. Le texte généré par IA — particulièrement de GPT-4, qui est entraîné pour produire une sortie fluide et cohérente — tend à sélectionner des continuations plus prévisibles à chaque étape, entraînant une perplexité moyenne plus basse. La rafale mesure la variation de la complexité des phrases dans le passage : les humains alternent naturellement entre des phrases courtes et directes et des constructions longues et complexes selon des rythmes que l'analyse statistique peut identifier. Les résultats GPT-4 affichent généralement une rafale plus basse, produisant un registre de longueur de phrase plus consistemment modéré que la plupart des écrits humains. Au-delà de ces deux métriques primaires, les résultats ChatGPT affichent également des préférences de vocabulaire caractéristiques. Le modèle utilise certaines phrases de transition, des constructions de couverture et des motifs structurels à des fréquences qui diffèrent de l'écriture typiquement humaine lorsqu'elles sont mesurées sur un corpus. Ces signaux individuels sont probabilistes — aucune propriété simple n'identifie définitivement le texte ChatGPT — mais combinés sur un passage de plusieurs centaines de mots, ils produisent une estimation de probabilité que les détecteurs actuels peuvent calculer avec une précision significative sur des échantillons de texte plus longs. La limitation fondamentale est que ces mêmes signaux apparaissent aussi dans l'écriture humaine : certains auteurs produisent naturellement une prose à faible perplexité et faible rafale, et un détecteur qui ne tient pas compte de la variation d'écriture individuelle produira des faux positifs sur cette écriture.

Un filigrane de texte ChatGPT peut-il être contourné ?

Puisque les résultats ChatGPT standards ne portent pas de filigrane intégré, la question pratique de contourner un détecteur de filigrane ChatGPT est vraiment une question de vaincre la détection statistique, pas la détection de filigrane. La méthode la plus fiable est aussi la plus laborieuse : la réécriture substantielle. Un passage qui a été fortement paraphrasé — avec une restructuration significative des phrases, une substitution de vocabulaire et une réorganisation du flux logique — sera noté différemment sur la perplexité et la rafale car l'édition humaine change véritablement les propriétés statistiques du texte. La recherche a constaté que paraphraser suffisamment un passage généré par GPT pour réduire substantiellement la confiance de détection nécessite généralement de modifier au moins 30 à 40 pour cent des mots, ce qui est un effort significatif plutôt qu'une solution de contournement triviale. Les outils d'humanisation automatisés — un logiciel qui réécrit le texte IA spécifiquement pour réduire les scores de détecteur — fonctionnent en appliquant la paraphrase automatiquement. Leur efficacité varie considérablement selon le détecteur contre lequel ils sont évalués, et les résultats des outils d'humanisation peuvent eux-mêmes devenir détectables lorsqu'ils sont analysés pour les motifs caractéristiques de la paraphrase légère par machine, qui sont différents mais non indépendants des motifs de génération IA d'origine. Un point plus fondamental sur ce cadre : si un détecteur de filigrane chatgpt ne peut pas distinguer de manière fiable le texte IA fortement modifié de l'écriture humaine originale, c'est possiblement un résultat correct plutôt qu'une défaillance. Le texte qui a été substantiellement réécrit par un humain est, en sens significatif, plus écrit par des humains que la sortie IA d'origine. La confiance décroissante du système de détection suit proprement la composition réelle du contenu — un mélange de génération IA et de révision humaine qui n'appartient pas à la même catégorie que la sortie IA non modifiée.

1. La paraphrase systématique (modification de 30%+ du vocabulaire et de la structure des phrases) réduit significativement la confiance de détection statistique — mais nécessite un effort de réécriture authentique
2. Les outils d'humanisation automatisés appliquent la paraphrase à l'échelle mais varient largement en efficacité et peuvent introduire leurs propres motifs détectables
3. La traduction dans une autre langue et retour dégrade les signaux statistiques mais introduit aussi des artefacts de traduction qui peuvent être identifiables par d'autres moyens
4. Mélanger les sections générées par IA avec du texte écrit par un humain original dilue le signal proportionnellement — les détecteurs mesurant le passage complet voient un résultat mélangé qui reflète la composition réelle du contenu
5. Aucune seule méthode ne vainc de manière fiable tous les détecteurs simultanément ; différents outils pondèrent les signaux différemment et produisent des résultats différents sur la même entrée

Qu'est-ce qui rend le texte ChatGPT statistiquement distinguable de l'écriture humaine ?

GPT-4 et ses versions prédécesseurs ont des tendances documentées qui, bien que individuellement subtiles, s'accumulent pour former un profil statistique cohérent sur des passages longs. Le modèle utilise trop certaines phrases de transition — "il vaut la peine de noter", "cela peut mener à", "en outre", "en conclusion" — à des taux qui diffèrent de l'écriture humaine lorsqu'ils sont mesurés à l'échelle du corpus. Sa distribution de longueur de phrase se regroupe autour de longueurs modérées de façon plus cohérente que l'écriture humaine, produisant le motif de rafale basse que les détecteurs mesurent. La structure de raisonnement de ChatGPT a également tendance à suivre un arc reconnaissable : définir la question, énumérer les considérations au format parallèle, synthétiser vers une conclusion, fermer avec une reformulation. Cette structure est cohérente et utile, mais elle se répète sur les sujets d'une manière qui diffère du flux plus organique de la plupart du texte explicatif écrit par des humains. L'entraînement du modèle sur l'apprentissage par renforcement à partir du retour humain (RLHF) a l'effet supplémentaire de rendre ses résultats systématiquement plus modérés dans la position déclarée, plus couverts en langage et plus polis en forme de surface que les premiers brouillons typiquement humains — toutes les propriétés qui apparaissent dans les statistiques de distribution que les détecteurs analysent. Chacune de ces tendances est un signal faible en soi. L'approche statistique les prend tous ensemble sur le passage complet et calcule un score composite. Pour le texte court — une phrase ou un court paragraphe — la précision du détecteur chute drastiquement car le rapport signal-bruit dans un petit échantillon est insuffisant pour séparer la variation stylistique individuelle des motifs caractéristiques du modèle. Pour le texte plus long (généralement 300 mots et plus), le signal composite devient substantiellement plus fiable, ce qui explique pourquoi presque tous les détecteurs actuels incluent une exigence de nombre minimum de caractères ou de mots avant de retourner un résultat de haute confiance.

Comment utiliser un détecteur de filigrane ChatGPT responsable

Avant de compter sur un résultat du détecteur de filigrane ChatGPT pour prendre une décision conséquente, il est utile de comprendre précisément ce que l'outil mesure et ce qu'un résultat positif ou négatif signifie réellement. Si l'outil utilise la détection statistique — ce que font essentiellement tous — alors un score de probabilité IA élevé signifie que le texte partage des propriétés statistiques avec le texte généré par ChatGPT. Cela ne signifie pas que des mots spécifiques ont été générés par ChatGPT, que l'auteur a utilisé ChatGPT d'une manière contraire à la politique, ou que le texte doit être traité comme une sortie IA confirmée dans une procédure formelle. Un score de probabilité IA bas signifie que le texte ne montre pas le profil statistique attendu — ce qui pourrait signifier qu'il a été écrit par des humains, ou qu'il a été généré par IA puis considérablement modifié, ou qu'il a été produit par un modèle avec des caractéristiques statistiques différentes de celui sur lequel le détecteur a été entraîné. La dépendance au seul outil est le motif d'abus le plus courant. Différents détecteurs utilisent différentes données d'entraînement et schémas de pondération et peuvent retourner des scores substantiellement différents sur la même entrée. La vérification croisée d'au moins deux outils indépendants avant de tirer une conclusion dans un contexte à enjeux élevés est la pratique standard pour quiconque effectue ce type de vérification professionnellement.

1. Confirmez quelle méthode de détection l'outil utilise — analyse statistique, détection de filigrane ou un hybride — car cela détermine ce qu'un résultat signifie
2. Traitez les résultats de détection statistique comme des estimations de probabilité, pas des verdicts — un score de 75% de probabilité IA ne signifie pas que 75% des mots ont été générés par IA
3. Appliquez un poids proportionnel à la taille de l'échantillon : les résultats sont plus fiables pour les textes plus longs (300+ mots) et moins fiables pour les courts extraits sous 100 mots
4. Pour les décisions conséquentes, vérifiez les résultats de vérification croisée d'au moins deux outils indépendants pour vérifier l'accord avant de tirer une conclusion
5. Documentez votre méthodologie de vérification — quel outil, quelle version, quel seuil et quel résultat — car un processus défendable compte plus qu'un score unique
6. Tenez compte du taux de faux positifs : certains auteurs humains produisent systématiquement une prose à basse perplexité que les détecteurs signalent, donc un résultat positif seul n'est pas une preuve d'utilisation d'IA

Comment NotGPT détecte le texte ChatGPT quand aucun filigrane n'existe

L'outil de détection de texte IA de NotGPT est construit autour de l'approche statistique — analysant la perplexité, la rafale et les motifs de distribution dans le texte soumis plutôt que de rechercher un signal de filigrane intégré. Cette conception reflète la réalité pratique que la grande majorité du texte ChatGPT actuellement en circulation ne porte pas de filigrane : les résultats de consommation standards ne sont pas en filigrane, et le volume important de contenu existant sans filigrane restera en usage indépendamment de futures décisions de déploiement d'OpenAI. En lisant les propriétés statistiques intrinsèques du texte soumis, NotGPT produit un score de probabilité indiquant la probabilité d'IA basée sur ce que le texte lui-même ressemble, pas sur le fait qu'un signal a été intégré au moment de la génération. L'outil met en évidence les sections du texte soumis qui ont le plus contribué au score, ce qui aide les utilisateurs à comprendre si le passage complet ou des sections spécifiques ont mené le résultat de détection — un contexte utile pour un auteur qui veut savoir quelles sections un réviseur est susceptible de scruter davantage. Pour les auteurs et les éditeurs qui veulent comprendre comment leur texte se comportera sous détection avant de soumettre ou de publier, l'outil Humanize de NotGPT offre la réécriture avec des niveaux d'intensité ajustables — utile pour réduire les signatures statistiques que les détecteurs mesurent et pour produire une sortie qui se lit plus naturellement quel que soit son origine.