ChatGPT Watermark Detector: Co mierzy i co pomija

Co To Jest ChatGPT Watermark Detector?

Termin obejmuje dwie znacznie różniące się technologie, które zostały połączone w jedną etykietę w wynikach wyszukiwania i marketingu produktu. W ścisłym sensie ChatGPT Watermark Detector to narzędzie, które poszukuje sygnałów celowo osadzonych w tekście w momencie generacji — sygnałów, które nie są obecne, chyba że system generujący je specjalnie wstawił. Aby to zadziałało, ChatGPT musiałby najpierw znakować swoje wyjścia, czego domyślnie nie robi w żadnym publicznie dostępnym interfejsie. W szerszym, potocznym sensie, który większość ludzi ma na myśli, wyszukując ChatGPT Watermark Detector, celem jest po prostu ustalenie, czy tekst został napisany przez ChatGPT. Narzędzia, które pojawiają się w wynikach wyszukiwania pod tą etykietą, są prawie uniwersalnie statystycznymi detektorami tekstu AI — narzędziami mierzącymi właściwości takie jak przewidywalność tekstu, zmienność długości zdania i dystrybucja słownictwa w celu oszacowania prawdopodobieństwa, że fragment został wygenerowany maszynowo. Te statystyczne podejścia dają oszacowanie prawdopodobieństwa, a nie werdykt binarny, i działają poprzez odczytywanie wzorców nieodłącznie związanych z tym, jak duże modele języka generują tekst, a nie wykrywanie żadnego sygnału, który OpenAI celowo osadzić. Rozróżnienie ma znaczenie, ponieważ te dwa podejścia mają różne mocne strony, różne tryby awarii i różne implikacje, gdy wynik okaże się pozytywny lub negatywny.

1. Narzędzia oznaczone jako ChatGPT Watermark Detector to prawie zawsze statystyczne detektory tekstu AI — nie narzędzia znajdujące osadzone sygnały
2. Detektory statystyczne mierzą perpleksyjność (jak przewidywalny jest tekst) i wybuchowość (jak bardzo zmienia się złożoność zdania)
3. Rzeczywista detekcja znaku wodnego wymaga, aby system generujący osadził wykrywalny sygnał podczas wyjścia — ChatGPT domyślnie tego nie robi
4. Detekcja statystyczna może tworzyć fałszywe alarmy dla tekstu napisanego przez człowieka; rzeczywisty detektor znaku wodnego (gdy znak wodny istnieje) nie może błędnie oznakować tekst, który nie zawiera osadzonego sygnału

Czy ChatGPT Znakuje Swoje Wyjścia Tekstowe?

Dla zdecydowanej większości użytkowników odpowiedź brzmi: nie. Standardowe wyjścia ChatGPT — czy to z aplikacji internetowej konsumentów, aplikacji iOS lub Android, czy standardowego API — nie zawierają znaku wodnego tekstu. OpenAI publicznie potwierdziła badanie znakowania tekstu i zatrudniła Scotta Aarotsona, prominentnego informatyka teoretycznego, częściowo do badania znakowania wyjść AI. Aaronsohn opublikował posty na blogu w 2022 roku opisujące kryptograficzne podejście, które działa poprzez wpływanie na to, które tokeny model próbkuje podczas generacji, tworząc statystycznie wykrywalny błąd na długim fragmencie. Pomimo tego badania OpenAI zdecydowała się nie wdrażać znakowania tekstu w swoich produktach konsumenckich. Liczne raporty przypisywały tę decyzję częściowo obawom sprawiedliwości: znaki wodne tekstu oparte na dystrybucji tokenów mogą się pogorszyć, gdy użytkownicy dokonają edycji wygenerowanego tekstu, i istniała obawa, że osoby mówiące po angielsku nie jako ojczysty, uczniowie korzystający z narzędzi korekty gramatycznej i pisarze niepełnosprawni, którzy polegają na pomocy edycji, będą nieproporcjonalnie dotkniętych. Użytkownik, który bierze projekt ChatGPT i przepuszcza go przez narzędzie do sprawdzania gramatyki lub parafrazowania, może w końcu uzyskać tekst, który nie przejdzie detekcji znaku wodnego, podczas gdy nieedytowany oryginalny wynik AI byłby zaliczony — problem sprawiedliwości ze rzeczywistymi konsekwencjami w ustawieniach akademickich i zawodowych. Praktyczna konsekwencja tej decyzji wdrożenia polega na tym, że ChatGPT Watermark Detector polegający na osadzonym sygnale nie znajdzie niczego w standardowym wyjściu ChatGPT. Nie dlatego, że tekst jest napisany przez człowieka, ale dlatego, że żaden znak wodny nie istnieje do znalezienia.

1. Standard ChatGPT (aplikacja konsumencka i API) nie osadza znaków wodnych w wygenerowanym tekście od bieżącego wdrożenia
2. OpenAI badała znakowanie oparte na dystrybucji tokenów z Scottem Aaronsonem, ale zdecydowała się przeciwko wdrożeniu go w produktach konsumenckich
3. Obawy o sprawiedliwość dla osób mówiących nie po angielsku i użytkowników narzędzi edycji i gramatyki przyczyniły się do decyzji przeciwko wdrożeniu
4. Implementacje Enterprise lub niestandardowy API korzystające z modeli OpenAI mogą teoretycznie włączyć znakowanie w zależności od konfiguracji — ale to nie jest domyślne i nie jest publicznie udokumentowane
5. Brak znaku wodnego w standardowym tekście ChatGPT oznacza, że detekcja statystyczna jest jedynym praktycznie dostępnym podejściem dla większości użytkowników

Co Rzeczywiście Odkryło Wewnętrzne Badanie Znaku Wodnego OpenAI?

Techniczne podejście, które OpenAI badała — i które Aaronsohn opisał publicznie w 2022 roku — to wersja metody znakowania zielonej listy/czerwonej listy, która rozwijała się w badaniach akademickich. Mechanizm działa w następujący sposób: przed wygenerowaniem każdego tokenu model stosuje pseudolosową funkcję skrótu do niedawnego kontekstu tokenu, tworząc partycję słownictwa na zestaw "zielony" i "czerwony" dla tej pozycji w sekwencji. Podczas pobierania próbek model jest nastawiony na faworyzowanie tokenów w zestawie zielonym. Na całym fragmencie kilkaset tokenów to tworzy statystycznie wykrywalny brak równowagi: tekst znakowany będzie wykazywać wyższy odsetek tokenów zielonej listy niż oczekiwana byłaby przez przypadek w fragmencie bez znaku wodnego. Detektor, który ma tę samą funkcję skrótu, może następnie ocenić dowolny tekst kandydata, mierząc jego częstotliwość zielonych tokenów i porównując ją z linią bazową oczekiwaną dla wyjścia bez znaku wodnego. Tekst, który znacznie przewyższa tę linię bazową, jest prawdopodobnie znakowany; tekst blisko linii bazowej prawdopodobnie nie jest. Aaronsohn potwierdził w pismach publicznych, że podejście może osiągnąć niezawodną detekcję na wystarczająco długich fragmentach z niskimi fałszywymi pozytywnymi wskaźnikami w normalnych warunkach. Udokumentowaną słabością metody jest odporność na parafrazowanie. Analiza z 2023 roku z University of Maryland wykazała, że systematyczne parafrazowanie — zmiana około trzech dziesiątych słów w fragmencie, zachowując jego znaczenie — zmniejszyła dokładność detekcji z prawie pewności na tylko nieznacznie powyżej przypadku dla niektórych konfiguracji znakowania. Oddzielną obawą, zanotowaną w dyskusji akademickiej, jest to, że zdeterminowany przeciwnik, który zna funkcję skrótu zielonej listy, mógł celowo nastawić swój tekst przed zielonymi tokenami, aby fałszywie uniknąć detekcji. Te problemy odporności i antagonistyczne, w połączeniu z obawami sprawiedliwości wokół lekko edytowanego tekstu AI, przyczyniły się do decyzji OpenAI o niewdrażaniu systemu.

"Podstawową ideą jest wygenerowanie randomizowanej 'czerwonej listy' tokenów i delikatne zniechęcenie używania tokenów czerwonej listy o małą, dostosowywana ilość. Po generacji detektor znaku wodnego sprawdza, czy tekst używa niezwykle małej frakcji tokenów czerwonej listy." — Scott Aaronsohn, 2022

Jak Detektory Statystyczne Identyfikują Tekst ChatGPT Bez Znaku Wodnego?

Gdy nie istnieje osadzony znak wodny, ChatGPT Watermark Detector spada na mierzenie wewnętrznych właściwości statystycznych, które różnią się między tekstem napisanym przez człowieka a tekstem wygenerowanym przez duże modele języka. Dwie metryki dominują obecną metodologię. Perpleksyjność mierzy, jak zaskakujący jest tekst w stosunku do tego, co model języka przewidziałby: autentycznie pisany przez człowieka tekst ma tendencję do otrzymywania wyższych wyników w perpleksyjności, ponieważ ludzie dokonują konwencjonalnych wyborów słów, podejmują nieoczekiwane zwroty w rozumowaniu i podążają za charakterystycznymi wzorami stylów. Tekst generowany przez AI — szczególnie z GPT-4, który jest wytrenowany do produkcji płynnego i spójnego wyjścia — ma tendencję do wybierania bardziej przewidywalnych kontynuacji na każdym etapie, co skutkuje niższą średnią perpleksyjnością. Wybuchowość mierzy, jak wiele tekst zmienia się w złożoności zdania na całym fragmencie: ludzie naturalnie naprzemiennami między krótkimi, bezpośrednimi zdaniami i długimi, zaangażowanymi konstruksjami w rytmach, które analiza statystyczna może zidentyfikować. Wyjścia GPT-4 zazwyczaj wykazują niższą wybuchowość, tworząc bardziej konsekwentnie umiarkowany rejestr długości zdania niż większość pisania przez człowieka. Poza tymi dwiema podstawowymi metrykami, wyjścia ChatGPT również pokazują charakterystyczne preferencje słownictwa. Model używa pewnych fraz przejścia, konstrukcji zabezpieczających i wzorców strukturalnych ze wskaźnikami, które różnią się od typowego pisania przez człowieka, gdy mierzone są w całym korporusie. Te indywidualne sygnały są probabilistyczne — żadna pojedyncza właściwość nie identyfikuje definitywnie tekstu ChatGPT — ale połączone na całym fragmencie kilkaset słów, они tworzą oszacowanie prawdopodobieństwa, które obecni detektory mogą obliczyć ze znaczącą dokładnością na dłuższych próbkach tekstu. Fundamentalnym ograniczeniem jest to, że te same sygnały pojawiają się również w pismach przez człowieka: niektórzy pisarze naturalnie tworzą niskoelastyczną, niskowybuchową prozę, a detektor, który nie bierze pod uwagę indywidualnej zmienności pisarstwa, będzie generować fałszywe alarmy dla tego pisania.

Czy Znak Wodny Tekstu ChatGPT Można Ominąć?

Ponieważ standardowe wyjścia ChatGPT nie zawierają osadzonego znaku wodnego, praktyczne pytanie dotyczące obejścia ChatGPT Watermark Detector jest naprawdę pytaniem o pokonanie detekcji statystycznej, a nie detekcji znaku wodnego. Najbardziej niezawodna metoda jest również najbardziej pracochłonna: znaczna przepisania. Fragment, który został intensywnie parafrażowany — z istotnym zmianą struktury zdań, substytusjąą słownictwa i reorganizacją logicznego przepływu — będzie uzyskiwać inne wyniki w perpleksyjności i wybuchowości, ponieważ ludzka edycja naprawdę zmienia statystyczne właściwości tekstu. Badania wykazały, że parafrażowanie wystarczającej ilości fragmentu generowanego przez GPT w celu znacznego zmniejszenia pewności detekcji zazwyczaj wymaga zmiany co najmniej 30 do 40 procent słów, co jest znaczącym wysiłkiem, a nie trywialnym obejściem. Zautomatyzowane narzędzia humanizacji — oprogramowanie, które przepisuje tekst AI w szczególności w celu zmniejszenia wyników detektora — działają poprzez automatyczne stosowanie parafrazowania. Ich efektywność znacznie się różni w zależności od tego, przeciwko któremu detektorowi są oceniane, a wyjścia z narzędzi humanizacji mogą się stać samymi wykrywalne, gdy analizuje się je pod kątem wzorów charakterystycznych dla jasnej parafazowania maszynowej, które są różne, ale nie niezwiązane ze wzorami oryginalnego generowania AI. Bardziej fundamentalnym punktem dotyczącym tego opracovania: jeśli ChatGPT Watermark Detector nie potrafi wiarygodnie rozróżnić intensywnie edytowanego tekstu AI od oryginalnego pisania człowieka, to jest to prawdopodobnie prawidłowy wynik, a nie porażka. Tekst, który został znacznie przepisany przez człowieka, jest w znaczący sposób bardziej autorski niż oryginalne wyjście AI. Malejąca pewność systemu detekcji odpowiednio śledzi faktyczny skład treści — mieszaninę generowania AI i rewizji człowieka, która nie należy do tej samej kategorii co nieedytowane wyjście AI.

1. Systematyczne parafrazowanie (zmiana 30%+ słownictwa i struktury zdania) znacznie zmniejsza pewność detekcji statystycznej — ale wymaga rzeczywistego wysiłku przepisywania
2. Automatyczne narzędzia humanizacji stosują parafrazowanie na dużą skalę, ale są bardzo różne w efektywności i mogą wprowadzić własne wykrywalne wzorce
3. Tłumaczenie na inny język i z powrotem degraduje sygnały statystyczne, ale również wprowadza artefakty tłumaczenia, które mogą być zidentyfikowane innymi środkami
4. Mieszanie sekcji generowanych przez AI z oryginalnym tekstem napisanym przez człowieka rozcieńcza sygnał proporcjonalnie — detektory mierzące pełny fragment widzą wynik mieszany, który odzwierciedla rzeczywistą mieszaninę treści
5. Żadna pojedyncza metoda niezawodnie nie pokonuje wszystkich detektorów jednocześnie; różne narzędzia ważą sygnały inaczej i dają różne wyniki na tym samym wejściu

Co Sprawia, Że Tekst ChatGPT Jest Statystycznie Rozróżnialny Od Pisania Człowieka?

GPT-4 i jego poprzednie wersje mają udokumentowane tendencje, które, choć indywidualnie subtelne, gromadzą się, aby stworzyć konsekwentny profil statystyczny na długich fragmentach. Model nadużywa pewnych fraz przejścia — "warte zauważenia", "to może prowadzić do", "ponadto", "na koniec" — na wskaźnikach, które różnią się od pisania człowieka, gdy mierzone są na skali korporusowej. Jego rozkład długości zdania skupia się wokół umiarkowanych długości bardziej konsekwentnie niż pisanie człowieka, tworząc wzór niskowybuchowości, który detektory mierzą. Struktura rozumowania ChatGPT również ma tendencję do podążania rozpoznawalnym łukiem: definiować pytanie, wyliczać rozważania w formacie równoległy, syntetyzować w kierunku wniosku, zamykać stwierdzeniem. Ta struktura jest spójna i przydatna, ale powtarza się na całych tematach w sposób, który różni się od bardziej organicznego przepływu większości tekstu wyjaśniającego napisanego przez człowieka. Szkolenie modelu na wzmacniającego uczenia się z informacji zwrotnych od człowieka (RLHF) ma dodatkowy efekt, że jego wyjścia są systematycznie bardziej umiarkowane w wyrażanym stanowisku, bardziej wyniosłe w języku i bardziej polerowane w formie powierzchniowej niż typowe pierwsze wersje napisane przez człowieka — wszystkie właściwości, które pojawiają się w statystyce dystrybucyjnej, którą analizują detektory. Każda z tych tendencji jest słabym sygnałem samą w sobie. Podejście statystyczne bierze wszystkie z nich razem na całym fragmencie i oblicza wynik złożony. W przypadku tekstu krótko — zdania lub krótkiego akapitu — dokładność detektora gwałtownie spada, ponieważ stosunek sygnału do szumu w małej próbce jest niewystarczający do oddzielenia indywidualnych zmian stylowych od wzorów charakterystycznych dla modelu. Dla dłuższego tekstu (zazwyczaj 300 słów i powyżej) sygnał złożony staje się znacznie bardziej niezawodny, dlatego prawie wszystkie obecne detektory zawierają wymagania minimalnej liczby znaków lub słów przed zwróceniem wyniku o wysokiej pewności.

Jak Odpowiedzialnie Używać ChatGPT Watermark Detector?

Przed poleganiem na wyniku ChatGPT Watermark Detector, aby podjąć ważną decyzję, warte jest zrozumienie dokładnie, co narzędzie mierzy i co pozytywny lub negatywny wynik naprawdę oznacza. Jeśli narzędzie używa detekcji statystycznej — co jest zasadniczo wszystkie z nich — to wysoki wynik podobny do AI oznacza, że tekst współdziała właściwościami statystycznymi z tekstem wygenerowanym przez ChatGPT. Nie oznacza to, że konkretne słowa zostały wygenerowane przez ChatGPT, że autor użył ChatGPT w sposób naruszający zasady, lub że tekst powinien być traktowany jako potwierdzony wynik AI w formalnym postępowaniu. Niski wynik AI-likelihood oznacza, że tekst nie wykazuje oczekiwanego profilu statystycznego — co może oznaczać, że jest napisany przez człowieka, lub że został wygenerowany przez AI, a następnie znacznie edytowany, lub że został wyprodukowany przez model z różnymi cechami statystycznymi niż to, na czym detektor był szkolony. Opieranie się na jednym narzędziu jest najczęstszym wzorem niewłaściwego użycia. Różne detektory używają różnych danych treningowych i schematów ważenia i mogą zwrócić znacznie różne wyniki na tym samym wejściu. Krzyżowanie odniesień co najmniej dwóch niezależnych narzędzi przed wyciągnięciem wniosku w kontekście wysokiej stawki jest standardową praktyką dla każdego, kto zawodowo wykonuje tego rodzaju weryfikację.

1. Potwierdź, którą metodę detekcji narzędzie używa — analiza statystyczna, detekcja znaku wodnego czy hybrydą — ponieważ to określa, co wynik oznacza
2. Traktuj wyniki detekcji statystycznej jako szacunki prawdopodobieństwa, a nie werdykty — wynik 75% AI-likelihood nie oznacza, że 75% słów zostało wygenerowanych przez AI
3. Stosuj proporcjonalną wagę do długości próbki: wyniki są bardziej niezawodne dla dłuższych tekstów (300+ słów) i mniej niezawodne dla krótkich fragmentów poniżej 100 słów
4. W przypadku decyzji ważnych krzyżowo odnieś wyniki z co najmniej dwóch niezależnych narzędzi, aby sprawdzić zgodność przed wyciągnięciem jakiegokolwiek wniosku
5. Udokumentuj twoją metodologię weryfikacji — które narzędzie, którą wersję, jaki próg i jaki wynik — ponieważ obronny proces ma większe znaczenie niż każdy pojedynczy wynik
6. Zwróć uwagę na fałszywy wskaźnik dodatni: niektórzy pisarze napisani przez człowieka konsekwentnie tworzą prozę niskoperpleksyjną, którą detektory oznaczają, więc sam pozytywny wynik nie jest dowodem użycia AI

Jak NotGPT Wykrywa Tekst ChatGPT, Gdy Nie Istnieje Znak Wodny?

Narzędzie do detekcji tekstu AI firmy NotGPT jest zbudowane wokół podejścia statystycznego — analizując perpleksyjność, wybuchowość i wzorce dystrybucji w przesłanym tekście, a nie szukając osadzonego sygnału znaku wodnego. Ten projekt odzwierciedla praktyczną rzeczywistość, że zdecydowana większość tekstu ChatGPT obecnie w obiegu nie ma znaku wodnego: standardowe wyjścia konsumenckie nie są znakowane, a znaczna ilość istniejącej treści bez znaku wodnego pozostanie w użyciu, niezależnie od wszelkich przyszłych decyzji wdrażania przez OpenAI. Czytając wewnętrzne właściwości statystyczne przesłanego tekstu, NotGPT tworzy wynik prawdopodobieństwa wskazujący prawdopodobieństwo AI na podstawie tego, jak wygląda tekst, a nie na tym, czy jakikolwiek sygnał został osadzony w czasie generacji. Narzędzie podświetla sekcje przesłanego tekstu, które najbardziej przyczyniły się do wyniku, co pomaga użytkownikom zrozumieć, czy pełny fragment czy określone części napędzały wynik detekcji — przydatny kontekst dla autora, który chce wiedzieć, które sekcje recenzent będzie najprawdopodobniej dokładnie zbadać. Dla autorów i redaktorów, którzy chcą zrozumieć, jak ich tekst będzie działać pod detekcją przed przesłaniem lub opublikowaniem, narzędzie Humanize NotGPT oferuje przepisywanie na poziomach intensywności można dostosowywać — przydatne do zmniejszenia statystycznych podpisów, które detektory mierzą, i do tworzenia wyjścia, które czyta bardziej naturalnie, niezależnie od jego pochodzenia.