Pangram AI Detector: Czym był i jak funkcjonował

Czym był Pangram AI Detector?

Pangram Labs zostały założone przez badaczy z doświadczeniem w uczeniu maszynowym i bezpieczeństwie, a firma oficjalnie uruchomiła Pangram AI Detector w 2022 roku, gdy uniwersytety i nauczyciele stawali wobec nagłej powszechnej dostępności ChatGPT i podobnych narzędzi. Produkt został wyraźnie zaprojektowany z myślą o nauczycielach — pozwalał nauczycielom wkleić pracę studenta i otrzymać zarówno ogólny wynik prawdopodobieństwa AI, jak i zdaniowy rozkład identyfikujący, które fragmenty model uważał za najprawdopodobniej wygenerowane przez maszynę. Narzędzie autonomiczne było darmowe w okresie wczesnym, co miało znaczenie w nauce wyższej, gdzie zatwierdzenie budżetu na nowe oprogramowanie może zająć miesiące. Pangram pozycjonował narzędzie jako pierwszą ocenę pomocniczą, a nie ostateczny wyrok. To ujęcie — traktowanie wyników detekcji jako powodu do bardziej uważnego przejrzenia niż ostateczne określenie — było odpowiednie biorąc pod uwagę ograniczenia dokładności, które każdy detektor AI napotykał w tamtym czasie. W maju 2023 roku Turnitin przejął Pangram Labs, wprowadzając technologię detekcji firmy i zespół badawczy na platformę Turnitin.

Jak Pangram AI Detector analizował tekst?

Pangram AI Detector wykorzystywał klasyfikator neuronowy wytrenowany na korpusie zarówno tekstu napisanego przez człowieka, jak i wygenerowanego przez AI. Metodologia podstawowa, na której się opierał, jest wspólna dla większości narzędzi do wykrywania AI: analiza właściwości statystycznych tekstu w celu określenia, jak bardzo przypomina on dystrybucję wyjściową dużych modeli językowych. Dwa najczęściej przywoływane sygnały w tym podejściu to perpleksja i burstiness. Perpleksja mierzy, jak przewidywalne jest każde słowo względem tego, co przewidziałby model językowy — tekst generowany przez AI zwykle używa sekwencji słów o wysokim prawdopodobieństwie, ponieważ model wybiera tokeny minimalizujące niespodzianki. Burstiness mierzy zmienność długości zdania i złożoności strukturalnej: pisarze-ludzie naturalnie przechodzą między długimi, warstwowymi zdaniami a krótkimi, bezpośrednimi, podczas gdy wyjście AI często skupia się wokół bardziej równomiernego rytmu. Na podstawie tych sygnałów statystycznych Pangram AI Detector dodał podświetlenie na poziomie zdania, co dało użytkownikom bardziej praktyczny widok niż pojedynczy wynik dokumentu. Nauczyciele mogli skierować swoją uwagę na określone fragmenty, które model zaznaczył, zamiast reagować na ogólny procent bez kontekstu dotyczącego tego, które części go prowadziły. Była to znacząca poprawa użyteczności w porównaniu z wcześniejszymi narzędziami do detekcji, które zwracały tylko wynik binarny lub niedoróżnicowany wynik pewności.

Podświetlenie na poziomie zdania — pokazanie, które fragmenty prowadziły wynik zamiast zwracania jednej liczby — było najbardziej praktycznym wkładem Pangram AI Detector w sposób, w jaki nauczyciele korzystali z wyników detekcji.

Dlaczego Turnitin przejął Pangram?

Przejęcie Pangram Labs przez Turnitin w maju 2023 roku nastąpiło w przewidywalnym punkcie przegięcia: ChatGPT stał się głównym nurtem sześć miesięcy wcześniej, a administratorzy uniwersytetów domagali się, aby istniejące narzędzia zintegrowane z LMS wykrywały prace wygenerowane przez AI obok plagiatów. Turnitin już rozpoczął opracowywanie własnej możliwości detekcji AI, która uruchomiła się w kwietniu 2023 roku, ale przejęcie Pangram Labs dało firmie dodatkową zdolność badawczą i zespół z ukierunkowanym doświadczeniem w budowaniu klasyfikatorów detekcji AI. Logika strategiczna była prosta. Turnitin miał już relacje instytucjonalne, integracje LMS i infrastrukturę do przetwarzania prac akademickich na dużą skalę. Dodanie zespołu Pangram i modelu przyspieszyło harmonogram detekcji AI bez konieczności budowania tej wiedzy od zera przez Turnitin. Dla Pangram przejęcie oznaczało dostęp do dystrybucji Turnitin na tysiącach instytucji — ale oznaczało to także koniec niezależnego Pangram AI Detector jako niezależnego produktu skierowanego do konsumentów. W ciągu kilku miesięcy po zamknięciu przejęcia narzędzie autonomiczne pangram.app zostało wycofane z eksploatacji.

Jak dokładny był Pangram AI Detector?

Twierdzenia Pangram dotyczące dokładności podążały za wzorem wspólnym dla detektorów AI uruchomionych w 2022 i początkach 2023: narzędzie podawało wysokie wyniki wydajności na kontrolowanych benchmarkach przy użyciu wyraźnie tekstu wygenerowanego przez AI versus wyraźnie napisanego przez człowieka. W tych warunkach liczby dokładności mogły wydawać się bardzo wysokie. Wydajność w świecie rzeczywistym to miejsce, gdzie te liczby stają się mniej przydatne. Pangram AI Detector, podobnie jak każdy współczesny detektor, został skalibrowany przede wszystkim na wyjściu z wczesnych wersji ChatGPT, które wytwarzały tekst o charakterystycznym niskim profilu burstiness i niskiej perpleksji. Gdy użytkownicy zaczęli bardziej ostrożnie edytować wersje robocze wygenerowane przez AI, uruchamiać wyjście przez narzędzia parafrazy lub używać nowszych modeli, luka między dokładnością benchmarku a rzeczywistymi wskaźnikami detekcji się powiększyła. Największą obawą dotyczącą dokładności Pangram AI Detector były fałszywe alarmy — zaznaczenie autentycznego tekstu napisanego przez człowieka jako wygenerowanego przez AI. Osoby, których angielski nie jest językiem ojczystym, których prace akademickie mają tendencję do formalności i prawidłowo ustrukturowanej prozy, były szczególnie podatne na ten błąd. Formalny angielski akademicki, jeśli jest pisany konsekwentnie w wąskim rejestrze, ma właściwości statystyczne podobne do wyjścia AI: przewidywalny wybór słów, niska zmienność struktury zdania i konserwatywny słownik. Ten wzór fałszywych alarmów nie jest specyficzny dla Pangram; pojawia się na praktycznie każdym detektorze AI zbudowanym na tym samym podejściu opartym na perpleksji i burstiness.

Wynik detekcji z Pangram AI Detector — lub jakiegokolwiek współczesnego narzędzia — powinien być traktowany jako powód do bardziej uważnego przeczytania, a nie jako potwierdzenie, że praca jest wygenerowana przez AI.

Czy możesz nadal uzyskać dostęp do Pangram AI Detection dzisiaj?

Po zamknięciu przejęcia przez Turnitin narzędzie autonomiczne Pangram AI Detector zostało wycofane z eksploatacji. Użytkownicy, którzy polegali na nim na bezpłatne sprawdzenia ad hoc — szczególnie nauczyciele w instytucjach, które nie subskrybowały Turnitin — znaleźli się bez dostępu do tego samego narzędzia. Możliwość detekcji AI Turnitin, która incorporuje badania z przejęcia Pangram, jest teraz osadzona w platformie Turnitin. Jest dostępna dla instytucji, które subskrybują usługi Turnitin, ale nie jest oferowana jako narzędzie autonomiczne dla konsumentów. Oznacza to, że większość użytkowników indywidualnych — studenci sprawdzający swoje własne wersje robocze przed przesłaniem, pisarze frelanserów weryfikujący zawartość lub nauczyciele w szkołach, które nie używają Turnitin — nie mogą uzyskać dostępu do technologii detekcji Pangram w żadnej formie. Autonomiczny rynek detektorów AI, który istniał w 2022 roku, gdy Pangram został uruchomiony, znacznie wzrósł od czasu przejęcia. Narzędzia takie jak GPTZero, ZeroGPT, Originality.ai, Copyleaks i opcje przyjazne dla urządzeń mobilnych, takie jak NotGPT, teraz wypełniają przestrzeń, którą zajmował Pangram dla użytkowników, którzy potrzebują detekcji bez dostępu do oprogramowania instytucjonalnego.

Co powinieneś używać teraz, gdy Pangram jest częścią Turnitin?

Właściwa zamiana Pangram AI Detector zależy od Twojego kontekstu i sposobu użycia wyniku. Abonenci instytucjonalni Turnitin powinni sprawdzić, czy ich instytucja włączyła funkcję detekcji AI Turnitin — jeśli tak, to jest to najbardziej bezpośrednia kontynuacja tego, co oferował Pangram, z podświetleniami na poziomie zdania i tą samą linią badawczą. Dla użytkowników spoza dostępu instytucjonalnego opcje dzielą się na kilka linii. GPTZero jest najbliższym dopasowaniem do tego, co oferował Pangram dla prac akademickich: warstwa bezpłatna, podświetlenie na poziomie zdania i kalibracja do formatów zawartości akademickiej. ZeroGPT to opcja bez rejestracji dla użytkowników, którzy chcą szybkiego sprawdzenia bez tworzenia konta, chociaż jego spójność między powtarzającymi się przebiegami jest niższa niż narzędzia o bardziej ustrukturyzowanym rozwoju. Dla zespołów zawartości i wydawców, którzy muszą weryfikować materiał napisany przez wykonawców przed publikacją, Originality.ai i Copyleaks oferują bardziej ustrukturyzowane przepływy pracy z kontami zespołowymi, przetwarzaniem wsadowym i opublikowanymi benchmarkami dokładności. Dla każdego sprawdzającego zawartość na urządzeniu mobilnym lub poruszającego się między kontekstami, NotGPT zapewnia detekcję tekstu w czasie rzeczywistym z podświetleniem zdania bez konieczności przeglądarki pulpitu. Niezależnie od tego, które narzędzie użyjesz, podejście, które daje najbardziej obronę wyniki, to to samo, które rekomendował Pangram: traktuj wyjście detekcji jako impuls do bardziej uważnego przeglądu, porównaj co najmniej dwa narzędzia w sytuacjach wysokiego ryzyka i udokumentuj uzasadnienie każdej decyzji, która ma rzeczywiste konsekwencje dla ocenianej osoby.

1. Abonenci instytucjonalni Turnitin: sprawdź, czy Twoja instytucja włączyła funkcję detekcji pisania AI Turnitin
2. Studenci i użytkownicy akademiccy: GPTZero do podświetlania na poziomie zdania skalibrowanego do formatów prac akademickich
3. Użytkownicy bez konta: ZeroGPT do szybkich sprawdzeń bez rejestracji poszczególnych fragmentów
4. Zespoły zawartości i wydawnicze: Originality.ai lub Copyleaks do przepływów pracy wsadowej i opublikowanych benchmarków
5. Użytkownicy mobilni: NotGPT do detekcji w czasie rzeczywistym i podświetlania zdania z dowolnego urządzenia
6. Każda konsekwentna decyzja: porównaj dwa narzędzia i udokumentuj proces przeglądu przed działaniem