Dlaczego sztuczna inteligencja pisze tak źle? Rzeczywiste przyczyny płaskich i generycznych tekstów

Dlaczego teksty pisane przez AI są tak przewidywalne?

Duże modele językowe są trenowane, aby przewidzieć najbardziej prawdopodobne kolejne słowo biorąc pod uwagę wszystko, co przyszło wcześniej. Jeden właśnie cel wyjaśnia większość tego, co wydaje się złe w prozie generowanej przez AI. W każdym punkcie zdania model sięga po słowo lub frazę, którą ogromna próbka wcześniejszego tekstu sugeruje, że jest najbardziej prawdopodobna — nie słowo, które najlepiej oddaje konkretny, idiosynkratyczny pomysł. Wynik to tekst, który prawie nigdy cię nie zaskoczy, bo został zbudowany po to, żeby tego nie robić. Ludzki pisarz czasami wybiera niespodziewane słowo, ponieważ jest bardziej precyzyjne, bardziej żywe, lub po prostu tak myśli — nawet gdy bezpieczniejszy synonim czekał tam obok. Model wytrenowany, aby zminimalizować błąd predykcji, nie ma powodu, aby dokonać tego wyboru; bezpieczniejszy synonim jest z definicji statystycznie preferowanym. Przeczytaj wystarczająco dużo wyników AI i zaczniesz zauważać ten sam rytm wracający: zdanie-temat, zdanie wspierające, miękki qualifier, schludne zamknięcie. Nic z tego nie jest źle. Wszystko jest oczekiwane, a oczekiwane to właśnie to, co zaczyna brzmieć źle.

Teksty pisane przez AI nie są złe, bo łamią zasady. Są złe, bo podążają za najbardziej prawdopodobną zasadą za każdym razem, a proza bez nieprawdopodobnych wyborów nie ma gdzie lądować oczy czytelnika.

Dlaczego teksty pisane przez AI brzmią tak generycznie?

Model nie czerpie z jednego źródła — był trenowany na ogromnej średniej z tego, jak miliony dokumentów omawiają temat. Kiedy poprosisz go, aby wyjaśnił koncepcję, opisał produkt lub przedstawił argument, nie przywołuje jednego ostrego punktu widzenia; mieszając statystycznie powszechne sformułowania w ogromnej liczbie podobnych tekstów w jedną wygładzoną wersję. Ta uśrednianie to powód, dla którego teksty pisane przez AI brzmią generycznie, nawet jeśli każde zdanie jest indywidualnie poprawne. Specyficzna opinia, pamiętna analogia lub nieco niekonwencjonalne ujęcie odciągnęłyby wynik od średniej, a trening modelu pcha go z powrotem w kierunku środka. Środek jest bezpieczny, szeroko stosowany i prawie nigdy nie mylny — a także prawie nigdy nie charakterystyczny. To jest powód, dla którego opisy produktów napisane przez AI, listy motywacyjne i eseje na zupełnie różne tematy mogą brzmieć dziwnie podobnie do siebie: wszystkie są przyciągane w kierunku tej samej statystycznej średniej.

1. Niejasne intensyfikatory zamiast szczegółów: 'znaczący wpływ' zamiast liczby, 'wielu ekspertów zgadza się' zamiast wskazania jednego
2. Zamienne przykłady: ilustracje tak generyczne, że mogłyby być zamienione na esej na prawie każdy inny temat bez zmian
3. Zbilansowane ramowanie aż do winy: każde stwierdzenie natychmiast osłabiane 'jednak' lub 'z drugiej strony', nawet gdy pisarz wyraźnie ma silniejszy punkt widzenia
4. Definicje podręcznikowe otwierające paragrafy, które czytelnik zaznajomiony z tematem nie musi słyszeć ponownie

Dlaczego przejścia w tekstach AI brzmią tak nudnie?

Ludzie piszący poruszają się między ideami tak, jak myślą: czasami abruptnie, czasami zdaniem, które cicho reframuje to, co przyszło wcześniej, czasami po prostu zaczynając nowy akapit, bo punkt jest oczywiście połączony bez konieczności słowa mostu. Tekst generowany przez AI zwykle opiera się na małym zestawie łącznikowych fraz — ponadto, dodatkowo, poza tym, ponadto — umieszczonego na początku prawie każdego akapitu, niezależnie od tego, czy logiczna relacja faktycznie wymaga tego. Ten nawyk pochodzi z tego samego problemu przewidywalności: 'dodatkowo' to bardzo bezpieczny, bardzo częsty sposób na połączenie dwóch powiązanych punktów, więc jest wybierany stale. Wystarczająco nadużywane, te przejścia przestają robić swoją pracę. Czytelnik zaczyna przeskakiwać je, ponieważ nauczył się, że słowo nie nosi żadnych informacji — to wypełniacz, który sygnalizuje 'oto kolejny punkt', nie 'oto jak ten punkt odnosi się do ostatniego'. Efekt narasta w całym artykule: akapit za akkapitem otwiera się tym samym kilkoma standardowymi łącznikami, a pismo zaczyna brzmieć mechanicznie, nawet jeśli żadne pojedyncze zdanie nie ma wad.

Słowo przejściowe ma powiedzieć czytelnikowi coś o relacji między dwiema ideami. Kiedy każdy akapit zaczyna się tym samym, to przestaje cokolwiek znaczyć.

Dlaczego teksty pisane przez AI są tak złe w przyznawaniu niepewności?

Modele AI generują tekst token po tokenie bez odrębnego procesu, który sprawdzałby, czy roszczenie jest faktycznie prawdziwe, zanim zostanie zapisane. Płynność wyników i dokładność wyników pochodzą z całkowicie różnych mechanizmów, a płynność to ten, do którego model jest optymalizowany. Dlatego teksty generowane przez AI mogą podać błędną statystykę, błędnie przypisać cytat lub wymyślić wiarygodnie brzmiące badania z dokładnie tym samym pewnym, dobrze ustrukturyzowanym tonem, którego używa dla twierdzenia, które jest całkowicie dokładne. Nie ma żadnego zabezpieczenia w samej prozie sygnalizującego niepewność, ponieważ model nie śledzi własnej niepewności w ten sposób, w jaki ostrożny ludzki pisarz śledzi swoją. Osoba piszącego o czymś, w co nie są całkowicie pewni, często — świadomie lub nie — złagodzi twierdzenie, doda qualifier lub oznaczy to jako coś do zweryfikowania. Model nie ma równoważnego sygnału wewnętrznego, na którym można by się oprzeć, więc wszystko brzmi równie pewnie. Czytelnicy, którzy nie są już zaznajomieni z tematem, nie mają możliwości rozróżnienia między dobrze popieranym twierdzeniem a wymyślanym tylko na podstawie tego, jak jest napisane, co dokładnie to sprawia, że ten tryb niepowodzenia jest tak łatwy do pominięcia przy pierwszym czytaniu.

Płynny i poprawny to nie ta sama właściwość, a modele AI są optymalizowane bezpośrednio tylko dla pierwszego z nich.

Dlaczego teksty pisane przez AI są tak złe w szczegółach z życia?

Model nigdy nic faktycznie nie robił. Przetwarzał tekst opisujący, co inni robili, czuli lub obserwowali, ale nie ma wspomnienia konkretnego wtorku, nie ma zmysłowego zapisu konkretnego miejsca i nie ma osobistego udziału w wyniku argumentu. Ta nieobecność pojawia się jako trwała luka w specyficzności. Poproś model, aby opisał trudną rozmowę, projekt, który się nie udał, lub mały techniczny błąd, a wytworzy coś strukturalnie prawidłowego i emocjonalnie odpowiedniego — ale sięgnie po generyczną wersję tego doświadczenia, a nie naprawdę konkretny, ponieważ nie ma konkretnego, z którego mógłby czerpać. Ludzkie pismo, nawet gdy dotyczy czegoś zwyczajnego, zwykle nosi małe niewyjaśnialne szczegóły: konkretna liczba, dziwny komentarz uboczny, obserwacja, która nie służy argumentowi, ale jest prawdziwa. Kopie robocze AI zwykle je pomijają, ponieważ nie ma mechanizmu generującego nieistotne, ale rzeczywiste szczegóły — wszystko, co model wytwarza, jest w pewnym sensie w służbie bezpośredniego zadania predykcji, a błędne, bezcelu charakterystyczne krótko rzadko otrzymują wybór jako najbardziej prawdopodobne kolejne słowa.

1. Brakujące szczegóły zmysłowe lub sytuacyjne: bez konkretnego zapachu, dźwięku, pory dnia lub szczegółu fizycznego zakotwiczającego scenę
2. Żadnych niewyjaśnionych stycznych: każde zdanie widocznie służy argumentowi, bez małych nieistotnych asyd, które włączają prawdziwi pisarze
3. Okrągłe, generyczne liczby zamiast dziwnie konkretnych: 'znaczna część' zamiast '37 z 52 odpowiedzi'
4. Emocje nazwane zamiast pokazane: 'to było frustrujące' zamiast konkretnego momentu, który czyni frustrację ewidentną bez jej stwierdzenia

Jak sprawdzić, czy kopie robocza ma te problemy?

Większość poprawek w zakresie płaskiego pisania AI zaczyna się od bliskiego przeczytania dokładnych wzorów opisanych powyżej, ponieważ żaden z nich nie wymaga przepisania od nowa — wymagają znalezienia i zastąpienia wersji generycznej konkretną. Idź sekcja po sekcji i pytaj, co byłoby stracone, gdybyś usunął dane zdanie; jeśli odpowiedź to nic, to zdanie jest prawdopodobnie wypełniaczem. Następnie poszukaj najbardziej obronnego, najmniej osłabionego twierdzenia pracy i sprawdź, czy utwór faktycznie się do niego zobowiązuje, czy go nie osłabia w qualifierach. Krótki przebieg rewizji skupiony na tych sprawdzeniach robi więcej, aby naprawić kopię roboczą o smaku AI niż pełnego przepisania, ponieważ podstawowe idee są zwykle w porządku — powierzchniowa tekstura to wymaga pracy.

1. Przeszukaj kopię roboczą pod kątem 'ponadto', 'dodatkowo', 'poza tym' i 'w podsumowaniu' — wytnij co najmniej połowę z nich i pozwól akapitom łączyć się bez słowa mostu
2. Zakreśl każdy niejasny intensyfikator (znaczący, różny, liczny, wiele) i zastąp go rzeczywistą liczbą, nazwą lub konkretnym przykładem
3. Przeczytaj każde stwierdzenie faktyczne i zaznacz, czy możesz wskazać jego źródło — jeśli nie, zweryfikuj je lub usuń je przed publikacją
4. Dodaj jeden konkretny, specyficzny szczegół na sekcję, który pochodzi z rzeczywistego doświadczenia lub badań, a nie z tego, co 'zwykle' się dzieje
5. Przeczytaj utwór na głos — zdania, które wszystkie lądują z tym samym rytmem i wagą, to znak niskiej zmienności warte rozbicia
6. Uruchom kopię roboczą przez detektor AI NotGPT, aby zobaczyć, które konkretne zdania brzmią jako najprzewidywalne, a następnie najpierw zrevizuj te