Czy Perusall wykrywa AI? Co platforma widzi, a czego nie

Perusall to platforma społecznościowych adnotacji używana wraz z systemem zarządzania nauczaniem danego kursu. Studenci czytają zadany plik PDF, oglądają film lub opracowują rozdział podręcznika i zamiast przesyłać osobny esej, zostawiają komentarze, pytania i odpowiedzi bezpośrednio przy konkretnych fragmentach lub znacznikach czasu. Inni studenci z tej samej grupy mogą widzieć te adnotacje i na nie odpowiadać. Właśnie dlatego mają one charakter "społecznościowy", a nie prywatny. Ponieważ oceniana praca składa się z krótkich adnotacji rozmieszczonych w dokumencie, a nie z jednego ciągłego eseju, pytanie o zdolność Perusall do wykrywania AI wynika z innych powodów niż w przypadku Turnitin lub przesyłania eseju do Canvas: tekst jest krótszy, bardziej konwersacyjny i powiązany z konkretnym cytatem lub momentem w materiale źródłowym. Zmienia to zarówno możliwy wygląd adnotacji wygenerowanych przez AI, jak i sposób, w jaki system musiałby je wychwycić.

Nie. Perusall nie przepuszcza adnotacji przez model wykrywania AI, a na platformie nie ma opcji, którą prowadzący mógłby włączyć w tym celu. Własny mechanizm oceniania Perusall, określany przez firmę jako automatyczne ocenianie, służy do oceny sygnałów zaangażowania: długości adnotacji, tego, czy komentarz odnosi się do konkretnych treści z lektury, jak wcześnie względem terminu został opublikowany oraz czy inni studenci weszli z nim w interakcję. Żaden z tych sygnałów nie został zaprojektowany do szacowania, czy tekst wygenerowała AI. Choć pytanie, czy Perusall sprawdza AI, bywa zadawane z oczekiwaniem odpowiedzi podobnej do raportu zgodności, prawda jest taka, że algorytm platformy powstał do mierzenia jakości uczestnictwa, a nie autorstwa. Żadna adnotacja nie ma przypisanego wyniku prawdopodobieństwa użycia AI.

Widok prowadzącego w Perusall jest bardziej ręczny niż zautomatyzowany. Prowadzący może otworzyć panel adnotacji dla grupy i przeczytać każdy komentarz pozostawiony przez studenta, sortując je według dokumentu, studenta lub znacznika czasu, a także zobaczyć automatyczny wynik zaangażowania obliczony przez Perusall dla każdej osoby. Nie może natomiast zobaczyć procentowego prawdopodobieństwa użycia AI ani wyróżnionej flagi "to wygląda na tekst napisany przez maszynę" obok adnotacji, ponieważ Perusall ich nie generuje. Jeśli prowadzący podejrzewa, że adnotacje studenta stworzyła AI, a nie sam student podczas czytania, podejrzenie zwykle wynika z lektury samych adnotacji: na przykład komentarza, który ogólnie chwali tekst bez konkretnego odniesienia do fragmentu, przy którym został dodany, albo sformułowań powtarzających się przy wielu lekturach w sposób niepasujący do zwykłego stylu studenta.

Tak, i zwykle jest to bardziej odpowiednia droga, gdy prowadzący chce dokładniej przyjrzeć się wzorcowi adnotacji studenta. Perusall umożliwia eksport danych adnotacji, w tym treści komentarzy, znaczników czasu i wyników zaangażowania, do arkusza kalkulacyjnego przez funkcje eksportu danych lub synchronizacji z dziennikiem ocen. Perusall nie przepuszcza tego eksportu przez żaden model wykrywania AI — są to surowy tekst i metadane. Gdy prowadzący ma już tekst adnotacji poza platformą, może ręcznie sprawdzić go pod kątem takich samych sygnałów ostrzegawczych jak w innych miejscach lub wkleić wyjątkowo krótkie bądź podejrzane fragmenty do osobnego narzędzia do wykrywania AI, jeśli polityka kursu przewiduje taką kontrolę. To właśnie etap eksportu łączy zadanie Perusall z jakąkolwiek weryfikacją AI; wcześniej nic nie dzieje się automatycznie.

Perusall jest zazwyczaj dodawany do kursu przez integrację z LMS, najczęściej Canvas, ale także Brightspace lub Blackboard. Ten LMS może osobno uruchamiać Turnitin albo inne narzędzie do wykrywania AI dla pozostałych zadań w tym samym kursie, takich jak eseje czy wpisy dyskusyjne. To proces całkowicie niezależny od oceniania adnotacji Perusall. Na kursie wskaźnik tekstu AI w Turnitin może być aktywny dla pracy semestralnej przesłanej przez Canvas, podczas gdy Perusall służy wyłącznie do cotygodniowych adnotacji do lektur; oba systemy nie udostępniają sobie danych ani wyników. Jeśli sylabus wspomina o wykrywaniu AI, warto więc dokładnie sprawdzić, czy zasada dotyczy narzędzia do przesyłania esejów, czy narzędzia do adnotacji lektur. Student może zasadnie założyć, że jedno obejmuje drugie, choć tak nie jest.

Bez automatycznego wyniku, na którym można się oprzeć, prowadzący podejrzewający użycie AI w adnotacjach Perusall zwykle dostrzegają je poprzez analizę wzorców, a nie pojedynczą oznaczoną liczbę.

Jeśli prowadzący zgłasza obawy dotyczące konkretnie adnotacji Perusall, najbardziej pomocna jest zwykle odpowiedź skupiona na procedurze, a nie defensywna, ponieważ nie istnieje żaden raport wygenerowany przez Perusall, z którym trzeba by polemizować.

Ponieważ Perusall sam niczego automatycznie nie oznacza, praktyczne ryzyko zależy wyłącznie od tego, jak prowadzący może później odebrać adnotację podczas zwykłego przeglądu lub po eksporcie. Przepuszczenie dłuższych lub bardziej dopracowanych adnotacji przez narzędzie NotGPT do wykrywania tekstu AI przed publikacją może pokazać, czy sformułowania jako całość brzmią jak wygenerowane przez AI. Jest to przydatne, jeśli komentarz został napisany przy dużym wsparciu narzędzia gramatycznego lub oprogramowania tłumaczeniowego i przez to brzmi sztywniej lub bardziej formalnie niż pozostałe adnotacje studenta. Jeśli oznaczony komentarz jest naprawdę oryginalny, ale na tle zwykłego stylu studenta wydaje się nienaturalnie dopracowany, narzędzie Humanize może zmienić sformułowania bez modyfikowania właściwej obserwacji dotyczącej lektury. Taka kontrola to środek ostrożności związany z możliwym odbiorem tekstu, a nie reakcja na pomiar Perusall, ponieważ platforma nie ma własnej warstwy wykrywania AI.