Poate Perusall să detecteze IA? Ce vede platforma și ce nu vede

Perusall este o platformă de adnotare socială utilizată împreună cu sistemul de management al învățării al unui curs. Studenții citesc un PDF alocat, urmăresc un videoclip sau studiază un capitol dintr-un manual și, în loc să trimită un eseu separat, lasă comentarii, întrebări și răspunsuri direct la anumite pasaje sau marcaje temporale. Ceilalți studenți din aceeași grupă pot vedea și pot răspunde acestor adnotări, ceea ce le face "sociale", nu o trimitere privată. Deoarece rezultatul evaluat este un set de adnotări scurte răspândite într-un document, nu un eseu continuu, întrebarea dacă Perusall poate detecta IA apare dintr-un motiv diferit față de Turnitin sau încărcarea unui eseu în Canvas: textele sunt mai scurte, mai conversaționale și legate de un citat sau moment precis din materialul-sursă. Acest lucru schimbă atât felul în care ar putea arăta adnotările generate de IA, cât și modul în care un sistem ar trebui să le identifice.

Nu. Perusall nu trece adnotările printr-un model de detectare a IA, iar platforma nu are o opțiune pe care profesorul să o poată activa în acest scop. Motorul propriu de evaluare Perusall, denumit de companie evaluare automată, este conceput să analizeze semnale de implicare: lungimea adnotării, dacă un comentariu face referire la un conținut precis din lectură, cât de devreme a fost publicat în raport cu termenul-limită și dacă alți studenți au interacționat cu el. Niciunul dintre aceste semnale nu este conceput să estimeze dacă textul a fost generat de IA. Prin urmare, deși oamenii întreabă uneori dacă Perusall verifică IA așteptând un răspuns asemănător unui raport de similitudine, adevărul este că algoritmul platformei a fost creat pentru a măsura calitatea participării, nu calitatea de autor, iar nicio adnotare nu are atașat un scor de probabilitate IA.

Vizualizarea profesorului în Perusall este mai degrabă manuală decât automată. Profesorul poate deschide panoul de adnotări al unei grupe și poate citi fiecare comentariu lăsat de un student, sortat după document, student sau marcaj temporal, precum și scorul automat de implicare calculat de Perusall pentru fiecare persoană. Ceea ce nu poate vedea, deoarece Perusall nu generează așa ceva, este un procent de probabilitate IA sau un indicator evidențiat precum "acest text pare scris de o mașină" lângă o adnotare. Dacă un profesor suspectează că adnotările unui student au fost generate de IA și nu scrise în timpul lecturii, suspiciunea apare de regulă din citirea adnotărilor: de exemplu, un comentariu care laudă textul în termeni generali fără să facă referire concretă la pasajul de care este atașat sau formulări care se repetă în mai multe lecturi într-un mod neobișnuit pentru vocea studentului.

Da, iar aceasta este de obicei calea mai relevantă când un profesor dorește să analizeze mai atent tiparul adnotărilor unui student. Perusall le permite profesorilor să exporte într-o foaie de calcul datele adnotărilor, inclusiv textul comentariilor, marcajele temporale și scorurile de implicare, prin funcțiile de export al datelor sau de sincronizare cu catalogul de note. Perusall nu trece acel export prin niciun model de detectare a IA; acesta conține text brut și metadate. După ce profesorul are textul adnotărilor în afara platformei, îl poate însă examina manual pentru aceleași semnale de alarmă pe care le-ar căuta în altă parte sau poate lipi fragmente deosebit de scurte ori suspecte într-un instrument separat de detectare a IA, dacă politica acelui curs prevede un astfel de control. Etapa de export este cea care conectează efectiv o temă Perusall cu o eventuală verificare IA; înainte de acel moment nu se întâmplă nimic automat.

Perusall este de obicei adăugat unui curs printr-o integrare LMS, cel mai adesea Canvas, dar și Brightspace sau Blackboard. LMS-ul poate rula separat Turnitin sau un alt instrument de detectare a IA pentru alte teme din același curs, precum eseuri sau postări de discuție. Acesta este un flux complet separat de evaluarea adnotărilor Perusall. Un curs poate avea activ indicatorul Turnitin pentru texte scrise de IA în cazul unei lucrări semestriale trimise prin Canvas, utilizând în același timp Perusall exclusiv pentru adnotările săptămânale de lectură; cele două sisteme nu își transmit date sau scoruri. Dacă programa menționează detectarea IA, merită verificat în mod concret dacă acea politică descrie instrumentul de trimitere a eseurilor sau instrumentul de adnotare a lecturilor, deoarece un student ar putea presupune în mod rezonabil că unul îl acoperă pe celălalt, deși nu este așa.

Fără un scor automat pe care să se bazeze, profesorii care suspectează utilizarea IA în adnotările Perusall tind să o observe prin citirea tiparelor, nu printr-o singură valoare semnalată.

Dacă un profesor își exprimă o îngrijorare legată în mod special de adnotările Perusall, cel mai util răspuns este de obicei unul procedural, nu defensiv, deoarece de la bun început nu există niciun raport generat de Perusall care să trebuiască contestat.

Deoarece Perusall nu semnalează nimic automat, riscul practic depinde în întregime de modul în care un profesor ar putea interpreta ulterior o adnotare, fie în timpul unei examinări obișnuite, fie după export. Trecerea adnotărilor mai lungi sau mai șlefuite prin instrumentul NotGPT de Detectare a Textului IA înainte de publicare poate arăta dacă textul pare generat de IA. Acest lucru este util dacă un comentariu a fost scris cu mult ajutor din partea unui instrument gramatical sau a unui program de traducere și a ajuns să sune mai rigid sau mai formal decât restul adnotărilor studentului. Dacă un comentariu semnalat este cu adevărat original, dar pare nefiresc de șlefuit în comparație cu vocea obișnuită a studentului, instrumentul Humanize îi poate ajusta formularea fără să schimbe observația efectivă despre lectură. Un astfel de control este o măsură de precauție privind modul în care ar putea fi perceput textul, nu un răspuns la ceva măsurat de Perusall, deoarece platforma nu are propriul nivel de detectare a IA.