Kan Perusall AI detecteren? Wat het platform wel en niet ziet

Perusall is een sociaal annotatieplatform dat naast het leermanagementsysteem van een cursus wordt gebruikt. Studenten lezen een toegewezen pdf, bekijken een video of nemen een hoofdstuk uit een studieboek door. In plaats van een apart essay in te leveren, plaatsen ze opmerkingen, vragen en antwoorden rechtstreeks bij specifieke passages of tijdstippen. Andere studenten in dezelfde groep kunnen die annotaties zien en erop reageren. Dat is wat het "sociaal" maakt in plaats van een privé-inzending. Omdat het beoordeelde werk bestaat uit korte annotaties die over een document zijn verspreid, en niet uit één doorlopend essay, komt de vraag of Perusall AI kan detecteren om een andere reden op dan bij Turnitin of een essay-upload in Canvas: de teksten zijn korter, informeler en gekoppeld aan een specifiek citaat of moment in het bronmateriaal. Dat verandert zowel hoe door AI gegenereerde annotaties eruit kunnen zien als hoe een systeem ze zou moeten opsporen.

Nee. Perusall haalt annotaties niet door een AI-detectiemodel en het platform heeft geen schakelaar waarmee een docent zo’n functie kan inschakelen. De eigen beoordelingsmotor van Perusall, door het bedrijf geautomatiseerde beoordeling genoemd, is gebouwd om signalen van betrokkenheid te beoordelen: de lengte van een annotatie, of een opmerking naar specifieke inhoud uit de leestekst verwijst, hoe vroeg die ten opzichte van de deadline is geplaatst en of andere studenten erop hebben gereageerd. Geen van die signalen is bedoeld om te schatten of de tekst door AI is gegenereerd. Hoewel mensen soms vragen of Perusall op AI controleert en een antwoord verwachten zoals bij een overeenkomstigheidsrapport, is het eerlijke antwoord dus dat het algoritme is ontwikkeld om de kwaliteit van deelname te meten, niet het auteurschap. Aan geen enkele annotatie is een AI-waarschijnlijkheidsscore gekoppeld.

De docentenweergave in Perusall is meer handmatig dan geautomatiseerd. Een docent kan het annotatiedashboard van een klas openen, elke opmerking van een student lezen, gesorteerd op document, student of tijdstip, en de geautomatiseerde betrokkenheidsscore bekijken die Perusall voor iedere student heeft berekend. Wat een docent niet kan zien, omdat Perusall dit niet genereert, is een AI-waarschijnlijkheidspercentage of een gemarkeerde waarschuwing zoals "dit lijkt door een machine geschreven" naast een annotatie. Als een docent vermoedt dat annotaties door AI zijn gegenereerd en niet tijdens het lezen zijn geschreven, komt dat vermoeden meestal voort uit de annotaties zelf: bijvoorbeeld een opmerking die de tekst algemeen prijst zonder specifiek te verwijzen naar de passage waaraan die is gekoppeld, of formuleringen die zich in meerdere leesteksten herhalen op een manier die niet past bij de gebruikelijke stem van de student.

Ja, en dit is meestal de relevantere route wanneer een docent het annotatiepatroon van een student nauwkeuriger wil bekijken. Perusall laat docenten annotatiegegevens, waaronder opmerkingsteksten, tijdstippen en betrokkenheidsscores, naar een spreadsheet exporteren via de functies voor gegevensexport of synchronisatie met het cijferboek. Perusall stuurt die export niet door een AI-detectiemodel; het gaat om onbewerkte tekst en metadata. Zodra een docent de annotatietekst buiten het platform heeft, kan die de tekst wel handmatig bekijken op dezelfde waarschuwingssignalen als elders, of bijzonder korte of verdachte fragmenten in een aparte AI-detectietool plakken als het cursusbeleid zo’n controle voorschrijft. De exportstap is wat een Perusall-opdracht daadwerkelijk met een AI-controle verbindt; daarvoor gebeurt er niets automatisch.

Perusall wordt doorgaans via een LMS-integratie aan een cursus toegevoegd, meestal in Canvas, maar ook in Brightspace of Blackboard. Dat LMS kan afzonderlijk Turnitin of een andere AI-detectietool gebruiken voor andere opdrachten binnen dezelfde cursus, zoals essays of discussiebijdragen. Dat is een volledig gescheiden proces van de beoordeling van Perusall-annotaties. Een cursus kan Turnitins indicator voor AI-teksten actief hebben voor een eindwerkstuk dat via Canvas wordt ingeleverd, terwijl Perusall alleen voor wekelijkse leesannotaties wordt gebruikt; beide systemen delen geen gegevens of beoordelingen. Als een syllabus AI-detectie noemt, is het daarom verstandig om specifiek te controleren of het beleid het hulpmiddel voor het inleveren van essays of dat voor leesannotaties beschrijft. Een student kan redelijkerwijs aannemen dat het ene het andere dekt, terwijl dat niet zo is.

Zonder geautomatiseerde score om op terug te vallen, merken docenten die AI-gebruik in Perusall-annotaties vermoeden dit meestal op door patronen te herkennen en niet door één gemarkeerd getal.

Als een docent specifiek zorgen uit over Perusall-annotaties, is een procedurele reactie meestal nuttiger dan een defensieve, omdat er om te beginnen geen door Perusall gegenereerd rapport is om tegenin te gaan.

Omdat Perusall zelf niets automatisch markeert, ligt het praktische risico volledig in de manier waarop een docent een annotatie later kan lezen, tijdens een gewone controle of na een export. Langere of verzorgdere annotaties vóór plaatsing door NotGPTs tool voor AI-tekstdetectie halen, kan laten zien of de formulering als geheel door AI gegenereerd lijkt. Dat is nuttig als een opmerking met veel hulp van een grammaticatool of vertaalsoftware is geschreven en daardoor stijver of formeler klinkt dan de andere annotaties van de student. Als een gemarkeerde opmerking werkelijk oorspronkelijk is, maar naast de normale stem van de student onnatuurlijk verzorgd klinkt, kan de Humanize-tool de formulering aanpassen zonder de eigenlijke observatie over de leestekst te veranderen. Zo’n controle is een voorzorgsmaatregel voor hoe de tekst kan overkomen, geen reactie op iets dat Perusall zelf meet, want het platform heeft geen eigen AI-detectielaag.