Jak Canvas wykrywa sztuczną inteligencję? Rzeczywista mechanika stojąca za wynikiem

Jak Canvas wykrywa AI w pracy, krok po kroku?

Jak Canvas wykrywa AI w pracy? Proces rozpoczyna się w momencie, gdy student kliknie przycisk wysyłania, a nie gdy instruktor otwiera zadanie. Jeśli zadanie zostało utworzone z integracją Turnitin lub podobnym LTI, Canvas wysyła pracę do połączonego narzędzia poprzez LTI 1.3, obecną wersję standardu Learning Tools Interoperability, który umożliwia zewnętrznym aplikacjom działanie wewnątrz LMS tak, jakby były funkcjami natywnymi. Ta transmisja zawiera tekst pracy, ID zadania i wystarczająco dużo metadanych do routowania wyniku z powrotem do właściwego studenta i kolumny oceny — ale nic na temat tego, jak student ją napisał. Zewnętrzne narzędzie wyodrębnia czytelny tekst z dowolnego formatu pliku, umieszcza wyodrębniony tekst w kolejce do analizy i przepuszcza go przez wytrenowany model klasyfikacji. Po zakończeniu oceny narzędzie wysyła wynik z powrotem do Canvas poprzez to samo połączenie LTI, używając wywołania usługi outcome, a wynik pojawia się w widoku SpeedGrader instruktora obok raportu podobieństwa plagiatów, zwykle w ciągu minut dla krótkich prac i do godziny podczas okresów wysokiego ruchu, takich jak egzaminy końcowe. Canvas nie przechowuje kopii logiki analizy, nie wykonuje żadnej części oceny i nie ma widoczności na to, jak zewnętrzny model doszedł do wniosku — jest kurierem dla tekstu wychodzącego i wyniku wchodzącego.

1. Student wysyła plik lub wklejony tekst poprzez stronę zadania Canvas
2. Canvas uruchamia połączenie LTI 1.3 z połączonym narzędziem do wykrywania (zwykle Turnitin)
3. Zewnętrzne narzędzie wyodrębnia czytelny tekst z wysłanego pliku
4. Wyodrębniony tekst jest umieszczony w kolejce i przepuszczany przez model klasyfikacji narzędzia
5. Otrzymany wynik jest wysyłany z powrotem do Canvas poprzez wywołanie usługi outcome LTI
6. Wynik pojawia się w SpeedGrader obok raportu podobieństwa plagiatów

Co faktycznie się dzieje podczas skanowania: tokenizacja, ocena i agregacja tekstu

Krok skanowania nie jest wyszukiwaniem słów kluczowych ani porównaniem w stylu plagiatów z bazą danych — nie ma ustalonego tekstu do porównania, ponieważ pisanie może być całkowicie oryginalne. Zamiast tego model klasyfikacji dzieli wyodrębniony tekst na zachodzące na siebie segmenty, często liczące kilkaset słów każdy, i ocenia każdy segment pod kątem wzorców statystycznych związanych z wynikiem modelu języka. Dwie właściwości napędzają większość tych klasyfikatorów: perplexity, która mierzy, jak przewidywalne jest każdy wybór słowa, biorąc pod uwagę słowa przed nim, oraz burstiness, która mierzy, jak bardzo zmienia się długość i struktura zdania w całym fragmencie. Duże modele języka mają tendencję do generowania tekstu z niższą perplexity, ponieważ są trenowane, aby wybierać słowa o wysokim prawdopodobieństwie, i z niższą burstiness, ponieważ ich rytm zdania pozostaje względnie wyrównany. Model przypisuje każdemu segmentowi wynik prawdopodobieństwa, a następnie agreguje te wyniki na poziomie segmentu w jedną wartość procentową, która pojawia się na raporcie, wraz z wyróżnieniem na poziomie zdania, które oznacza konkretne fragmenty napędzające ogólną liczbę. To wytrenowany klasyfikator wydający probabilistyczną opinię, a nie wyszukiwanie — co jest dokładnie dlatego, dlaczego ta sama mechanika leżąca u podstaw łapania tekstu generowanego przez AI również łapie pisanie człowieka, które przypadkowo dzieli te właściwości statystyczne, takie jak formalna proza akademicka lub mocno redagowane szkice.

"Model nie porównuje twojego zdania z bazą danych wyjścia ChatGPT — pyta, jak statystycznie niespodziewane są twoje wybory słów w porównaniu z typową zmiennością człowieka." — Badacz NLP opisujący oparty na klasyfikatorze wykrywanie AI, 2025

Które typy prac Canvas potok faktycznie może przeanalizować?

To, czy potok wykrywania może przeanalizować pracę Canvas, zależy wyłącznie od tego, czy narzędzie może wyodrębnić użyteczny tekst. To jest praktyczna odpowiedź na pytanie, jak Canvas wykrywa AI na poziomie typu pliku — zależy od tego, co klasyfikator może przeczytać, a nie od tego, co student faktycznie napisał. Wpisane wpisy tekstowe, wklejony tekst i standardowe przesyłane dokumenty — pliki Word, pliki tekstowe i pliki PDF z rzeczywistą warstwą tekstu — wyodrębniają się czysto i przechodzą przez potok bez problemu. Zeskanowane pliki PDF i sfotografowane ręcznie napisane strony to zupełnie inna historia: jeśli plik to zasadniczo obraz bez osadzonej warstwy tekstu, narzędzie do wykrywania nie ma nic do tokenizacji, a praca przechodzi bez żadnej analizy AI, chyba że instytucja również najpierw uruchomi optyczne rozpoznawanie znaków, czego większość standardowych integracji Canvas-Turnitin nie robi automatycznie. Quizy Canvas zbudowane z pytań wielokrotnego wyboru, prawda/fałsz lub dopasowania nie generują żadnej możliwej do przeanalizowania prozy — nie ma tekstu na poziomie zdania dla klasyfikatora do oceny, dlatego te typy pytań całkowicie wykraczają poza wykrywanie tekstu AI, niezależnie od tego, jakie narzędzie szkoła ma połączone. Pytania ze krótkimi odpowiedziami i pytania esejowe mogą być analizowane, jeśli instytucja skonfiguruje tę integrację, chociaż jest to mniej powszechne niż wykrywanie na poziomie zadania. Przesyłania kodu przechodzą przez większość potoków wykrywania niepewnie, ponieważ klasyfikatory są trenowane na wzorcach języka naturalnego, a kod następuje całkowicie różne reguły statystyczne. Wspólne prace są oceniane jako jeden dokument, co oznacza, że potok nie ma możliwości przypisania, które części pochodzą od którego współautora.

1. Wpisane lub wklejone wpisy tekstowe — niezawodnie analizowane
2. Dokumenty Word i pliki PDF oparte na tekście — niezawodnie analizowane
3. Zeskanowane lub sfotografowane strony bez warstwy tekstu — zwykle pomijane
4. Pytania wielokrotnego wyboru, prawda/fałsz i dopasowanie — niemożliwe do przeanalizowania
5. Odpowiedzi do quizu ze krótkymi odpowiedziami lub esejami — analizowane tylko jeśli osobno skonfigurowane
6. Przesyłania kodu — przepuszczone przez potok, ale nierzetelnie klasyfikowane
7. Wspólne prace — oceniane jako jeden dokument bez przypisania dla każdego autora

Jak Canvas niezawodnie wykrywa AI — i gdzie zawodzi?

Nawet gdy praca jest w pełni oparta na tekście i płynnie przechodzi przez potok, kilka ograniczeń strukturalnych kształtuje, jak wiele otrzymany wynik może faktycznie powiedzieć instruktorowi. Większość narzędzi do wykrywania wymaga minimalnej liczby słów — zwykle około 300 — zanim wygenerują wynik w ogóle, ponieważ krótsze fragmenty nie dostarczają wystarczającej próbki statystycznej, aby model osiągnął stabilne oszacowanie prawdopodobieństwa; prace poniżej tego progu zwykle zwracają powiadomienie o „niewystarczającym tekście” zamiast wartości procentowej. Niezawodność również spada dla przesyłań w języku nie-angielskim, ponieważ większość klasyfikatorów była trenowana głównie na parach tekstu w języku angielskim, a także dla treści mieszających wiele języków w jednym dokumencie. Sam Canvas nie śledzi w natywny sposób historii na poziomie nacisku klawiszy ani danych rewizji z czasem dla większości typów zadań, więc narzędzie do wykrywania nie ma osi czasowej roboczej do porównania z ostateczną pracą — widzi tylko gotowy tekst, bez możliwości weryfikacji, czy ten tekst był pisany przez trzy godziny czy wklejony w jednym ruchu, chyba że na wierzch jest nałożone oddzielne rozszerzenie proctoringu. Klasyfikatory są również specyficzne dla wersji: model wytrenowany do rozpoznawania wzorców z jednego pokolenia narzędzi do pisania AI może zalegać za nowszymi modelami, które generują bardziej naturalnie zróżnicowane wyjście, co jest częścią powodu, dla którego dokładność wykrywania zmienia się w czasie, gdy zarówno narzędzia do pisania AI, jak i klasyfikatory wykrywające nadal się aktualizują. Żadne z tych ograniczeń nie oznaczają, że wynik jest bez znaczenia, ale oznaczają, że jest to oszacowanie prawdopodobieństwa zbudowane na niekompletnych informacjach, a nie weryfikowany zapis tego, jak dokument został napisany.

Dlaczego ten sam potok daje różne wyniki dla podobnego tekstu?

Studenci czasami zauważają, że dwa fragmenty, które czytają się jednakowo formalnie lub sztuczne dla oka, wracają z bardzo różnymi wynikami, a mechanika wyjaśnia, dlaczego. Klasyfikator ocenia wzorce statystyczne na poziomie segmentu, więc dokument z kilkoma akapitami na AI zmieszanymi w innym razie napisanymi przez człowieka sekcjami może dać umiarkowany wynik mieszany, a nie jednakowo wysoki — krok agregacji uśrednia segmenty, co oznacza, że intensywna edycja tylko oznaczonych części może znacznie przesunąć ogólną liczbę, nawet jeśli większość dokumentu pozostaje nienaruszona. To jest część powodu, dla którego pytanie, jak Canvas wykrywa AI, nie ma jednej ustalonej odpowiedzi — ten sam potok może zwrócić różne numery dla podobnego tekstu w zależności od czasu, konfiguracji i których fragmentów przypadnie się znaleźć w oznaczonym segmencie. Narzędzia do parafrazowania komplikują to dalej: lekkie parafrazowanie, które tylko zamienia synonimy, ma tendencję do zachowywania niskiej perplexity, niskiej burstiness sygnatury, która wyzwoliła pierwotną flagę, podczas gdy parafrazowanie, które zmienia strukturę zdania i zmienia długość bardziej znacząco, może obniżyć wynik bez konieczności zmiany leżącego u podstaw znaczenia. Konfiguracja instytucji dodaje kolejną warstwę zmienności — niektóre szkoły ustawiają swoją integrację do wyświetlania surowego procentu, podczas gdy inne stosują próg, który tylko wyświetla flagę powyżej określonego odcięcia, więc ten sam leżący u podstaw wynik może wyglądać inaczej w zależności od tego, jak instancja Canvas instruktora jest skonfigurowana. A ponieważ same klasyfikatory okresowo przechodzą retraining i rekalibrację, ten sam dokładny tekst przesłany miesiące później poprzez ten sam potok instytucji może zwrócić miernie inny wynik, po prostu dlatego, że model wykonujący ocenę się zmienił.

Co się dzieje z wynikiem po zakończeniu skanowania?

Po tym, jak wynik wyląduje w SpeedGrader, zadanie potoku się kończy — wszystko, co następuje, to ludzka decyzja, a nie mechaniczna. Canvas nie automatycznie oznacza, nie automatycznie zawala i nie automatycznie raportuje nic w oparciu o liczbę; po prostu wyświetla to, co zwróciło połączone narzędzie, w taki sam sposób, w jaki wyświetla procent podobieństwa plagiatów. Niektóre instytucje mają ustalone zasady progu, w których wyniki powyżej określonego odcięcia wyzwalają automatyczne powiadomienie do biura integracji akademickiej, ale ta zasada znajduje się na poziomie instytucji lub wydziału, konfigurowana oddzielnie od samego narzędzia do wykrywania. W przypadku braku zasady progu, interpretacja pozostaje całkowicie instruktorowi, który zwykle waży wynik obok innego kontekstu: poprzednie próbki pisania studenta, charakter zadania i czy oznaczane fragmenty pasują do wzorów, które instruktor już kojarzy z głosem tego studenta. Ponieważ leżąca u podstaw mechanika daje prawdopodobieństwo, a nie werdykt, większość wytycznych instytucjonalnych — w tym ramowce opublikowane przez biura integracji akademickiej od 2024 roku — traktuje wynik jako punkt wyjścia do rozmowy ze studentem, a nie samodzielny dowód wykroczenia.

Jak możesz sprawdzić swoje pisanie na podstawie tej samej mechaniki, którą Canvas używa?

Ponieważ potok wykrywania ocenia wzorce statystyczne, a nie wyszukuje określony 'znak', najbardziej przydatna rzecz, którą student może zrobić przed wysłaniem, to zobaczyć, jak ich własny szkic radzić sobie z podobnym rodzajem analizy. Przepuszczenie szkicu przez narzędzie do wykrywania, które ocenia perplexity i burstiness na poziomie zdania, pokazuje, które określone fragmenty czytają się jako statystycznie jednolite — te same fragmenty, które narzędzie zintegrowane z Canvas prawdopodobnie by zaznaczył — podczas gdy nadal jest czas na zmianę przed terminem. Detektor tekstu NotGPT stosuje tego rodzaju analizę na poziomie zdania i wyróżnia dokładnie, które części napędzają ogólny wynik prawdopodobieństwa, co jest bardziej przydatne niż pojedynczy łączny procent, ponieważ pokazuje, gdzie się skupić. Jeśli zaznaczony fragment naprawdę odzwierciedla twój własny formalny styl pisania, a nie pomoc AI, funkcja Humanize może dostosować rytm zdania i frazowanie w intensywności Light, Medium lub Strong w celu zmniejszenia statystycznej jednorodności, która wyzwala fałszywe alarmy, bez zmiany istoty tego, co mówisz. Celem nie jest oszukanie wyniku — to zrozumienie, zanim instruktor to zrobi, które części pracy zawierają statystyczną linię papilarną, którą te klasyfikatory są zbudowane do łapania.

1. Skończyć szkic z wystarczającą ilością czasu, aby przejrzeć go przed terminem Canvas
2. Przepuścić pełny tekst przez narzędzie do wykrywania AI na poziomie zdania
3. Zanotować, które określone fragmenty uzyskują najwyższą ocenę, a nie tylko ogólny procent
4. Sprawdzić, czy zaznaczane fragmenty są mocno edytowane, wysoce formalne lub niezwykle jednorodne pod względem długości zdania
5. Zmienić zaznaczone sekcje dla naturalnej zmienności lub użyć narzędzia do humanizacji, jeśli zaznaczony styl jest naprawdę twój
6. Ponownie sprawdzić zmieniony szkic przed wysłaniem przez Canvas