ChatGPT Watermark Detector: Apa yang Diukur dan Apa yang Dilewatkan

Apa Itu Detektor Watermark ChatGPT?

Istilah ini mencakup dua teknologi yang secara bermakna berbeda yang telah digabungkan menjadi satu label dalam hasil pencarian dan pemasaran produk. Dalam arti ketat, detektor watermark ChatGPT adalah alat yang mencari sinyal yang dengan sengaja disematkan dalam teks pada waktu pembuatan — sinyal yang tidak ada kecuali jika sistem pembuatan secara khusus memasukkannya. Agar ini berfungsi, ChatGPT pertama-tama harus memberi tanda air pada keluarannya, yang tidak dilakukannya secara default untuk antarmuka apa pun yang tersedia untuk publik. Dalam arti yang lebih luas dan sehari-hari yang dimaksudkan sebagian besar orang ketika mereka mencari detektor watermark ChatGPT, tujuannya adalah sekadar menentukan apakah sepotong teks ditulis oleh ChatGPT. Alat yang muncul dalam hasil pencarian di bawah label ini hampir universal adalah detektor teks AI statistik — alat yang mengukur properti seperti predictability teks, variasi panjang kalimat, dan distribusi kosa kata untuk memperkirakan kemungkinan bahwa bagian tersebut dihasilkan oleh mesin. Pendekatan statistik ini menghasilkan perkiraan kemungkinan, bukan putusan biner, dan berfungsi dengan membaca pola yang melekat dalam cara model bahasa besar menghasilkan teks daripada mendeteksi sinyal apa pun yang sengaja disematkan OpenAI. Perbedaan penting karena kedua pendekatan memiliki kekuatan berbeda, mode kegagalan berbeda, dan implikasi berbeda ketika hasilnya positif atau negatif.

1. Alat berlabel sebagai detektor watermark ChatGPT hampir selalu detektor teks AI statistik — bukan alat yang menemukan sinyal tertanam
2. Detektor statistik mengukur kebingungan (seberapa dapat diprediksi teksnya) dan burstiness (seberapa banyak variasi kompleksitas kalimat)
3. Deteksi watermark sejati memerlukan sistem pembuatan untuk menyematkan sinyal yang dapat dideteksi pada waktu keluaran — ChatGPT tidak melakukan ini secara default
4. Deteksi statistik dapat menghasilkan positif palsu pada teks yang ditulis manusia; detektor watermark sejati (ketika watermark ada) tidak dapat secara salah menandai teks yang tidak membawa sinyal tertanam

Apakah ChatGPT Memberi Tanda Air pada Keluaran Teksnya?

Bagi sebagian besar pengguna, jawabannya adalah tidak. Keluaran ChatGPT standar — baik dari aplikasi web konsumen, aplikasi iOS atau Android, atau API standar — tidak membawa tanda air teks. OpenAI secara publik mengkonfirmasi eksplorasi penandaan teks dan mempekerjakan Scott Aaronson, seorang ilmuwan komputer teoretis terkemuka, sebagian untuk meneliti penandaan keluaran AI. Aaronson menerbitkan posting blog pada tahun 2022 mendeskripsikan pendekatan kriptografis yang bekerja dengan mempengaruhi token mana yang diambil sampel model selama pembuatan, menciptakan bias yang dapat dideteksi secara statistik di seluruh bagian yang panjang. Meskipun penelitian ini, OpenAI memilih untuk tidak menerapkan penandaan teks dalam produk konsumennya. Berbagai laporan mengatribusikan keputusan ini sebagian pada kekhawatiran keadilan: tanda air teks berbasis distribusi token dapat memburuk ketika pengguna melakukan editan pada teks yang dihasilkan, dan ada kekhawatiran bahwa pembicara non-asli bahasa Inggris, siswa yang menggunakan alat koreksi tata bahasa, dan penulis penyandang disabilitas yang mengandalkan bantuan pengeditan akan terpengaruh secara tidak proporsional. Pengguna yang mengambil draft ChatGPT dan menjalankannya melalui pemeriksa tata bahasa atau alat parafrase mungkin berakhir dengan teks yang gagal deteksi watermark sementara keluaran AI asli yang tidak diedit akan lulus — masalah keadilan dengan konsekuensi nyata dalam pengaturan akademis dan profesional. Konsekuensi praktis dari keputusan penerapan ini adalah detektor watermark ChatGPT yang mengandalkan sinyal tertanam tidak akan menemukan apa pun dalam keluaran ChatGPT standar. Bukan karena teksnya ditulis manusia, tetapi karena tidak ada watermark untuk ditemukan.

1. ChatGPT standar (aplikasi konsumen dan API) tidak menyematkan tanda air dalam teks yang dihasilkan pada penerapan saat ini
2. OpenAI meneliti penandaan berbasis distribusi token dengan Scott Aaronson tetapi memutuskan terhadap penerapan dalam produk konsumen
3. Kekhawatiran tentang keadilan bagi penutur non-asli dan pengguna alat pengeditan dan tata bahasa berkontribusi pada keputusan terhadap penerapan
4. Implementasi Enterprise atau API khusus menggunakan model OpenAI mungkin secara teori mengaktifkan penandaan tergantung konfigurasi — tetapi ini bukan standar dan tidak didokumentasikan secara publik
5. Tidak adanya watermark dalam teks ChatGPT standar berarti deteksi statistik adalah satu-satunya pendekatan yang praktis tersedia bagi sebagian besar pengguna

Apa yang Sebenarnya Ditemukan oleh Penelitian Watermark Internal OpenAI?

Pendekatan teknis yang dieksplorasi OpenAI — dan yang dijelaskan Aaronson secara publik pada tahun 2022 — adalah versi metode penandaan daftar hijau/merah yang telah berkembang dalam penelitian akademis. Mekanisme bekerja seperti ini: sebelum menghasilkan setiap token, model menerapkan fungsi hash pseudorandom ke konteks token baru-baru ini, menghasilkan partisi kosakata menjadi set "hijau" dan "merah" untuk posisi itu dalam urutan. Selama sampling, model bias untuk mendukung token dalam set hijau. Di seluruh bagian beberapa ratus token, ini menciptakan ketidakseimbangan yang dapat dideteksi secara statistik: teks yang ditandai akan menunjukkan proporsi token daftar hijau yang lebih tinggi daripada yang diharapkan secara kebetulan dalam bagian yang tidak ditandai air. Detektor yang mengantongi fungsi hash yang sama kemudian dapat menghitung teks kandidat apa pun dengan mengukur frekuensi token hijaunya dan membandingkannya dengan garis dasar yang diharapkan untuk keluaran yang tidak ditandai. Teks yang secara signifikan melampaui garis dasar itu kemungkinan ditandai; teks di dekat garis dasar mungkin tidak. Aaronson mengkonfirmasi dalam tulisan publik bahwa pendekatan dapat mencapai deteksi yang andal di bagian yang cukup panjang dengan tingkat positif palsu rendah dalam kondisi normal. Kelemahan terdokumentasi dari metode ini adalah robustness terhadap parafrase. Analisis 2023 dari University of Maryland menemukan bahwa parafrase sistematis — mengubah sekitar sepertiga kata dalam bagian sambil mempertahankan maknanya — mengurangi akurasi deteksi dari hampir pasti menjadi hanya sedikit di atas kesempatan untuk beberapa konfigurasi penandaan. Kekhawatiran terpisah, yang dicatat dalam diskusi akademis, adalah bahwa musuh yang bertekad yang mengetahui fungsi hash daftar hijau dapat dengan sengaja membiaskan teks mereka menjauh dari token hijau untuk palsu menghindari deteksi. Masalah ketangguhan dan keadversarian ini, dikombinasikan dengan kekhawatiran keadilan tentang teks AI yang sedikit diedit, berkontribusi pada keputusan OpenAI untuk tidak menerapkan sistem.

"Ide dasarnya adalah menghasilkan "daftar merah" token yang dirandom dan dengan lembut tidak mendorong penggunaan token daftar merah dengan jumlah kecil yang dapat disesuaikan. Setelah pembuatan, detektor watermark memeriksa apakah teks menggunakan fraksi token daftar merah yang tidak biasanya kecil." — Scott Aaronson, 2022

Bagaimana Detektor Statistik Mengidentifikasi Teks ChatGPT Tanpa Watermark?

Ketika tidak ada watermark tertanam, detektor watermark ChatGPT jatuh kembali ke pengukuran properti statistik intrinsik yang berbeda antara teks yang ditulis manusia dan teks yang dihasilkan oleh model bahasa besar. Dua metrik mendominasi metodologi saat ini. Kebingungan mengukur seberapa mengejutkan teksnya relatif terhadap apa yang akan diprediksi model bahasa: teks yang ditulis secara otentik manusia cenderung mencetak lebih tinggi dalam kebingungan karena manusia membuat pilihan kata yang tidak konvensional, mengambil putaran yang tidak terduga dalam penalaran, dan mengikuti pola gaya idiosinkratik. Teks yang dihasilkan AI — terutama dari GPT-4, yang dilatih untuk menghasilkan keluaran yang lancar dan koheren — cenderung memilih kelanjutan yang lebih dapat diprediksi di setiap langkah, menghasilkan kebingungan rata-rata yang lebih rendah. Burstiness mengukur seberapa banyak teks bervariasi dalam kompleksitas kalimat di seluruh bagian: manusia secara alami berganti-ganti antara kalimat pendek, langsung, dan konstruksi panjang yang rumit dalam ritme yang dapat diidentifikasi analisis statistik. Keluaran GPT-4 biasanya menunjukkan burstiness lebih rendah, menghasilkan register panjang kalimat yang lebih konsisten moderat daripada sebagian besar tulisan manusia. Selain dua metrik utama ini, keluaran ChatGPT juga menunjukkan preferensi kosa kata yang khas. Model menggunakan frasa transisi tertentu, konstruksi hedging, dan pola struktural pada frekuensi yang berbeda dari tulisan manusia tipikal ketika diukur di seluruh corpus. Sinyal individual ini adalah probabilistik — tidak ada properti tunggal yang secara definitif mengidentifikasi teks ChatGPT — tetapi dikombinasikan di seluruh bagian dari beberapa ratus kata, mereka menghasilkan perkiraan kemungkinan yang dapat dihitung detektor saat ini dengan akurasi bermakna pada sampel teks yang lebih panjang. Keterbatasan fundamental adalah sinyal yang sama muncul dalam tulisan manusia juga: beberapa penulis secara alami menghasilkan prosa dengan kebingungan rendah dan burstiness rendah, dan detektor yang tidak memperhitungkan variasi tulisan individu akan menghasilkan positif palsu pada tulisan itu.

Bisakah Watermark Teks ChatGPT Dilewati?

Karena keluaran ChatGPT standar tidak membawa watermark tertanam, pertanyaan praktis tentang melewati detektor watermark ChatGPT benar-benar tentang mengatasi deteksi statistik, bukan deteksi watermark. Metode paling andal adalah juga yang paling padat karya: penulisan ulang substansial. Bagian yang telah diparafrase secara berat — dengan restrukturisasi kalimat yang signifikan, substitusi kosa kata, dan reorganisasi aliran logis — akan mencetak berbeda dalam kebingungan dan burstiness karena pengeditan manusia benar-benar mengubah properti statistik teks. Penelitian telah menemukan bahwa parafrase cukup dari bagian yang dihasilkan GPT untuk secara signifikan mengurangi kepercayaan deteksi biasanya memerlukan perubahan setidaknya 30 hingga 40 persen kata, yang merupakan upaya signifikan daripada workaround trivial. Alat humanisasi otomatis — perangkat lunak yang menulis ulang teks AI khusus untuk mengurangi skor detektor — berfungsi dengan menerapkan parafrase secara otomatis. Efektivitas mereka bervariasi secara konsisten tergantung pada detektor mana yang dievaluasi terhadap, dan keluaran dari alat humanisasi dapat menjadi terdeteksi sendiri ketika dianalisis untuk pola karakteristik parafrase mesin ringan, yang berbeda tetapi tidak terkait dengan pola generasi AI asli. Poin yang lebih mendasar tentang framing ini: jika detektor watermark chatgpt tidak dapat secara andal membedakan antara teks AI yang berat diedit dari tulisan manusia asli, itu mungkin adalah hasil yang benar daripada kegagalan. Teks yang telah ditulis ulang secara substansial oleh manusia adalah, dalam arti yang berarti, lebih banyak penulis manusia daripada keluaran AI asli. Kepercayaan sistem deteksi yang menurun dengan tepat melacak komposisi konten aktual — campuran generasi AI dan revisi manusia yang tidak termasuk dalam kategori yang sama dengan keluaran AI yang tidak diedit.

1. Parafrase sistematis (mengubah 30%+ kosa kata dan struktur kalimat) secara signifikan mengurangi kepercayaan deteksi statistik — tetapi memerlukan upaya penulisan ulang yang tulus
2. Alat humanisasi otomatis menerapkan parafrase pada skala tetapi sangat bervariasi dalam efektivitas dan dapat memperkenalkan pola terdeteksi mereka sendiri
3. Terjemahan ke bahasa lain dan kembali merusak sinyal statistik tetapi juga memperkenalkan artefak terjemahan yang mungkin dapat diidentifikasi dengan cara lain
4. Pencampuran bagian yang dihasilkan AI dengan teks asli yang ditulis manusia mencairkan sinyal secara proporsional — detektor yang mengukur bagian penuh melihat hasil campuran yang mencerminkan campuran konten aktual
5. Tidak ada metode tunggal yang secara andal mengalahkan semua detektor secara bersamaan; alat berbeda menimbang sinyal secara berbeda dan menghasilkan hasil berbeda pada input yang sama

Apa yang Membuat Teks ChatGPT Dapat Dibedakan Secara Statistik dari Tulisan Manusia?

GPT-4 dan versi sebelumnya memiliki kecenderungan terdokumentasi yang, meskipun secara individual halus, terakumulasi menjadi profil statistik yang konsisten di seluruh bagian yang panjang. Model overuses frasa transisi tertentu — "layak dicatat", "ini dapat menyebabkan", "selanjutnya", "kesimpulannya" — pada tingkat yang berbeda dari tulisan manusia ketika diukur pada skala corpus. Distribusi panjang kalimatnya mengelompok di sekitar panjang moderat lebih konsisten daripada tulisan manusia, menghasilkan pola burstiness rendah yang diukur detektor. Struktur penalaran ChatGPT juga cenderung mengikuti busur yang dikenali: tentukan pertanyaan, cantumkan pertimbangan dalam format paralel, sintesis menuju kesimpulan, tutup dengan penyataan kembali. Struktur ini koheren dan bermanfaat, tetapi berulang di seluruh topik dengan cara yang berbeda dari aliran lebih organik dari sebagian besar teks penjelasan yang ditulis manusia. Pelatihan model pada pembelajaran penguatan dari umpan balik manusia (RLHF) memiliki efek tambahan membuat keluarannya secara sistematis lebih moderat dalam posisi yang dinyatakan, lebih dikurung dalam bahasa, dan lebih dipoles dalam bentuk permukaan daripada draf pertama tulisan manusia tipikal — semua properti yang muncul dalam statistik distribusional yang dianalisis detektor. Masing-masing kecenderungan ini adalah sinyal lemah dengan sendirinya. Pendekatan statistik mengambil semuanya bersama-sama di seluruh bagian penuh dan menghitung skor gabungan. Untuk teks pendek — kalimat atau paragraf pendek — akurasi detektor jatuh tajam karena rasio sinyal-ke-kebisingan dalam sampel kecil tidak cukup untuk memisahkan variasi gaya individual dari pola karakteristik model. Untuk teks yang lebih panjang (biasanya 300 kata ke atas), sinyal gabungan menjadi jauh lebih dapat diandalkan, itulah sebabnya hampir semua detektor saat ini menyertakan persyaratan jumlah karakter atau kata minimum sebelum mengembalikan hasil kepercayaan tinggi.

Bagaimana Menggunakan Detektor Watermark ChatGPT Secara Bertanggung Jawab?

Sebelum mengandalkan hasil detektor watermark ChatGPT untuk membuat keputusan penting, ada baiknya memahami dengan tepat apa yang diukur alat dan apa arti sebenarnya dari hasil positif atau negatif. Jika alat menggunakan deteksi statistik — yang pada dasarnya semua — maka skor kemungkinan AI tinggi berarti teks berbagi properti statistik dengan teks yang dihasilkan ChatGPT. Ini tidak berarti kata-kata spesifik dihasilkan oleh ChatGPT, bahwa penulis menggunakan ChatGPT dengan cara yang melanggar kebijakan, atau bahwa teks harus diperlakukan sebagai keluaran AI yang dikonfirmasi dalam prosiding formal. Skor kemungkinan AI rendah berarti teks tidak menunjukkan profil statistik yang diharapkan — yang bisa berarti ditulis oleh manusia, atau dihasilkan oleh AI dan kemudian diedit secara substansial, atau dihasilkan oleh model dengan karakteristik statistik berbeda dari yang dilatih detektor. Ketergantungan single-tool adalah pola penggunaan salah yang paling umum. Detektor berbeda menggunakan data pelatihan dan skema pembobotan berbeda dan dapat mengembalikan skor secara substansial berbeda pada input yang sama. Referensi silang setidaknya dua alat independen sebelum menarik kesimpulan dalam konteks taruhan tinggi adalah praktik standar bagi siapa pun yang melakukan jenis verifikasi ini secara profesional.

1. Konfirmasi metode deteksi mana yang digunakan alat — analisis statistik, deteksi watermark, atau hybrid — karena ini menentukan apa arti hasilnya
2. Perlakukan hasil deteksi statistik sebagai perkiraan kemungkinan, bukan putusan — skor kemungkinan AI 75% tidak berarti 75% kata dihasilkan oleh AI
3. Terapkan bobot proporsional untuk panjang sampel: hasil lebih andal untuk teks yang lebih panjang (300+ kata) dan kurang andal untuk kutipan pendek di bawah 100 kata
4. Untuk keputusan penting, referensi silang hasil dari setidaknya dua alat independen untuk memeriksa perjanjian sebelum menarik kesimpulan apa pun
5. Dokumentasikan metodologi verifikasi Anda — alat mana, versi mana, ambang berapa, dan hasil apa — karena proses yang dapat dipertahankan penting lebih dari skor tunggal mana pun
6. Akun untuk tingkat positif palsu: beberapa penulis manusia secara konsisten menghasilkan prosa kebingungan rendah yang detektor tandai, jadi hasil positif saja bukan bukti penggunaan AI

Bagaimana NotGPT Mendeteksi Teks ChatGPT Ketika Tidak Ada Watermark?

Alat Deteksi Teks AI NotGPT dibangun di sekitar pendekatan statistik — menganalisis kebingungan, burstiness, dan pola distribusional dalam teks yang dikirimkan daripada mencari sinyal watermark tertanam. Desain ini mencerminkan realitas praktis bahwa mayoritas sangat besar dari teks ChatGPT yang saat ini beredar tidak memiliki watermark: keluaran konsumen standar tidak ditandai, dan volume substansial konten yang ada tanpa tanda air akan tetap digunakan terlepas dari keputusan penerapan masa depan apa pun oleh OpenAI. Dengan membaca properti statistik intrinsik teks yang dikirimkan, NotGPT menghasilkan skor kemungkinan yang menunjukkan kemungkinan AI berdasarkan seperti apa teksnya, bukan pada apakah sinyal apa pun disematkan pada waktu pembuatan. Alat menyoroti bagian dari teks yang dikirimkan yang paling berkontribusi pada skor, yang membantu pengguna memahami apakah bagian penuh atau bagian spesifik mendorong hasil deteksi — konteks berguna bagi penulis yang ingin tahu bagian mana yang kemungkinan akan diteliti peninjau. Bagi penulis dan editor yang ingin memahami bagaimana teks mereka akan berkinerja di bawah deteksi sebelum mengirimkan atau menerbitkan, alat Humanize NotGPT menawarkan penulisan ulang pada tingkat intensitas yang dapat disesuaikan — berguna untuk mengurangi tanda tangan statistik yang diukur detektor dan untuk menghasilkan keluaran yang terdengar lebih alami terlepas dari asal-usulnya.