ChatGPT: Warum KI-Erkennungswerkzeuge so leicht zu betrügen sind
Bereits nach dem Start von ChatGPT wurde befürchtet, dass Schüler und Studenten den Chatbot nutzen könnten, um sich in Sekundenschnelle passable Aufsätze erstellen zu lassen, die sie dann als Hausarbeiten einreichen könnten. OpenAI-Werkzeug’a bağlı olarak Endişelenmeyin, Konkurrenten’den en iyi şekilde yararlanın – metinleri kullanın. Kein Wunder ayrıca, Start-up’lar da dahil olmak üzere, Entwickeln Software, Zweck es ist, KI-generierte Texte zu erkennen.
Anzej
Bu Sorunlar, her şeyde olduğu gibi, göreceli olarak dass es es s utricksen and die Erkennung zu umgehen. Ergebnis’in yeni bir çalışma ile kommt eine neue, wurde of Peer-Review unter-Review’dan hiçbir şekilde haberdar olmadığını öğrenmek için. Debora Weber-Wulff, Professorin für Medien und Informatik an der Hochschule für Technik und Wirtschaft Berlin (HTW), arbeitete dafür mit einer Gruppe von Forschern verschiedener Universitäten zusammen, um die Fähigkeit von 14 Tools – Darunter Turnitin, GPT Zero und Compilatio – zu bewerten , OpenAIs ChatGPT’den Metin Geschriebene zu erkennen.
Bu tür programların çoğu, KI-generiertem Text’den nach Merkmalen, Wiederholungen’den einschließlich bestimmter – ve Wahrscheinlichkeit’ten daha iyi, daha geniş KI’dan daha fazla Metin. Forscherteam fanatiği ve her zaman, Tool’un en büyük özelliği, ChatGPT tarafından oluşturulan Text’in erken olması, bu tür savaşların en iyi şekilde yorumlanması ve/veya değiştirilmesidir. Weber-Wulffs Urteil tarafından “Araçların işlevsiz olarak işlev görmesi”. “Sie tun einfach nicht das, was sie vorgeben zu tun. Das sind keine Detektoren für KI.” Das Ergebnis der Untersuchung deutet daraufhin, Schülerinnen und Schüler sowie, von einer KI Generierte Arbeiten nur leicht anpassen müssen, ve solchen Detektoren vorbeizukommen.
Verschiedene Texte von Mensch und KI
Forscherin ve Kollegen in der Studie vor’da Wie ging die? Um eine Auswahl and Menschen generierten Texten zur Untersuchung zu haben, verfassten sie kurze aufsätze auf Bachelor-Niveau zu einer von Themen wie Bauingenieurwesen, Informatik, Wirtschaft, Geschichte, Linguistik und Literatur. ChatGPT-Trainingsdate to ChatGPT-Trainingsdate’de Texte neu, um sicherzugehen, dass sie nicht.
Boşnakça, Çekçe, Deutsch, Lettisch, Slowakisch, Spanisch veya Schwedisch auf Forscher einen zusätzlichen Text. Bu Metin, DeepL’in KI-Übersetzungstool’u veya Google Translate’in Englische übersetzt’teki Konkurrenti ile birleştirilmiştir.
Ekibimiz, ChatGPT’yi etkinleştirdi ve genel olarak Metin Göndermemize yardımcı oldu. Bu, KI-Ursprung verschleiert wurde. Forschern manuel ayıbı ile ilgili en büyük sorun, hızlı ve kolay kullanım için, Quillbot’un KI-Paraphrasierungstool adlarıyla birçok kez kullanılmasıdır. Erkennungswerkzeuge test konnten olarak denenen Gruppe 54 Dokumente’den nefret ediyorum.
Die Wissenschaftler fanden schnell heraus, dass die Tools zwar gut darin waren, von Menschen geschriebenen Text zu erkennen (mit einer durchschnittlichen Genauigkeit von 96 Prozent), dass sie aber schlechter abschnitten, wenn es darum ging, KI-generierten Text zu erkennen – und zwar Insbesondere, wenn er beitet wurde. Obwohl die Tools ChatGPT-Text 74 Prozent tanımlayıcısı ile, 42 Prozent için Rate’e battı, ChatGPT tarafından oluşturulan Text, savaş kelimesini artırdı.
Anzej
Akademi Karrieren için Schwerwiegende Folgen
Çalışmanın zeige auch, wie veraltet die derzeitigen Methoden der Universitäten zur Bewertung Studentscher Arbeiten sind, kommentiert Vitomir Kovanović, leitender Dozent, der an der University of South Australia Modelle für maschinelles Lernen and künstliche Intelligenz entwickelt, aber nicht and em Forschungsprojekt beteiligt war. Daphne Ippolito, Google’ın Wissenschaft’larından biri, Generierung natürlicher Sprache spezialisiert hat and ebenfalls an Projekt beteiligt war, äußert zudem zudem eine weitere Sorge.
“Wenn automatische Erkennungssysteme im Bildungsbereich eingesetzt werden sollen, ist es von entscheidender Bedeutung, ihre Falsch-Positiv-Rate zu verstehen, da eine falsche Beschuldigung einer Schülerin oder eines Schülers schwerwiegende Folgen für seine akademische Karriere haben kann”, sagt ve. “Die Falsch-Negativ-Rate ist ebenfalls wichtig, denn wenn zu viele KI-generierte Texte als von Menschen geschrieben durchgehen, ist das das das das Earlynungssystem nicht nützlich.”
Şirket Derlemesi, En İyi Araçların En İyisi Olabilir, En Az Güç Verebilir, En İyi Sisteme Sahip Olabilir, En İyi Yoldan Yararlanmanın veya Büyük Kapasiteli Üretimin Gücüne Sahip Olabilir. “Schulen und der Lehrerschaft, Dokumente analysierten benoten’in zorunlu olduğu, Dokument Autor desächlich erworbene Wissen zu validaeren. Gen in einer kontrollierten Unterrichtsumgebung und mehr”, yani ein Sprecher von Compilatio.
“Auf Diese Weise Sind Die Compilatio-Tools Teil Eines Echten Lehransatzes, Der Das Erlernen Guter Recherche-, Schreib- ve Zitierpraktiken Fördert. Die Compilatio-Software is eine Korrekturhilfe, kein Korrektor”, erklärte die Firma. Turnitin ve GPT Zero, herhangi bir güvenlik önlemi alamaz.
Eine Frage der Mustererkennung
Nur so weit: “Unser Erkennungsmodell basiert auf den bemerkenswerten Unterschieden zwischen der eigenwilligen, unvorhersehbaren Nature menschlichen Schreibens and den sehr vorhersehbaren statistischen Signaturen von KI-generiertem Text”, sagte Annie Chechitelli, Kölner Entwicklers Turnitin Baş Ürün Sorumlusu.
“Unsere Funktion zur Erkennung von KI-Texten weist den Nutzer jedoch lediglich auf das Vorhandensein solcher Bereiche hin und hebt jene hervor, in the weitere weitere Überprüfung notwendig sein könnte. Sie bestimmt nicht, ob die Verwendung von KI-Schreibwerkzeugen angemessen or anangemessen ist, oder obderen Verwendung im Rahmen der Prüfungsordnung ve der vom Lehrer erteilten Anweisungen einen Betrug or ein Fehlverhalten darstellt.”
Wissen schon seit einiger Zeit, dass Tools, die dazu gedacht sind, von KI geschriebene Texte zu erkennen, nicht itme so funktionieren, wie sie sollen. OpenAI ein Tool vor, das von ChatGPT produzierten Text erkennen solle, and gab zu, dass es nur 26 Prozent der von KI geschriebenen Texte als als “wahrscheinlich von KI geschrieben” kennzeichnete.
OpenAI Wies MIT Technology Review ile Web Sitesinden Uzak Durun, Erken Zamanda Kullanılan Araçların “Bei Weitem Nicht Narrensicher” Sind.
Weiter Boom bei den Produkten
Solche Fehlschläge, Unternehmen’in en büyük düşmanlardan biri olduğu, Markt’tan ürün aldığı, en iyi şekilde çalıştığı, Tom Goldstein, Maryland Üniversitesi’nde yardımcı profesör olduğu ve en büyük savaş olan Untersuchung.
“Viele von ihnen sind nicht sehr genau, aber sie sind auch nicht alle ein totalettes Desaster”, fügt er hinzu und weist darauf hin, dass es es Turnitin gelungen sei, eine gewisse Erkennungsgenauigkeit mit einer recht niedrigen Falsch-Positiv-Rate zu erreichen.
KI-Texterkennungssysteme beleuchten, ne tür bir sind, wäre es hilfreich gewesen, Studie auf KI-Tools by ChatGPT auszuweiten, sasha Luccioni, Forscher beim KI-Start-up Hugging Face.
Für Kovanović, KI geschriebenen’den bir fikir fikrine sahip değil Metin erkennen zu wollen, nicht richtig. “Versuchen Sie nicht, KI zu erkennen – machen Sie es einfach so, dass der Einsatz von KI nicht das Problem ist”, sagt er.
(jle)
Zur Startseite