Mens of machine? GPTZero legt AI-teksten bloot
9-1-2023
Vertaling: machinaal vertaald
Wil je er snel en gemakkelijk achter komen of een tekst door een mens of een machine is geschreven? Een student van Princeton University heeft hiervoor een app geprogrammeerd. Hij heet GPTZero en is het antwoord op de AI-chatbot ChatGPT.
Een essay schrijven, een gedicht componeren of in een paar seconden uit de lucht toveren? Sinds eind november is dit mogelijk met de kunstmatige intelligentie (AI)-gestuurde chatbot "ChatGPT"
Terwijl scholieren, studenten en kantoormedewerkers blij zijn met het handige hulpmiddel, ziet een student informatica aan de Princeton University in de VS, Edward Tian, er potentiële gevaren in. In het nieuwe jaar heeft hij daarom een programma gemaakt dat herkent of een tekst afkomstig is van ChatGPT of van een mens. Het heet GPTZero.
"Er is zoveel hype rond ChatGPT. Wordt dit en dat geschreven door AI? Wij mensen verdienen het om dat te weten!" schrijft de 22-jarige op Twitter. Dit is vooral belangrijk in de context van school. "Willen leraren op middelbare scholen dat leerlingen ChatGPT gebruiken om hun geschiedenisessays te schrijven? Waarschijnlijk niet," vervolgt Tian.
Geïnteresseerden kunnen sinds begin januari gebruikmaken van de bètaversie van de app. Hetzij direct via Tian's eigen website of via het open source platform Streamlit.
Hoe GPTZero werkt
Voor de analyse voeren gebruikers tekst in het GPTZero tekstveld in. Na een paar seconden reageert de app met een beoordeling op basis van een score. Als het cijfer relatief hoog is, is het waarschijnlijk dat de tekst door een mens is geschreven.
GPTZero gebruikt twee criteria om te beoordelen of een tekst door een AI is geschreven of niet: "perplexiteit" en "burstiness". Perplexiteit meet de willekeurigheid in een zin. GPTZero analyseert hoe de zin is opgebouwd en of de structuur ongebruikelijk of verrassend is. Als dit het geval is, geeft het aan dat de zin door een mens is geschreven.
Burstiness analyseert de willekeurigheid binnen de hele tekst. AI-tools hebben de neiging om teksten te schrijven met constant lage complexiteit. Mensen hebben daarentegen de neiging om eerst een complexere zin te schrijven en daarna een eenvoudigere.
Tian "volledig overweldigd" door de enorme belangstelling
Sinds de release is de belangstelling voor GPTZero enorm geweest. "Ik ben helemaal overdonderd door de steun die deze app heeft gekregen," zegt Tian op Substack. Dit komt nadat hij zich in een eerder bericht had verontschuldigd voor de crash van de website. Die was inmiddels gecrasht vanwege de grote vraag.
Dankzij de enorme toeloop zijn er ook meer kritische geluiden, zoals deze richting GPTZero. Op Twitter wijzen ze Tian erop dat zijn app niet lang nuttig zal zijn. Dat komt omdat ze denken dat ChatGPT dergelijke programma's in de toekomst te slim af zal zijn.
Kan GPTZero snel te slim af zijn?
Sandro Luck, Machine Learning Engineer bij Digitec Galaxus, denkt er ook zo over. Toch schrijft hij de nieuwe AI-app niet meteen af. "Ik vermoed dat GPTZero waarschijnlijk lange teksten van ChatGPT zal blootleggen," zegt hij. "Dat komt omdat OpenAI - het bedrijf achter ChatGPT - er simpelweg geen belang bij heeft om te verbergen dat ChatGPT een AI is." Zodra ontwikkelaars zich echter ten doel stellen om tools als GPTZero te misleiden, gebeurt dit "heel snel".
Tian wil zich de komende maanden zeker volledig concentreren op het uitbreiden van GPTZero, schrijft de student op Substack. Hij wil de modelleermogelijkheden verbeteren en zich concentreren op het volledig schalen van de app. Ook hoopt hij zijn bevindingen met het programma binnenkort in een wetenschappelijk artikel te publiceren.
Coverafbeelding: Unsplash, Mel Poole
"Ik wil het allemaal: de gewaagde afdalingen en de stuntende beklimmingen, de room daartussen!" - deze woorden van een bekende Amerikaanse tv-persoonlijkheid geven mijn denken volledig weer. Ook op mijn werk leef ik volgens deze filosofie. Met andere woorden: ik vind dat elk verhaal, van het meest onbeduidende tot het meest ongelooflijke, zijn charme heeft.