Een tijdje geleden vertelden we over het onderzoek van onze stagiair Yohannes. Hij vergeleek de redactievaardigheden van ChatGPT met die van onze tekstschrijvers. Nu zijn onderzoek is afgerond, delen we graag de resultaten met je.

Tipje van de sluier

ChatGPT kan veel, maar een goede tekstschrijver blijft onmisbaar. Je moet namelijk wel kritisch blijven op de resultaten én de juiste prompt (opdracht) geven. Dan alleen krijg je bruikbare herschrijvingen. Het is dus belangrijk dat je weet welke prompt effectief is én wat een tekst tot een goede tekst maakt.

Onderzoeksopzet

Yohannes beantwoordde de volgende onderzoeksvragen:

1. Hoe herschrijven professionele redacteurs een functionele tekst? Voor dit deel van het onderzoek gaf Yohannes drie van onze redacteurs — Annelies, Henri en Erik — de opdracht om ieder vier brieven te herschrijven. Yohannes observeerde dit proces, maakte opnames en sprak achteraf met hen over hun aanpak.
2. Tot welk resultaat leidt een herschrijving door professionele redacteurs?
   Yohannes analyseerde de herschreven brieven van de redacteurs met de originele brieven. Hij toetste met LiNT (Leesbaarheidsinstrument voor Nederlandse teksten) of de herschreven brieven waren verbeterd. LiNT beoordeelt de moeilijkheidsgraad van de woorden en zinnen en geeft aan hoe persoonlijk een tekst is geschreven.
3. Tot welk resultaat leidt een herschrijving door ChatGPT? En is dit resultaat vergelijkbaar met dat van professionele redacteurs?
   Na onze redacteurs was ChatGPT aan de beurt om teksten te herschrijven. Daarvoor gaf Yohannes drie verschillende prompts: 1) “Maak deze tekst lezersgericht”,  2) “Herschrijf deze tekst op CEFR-B1 niveau” en 3) Een prompt-reeks die gebaseerd was op hoe onze redacteurs teksten herschrijven. Vervolgens vergeleek Yohannes de herschreven brieven van ChatGPT met de originele brieven en met de herschreven brieven van de redacteurs.

Wie ‘wint’, onze redacteur of ChatGPT?

Formulering
Bij twee van de drie prompts waren de resultaten van ChatGPT qua formulering vergelijkbaar met die van onze redacteurs. Dit gold voor de B1-prompt en de prompt-reeks. Bij de B1-prompt zagen we de meeste verbeteringen: het aantal onbekende woorden nam af, de lengte van de deelzinnen werd korter en er werden meer persoonlijke voornaamwoorden gebruikt. De teksten werden hierdoor begrijpelijker en persoonlijker. Bij de prompt “Maak deze tekst lezersgericht” waren er geen verbeteringen te zien in de herschrijvingen. Dit laat zien dat de prompt die je geeft bepalend is voor de kwaliteit van de output.

Structuur
Bij opsommingen was er een duidelijk verschil te zien tussen de teksten van onze redacteurs en van ChatGPT. In de herschreven teksten met de B1-prompt en de prompt-reeks gebruikte ChatGPT meer doorlopende zinnen voor opsommingen, terwijl de redacteurs kozen voor bullet points. Dit laatste maakt het voor lezers makkelijker om in één oogopslag de opsommingen te herkennen. Als je wilt dat ChatGPT bullet points gebruikt in je tekst, is het dus handig om dit expliciet in je prompt op te nemen.

Inhoud
Het is belangrijk om niet blind te vertrouwen op de inhoud van een herschrijving van ChatGPT. ChatGPT haalt namelijk soms cruciale inhoud weg of geeft ongepaste antwoorden. Zo gaven we ChatGPT de prompt “Maak deze tekst lezersgericht” bij een tekst over een zwangerschapsverlof van een werknemer. ChatGPT schreef toen: ‘Gefeliciteerd met de aanstaande uitbreiding van het team’. Waarschijnlijk maakt het verkeerde associaties, omdat het woord ‘gefeliciteerd’ in veel teksten voorkomt in combinatie met het woord ‘zwangerschap’. Het is dus belangrijk om kritisch te blijven op de output die je krijgt.

Snelheid
Qua snelheid is de vergelijking tussen ChatGPT en onze redacteurs lastig te maken. Onze redacteurs deden gemiddeld 11 tot 16 minuten over het herschrijven van een brief, terwijl ChatGPT binnen enkele seconden antwoord geeft. Echter, die output moet je zelf nog beoordelen en aanpassen. Tijdwinst behaal je dus alleen als je de output van ChatGPT snel kunt beoordelen en direct de juiste prompts gebruikt.

Meer leren over ChatGPT?

Wil je zelf aan de slag met ChatGPT? Volg dan onze training Schrijven met ChatGPT of de training Redigeren van ChatGPT-output. Je leert hoe je ChatGPT goed én efficiënt kunt inzetten als je teksten (her)schrijft.