Yohannes doet voor zijn afstudeerstage onderzoek naar tekstschrijven met ChatGPT. In dit blog vertelt hij over het onderzoek en de belangrijkste resultaten.

In drie fases naar inzicht in ChatGPT als tekstschrijver

“In mijn onderzoek heb ik de mogelijkheden en tekortkomingen van ChatGPT als tekstschrijver onderzocht. Het onderzoek bestond uit drie fases.”

Fase 1: Herschrijfproces ontdekken

“In deze fase heb ik onderzocht welk proces professionele tekstschrijvers doorlopen bij het redigeren van teksten. Hiervoor heb ik verschillende tekstschrijvers van HVdS gevraagd om een aantal teksten te redigeren, waarbij hun scherm werd opgenomen. Vervolgens heb ik hen geïnterviewd en de schermopnames met hen doorgenomen. Uit deze gesprekken bleek dat de tekstschrijvers veel overwegingen maken, zoals over de tone of voice, de doelgroep, de huisstijl en de structuur van de tekst. Het werd duidelijk dat het omzetten van hun overwegingen in effectieve prompts voor ChatGPT zowel kennis van taal als een goed begrip van het programma vereist.”

Fase 2: Bureauonderzoek

“In de tweede fase heb ik een bureauonderzoek uitgevoerd naar de gebruiksmogelijkheden van ChatGPT. Ik heb onderzocht hoe je een goede prompt schrijft en hoe je effectief gebruik kunt maken van de standaardinstellingen van het programma.”

Fase 3: Herschreven brieven vergelijken

“In de derde fase heb ik ChatGPT gebruikt om dezelfde brieven te herschrijven die eerder door de tekstschrijvers waren geredigeerd. Ik heb de herschreven brieven vervolgens met elkaar vergeleken om te zien welke verschillen er waren. Dit gaf me een helder beeld van de mogelijkheden en tekortkomingen van ChatGPT als tekstschrijver.”

Belangrijkste lessen over ChatGPT

“Ik heb inmiddels al een aantal interessante resultaten gevonden. In dit blog deel ik mijn drie belangrijkste bevindingen.”

1: Tekstschrijven met ChatGPT is moeilijker dan je denkt

“Ik heb tijdens mijn onderzoek veel geëxperimenteerd met ChatGPT. Toen ik in september begon, dacht ik dat het makkelijk zou zijn om teksten van hoge kwaliteit te maken met de chatbot. Na veel experimenteren kwam ik erachter dat dit niet zo was. Een ‘goede’ tekst maken is gemakkelijk, maar het is moeilijk om een tekst geheel foutloos te krijgen.” 

2: Resultaten opnieuw produceren is lastig

“Tijdens mijn onderzoek naar ChatGPT ben ik erachter gekomen dat ChatGPT een non-deterministisch algoritme is. Dit betekent dat de output van het algoritme niet 100% bepaald wordt door de input. Als twee mensen ChatGPT dezelfde opdracht geven, komt er niet hetzelfde antwoord uit. Hierdoor is het lastig om goede teksten met regelmaat opnieuw te genereren.” 

3: Custom instructions maken een groot verschil

“Custom instructions zijn instructies die je ChatGPT kunt geven voordat je dit programma gebruikt. In deze instructies kun je criteria schetsen waaraan de output moet voldoen. Bijvoorbeeld: ‘Zorg dat de output die je genereert altijd in de vorm van een e-mail geschreven is.’ Dan genereert ChatGPT een output met een betreft-regel, aanhef, inleiding, middenstuk en slot. De custom instructions maken een groot verschil in de kwaliteit van de teksten die ChatGPT genereert.” 

>>  Meer leren over ChatGPT als ‘hulpschrijver’? Bekijk dan onze training Schrijven met ChatGPT.