Hoe goed is ChatGPT in het Nederlands?

26 september, 2023

Rick Vink

“ChatGPT is een taalmodel waar je veel vragen aan kan stellen. Het is één model dat meerdere talen heeft geleerd.”

Inhoudsopgave

Hoe goed is ChatGPT in het Nederlands vs Engels?

ChatGPT is een taalmodel waar je veel vragen aan kan stellen. Het is een model dat meerdere talen heeft geleerd. Het spreekt dus niet alleen Engels maar ook vele andere talen, waaronder Nederlands. Hierdoor kan je via de officiële website van ChatGPT je vraag zowel in het Engels, Nederlands of een van de vele andere talen stellen. Maar hier stopt het verhaal niet. Want wist je dat de taal waarin je je vraag stelt invloed kan hebben op het antwoord? Hoe zit dan in het Nederlands vs Engels?

ChatGPT is GEEN zoekmachine!

Als je Google gebruikt om antwoorden te vinden, geef je misschien de voorkeur aan het Engels boven het Nederlands. Dit komt doordat er vaak meer en betere Engelstalige websites zijn die over jouw specifieke onderwerp schrijven. Aan de andere kant zou je soms juist in het Nederlands kunnen zoeken, omdat er mogelijk meer relevante artikelen beschikbaar zijn over onderwerpen die in Nederland of Vlaanderen populairder zijn.

ChatGPT daarentegen is geen zoekmachine zoals Google. Het werkt dus iets anders. Omdat ChatGPT één model is, is kennis overdraagbaar tussen talen. Dit kun je vergelijken met een tweetalig persoon. Als deze persoon beide talen even goed beheerst, dan maakt het voor hem of haar niet uit in welke taal een vraag wordt gesteld; het antwoord blijft consistent. Stel dat iemand jou in het Engels vraagt naar je lievelingseten, dan zou je waarschijnlijk hetzelfde antwoord geven als wanneer de vraag in het Nederlands word gesteld. Dit is omdat als je iemand iets in het Nederlands uitlegt, dan zou diegene ook die kennis kunnen gebruiken wanneer diegene zich in een setting bevindt waar Engels gesproken wordt. Kennis is in dit opzicht taalonafhankelijk.

Robot in Nederland

Afbeelding 1. Afbeelding van robot in grachten van Delft. Gemaakt door Midjourney.

Hoe kan ChatGPT Nederlands?

Hoewel ChatGPT voornamelijk is getraind op Engelse data, heeft het nog steeds een aanzienlijke hoeveelheid kennis in andere talen. De basis voor ChatGPT, GPT-3, is onder meer getraind met gegevens van talloze websites. Een belangrijk deel van deze trainingsdata, zo’n 60%, komt uit de Common Crawl dataset. Van deze dataset is circa 46% Engelstalig en ongeveer 2% Nederlandstalig. Het lijkt misschien weinig, maar 2% is behoorlijk indrukwekkend gezien de omvang van ons kikkerlandje. Ter vergelijking: Nederlands heeft 0,5% meer aanwezigheid in die data dan het Pools en meer dan het dubbele van het Turks, al ligt het wel 0,5% onder het Italiaans. Er zijn echter meer datasets gebruikt voor het trainen van ChatGPT, dus deze cijfers vertellen slechts een deel van het verhaal. Een opmerkelijk onderscheid tussen GPT-3 en ChatGPT is dat ChatGPT getraind is op chat data. De verhouding tussen Engelse en Nederlandse chats heeft ongetwijfeld ook invloed op de bekwaamheid van het model in beide talen.

ChatGPT’s logisch redeneervermogen: Nederlands versus Engels

ChatGPT kan op diverse manieren getest worden, zoals door het vermogen te testen van het controleren van grammaticaregels, het oplossen van logische vraagstukken of simpelweg door vragen te beantwoorden. Uit een onderzoek van Lai et al. blijkt dat er op de meeste taken minimale verschillen zijn tussen de resultaten in het Nederlands en Engels. Echter, op het gebied van logisch redeneren scored ChatGPT in het Nederlands in nauwkeurigheid van 15% lager, en bij het beantwoorden van vragen scored het in de f1-score 10% lager. In andere talen kunnen deze verschillen meer uitgesproken zijn. Ter illustratie: de prestaties van ChatGPT in het Thais zijn significant lager dan in het Engels. Dit laat zien dat de capaciteiten van het model kunnen variëren per taal. Om een beter beeld te krijgen van deze bevindingen, hebben we besloten de test zelf op een kleinere schaal uit te voeren. Voor dit experiment hebben we gebruikgemaakt van de eerste 200 vragen uit de CommonsenseQA dataset van Talmor et al., een dataset die bekendstaat om zijn complexe vragen die menselijk redeneren vereisen. Deze vragen zijn vertaald naar het Nederlands met behulp van een GPT-4-model.

Voorbeeld vraag logisch redeneervermogen:

Vraag in Engels: What are you waiting alongside with when you’re in a reception area?

Vertaald naar het Nederlands: Waar wacht je naast als je in een ontvangstruimte bent?

Opties in het Engels: [‘A: motel’, ‘B: chair’, ‘C: hospital’, ‘D: people’, ‘E: hotels’]

Vertaald naar het Nederlands: [‘A: motel’, ‘B: stoel’, ‘C: ziekenhuis’, ‘D: mensen’, ‘E: hotels’]

Antwoord: Juist: D, Antwoord in het engels: D, Antwoord in het Nederlands: B

Hoewel deze vertaalmethode efficiënt en snel is, is het niet zonder uitdagingen. Kleine vertaalfouten kunnen namelijk leiden tot een andere interpretatie van de vraag, wat op zijn beurt de betrouwbaarheid van onze vergelijkende studie kan aantasten.

Vervolgens hebben we ChatGPT 3.5 en GPT-4 de vragen in zowel het Engels als het Nederlands voorgelegd en de antwoorden vergeleken. Wat onmiddellijk opviel, was het prestatieverschil tussen de twee generaties van taalmodellen. 

Figuur 1. Resultaten GPT 3.5 (ChatGPT) op Nederlands en Engels logisch denken vragen
GPT 4 Common sense. Correcte antwoorden op het nederlands en engels. 73% beide talen goed, 10% alleen in het Engels goed, 5% alleen in het Nederlands goed en 12% beide talen fout.
Figuur 2. Resultaten GPT 3.5 (ChatGPT) op Nederlands en Engels logisch denken vragen

De resultaten zijn gevisualiseerd in de figuren 1 en 2, die een goed overzicht geven van welke antwoorden correct of fout waren in beide talen. Zoals verwacht presteert GPT-4 beduidend beter dan ChatGPT-3.5, wat de snelle vooruitgang in deze technologie onderstreept. Het valt op dat de grafieken aantonen dat GPT-4 in het Nederlands (21,6% fouten) maar 4,7% meer fouten heeft gemaakt dan in het Engels (16,9% fouten). Dit is een aanwijzing dat de nieuwste generatie taalmodellen steeds beter wordt in het omgaan met meertaligheid. Een deel van deze fouten is te wijden aan subtiele verschillen door het vertalen van Engels naar Nederlands.

Conclusie

De keuze van de taal waarmee je met ChatGPT communiceert, kan een invloed hebben op de uitkomsten. Echter, wanneer we het Nederlands vergelijken met het Engels, is het verschil relatief gering. De antwoorden die ChatGPT in het Nederlands levert, zijn doorgaans logisch en coherent. Daarom raad ik aan om gewoon Nederlands te gebruiken als je je op dat moment daar het prettigst bij voelt.

Meer leren over ChatGPT?

Interesse gewekt door dit blog en wil je je verder verdiepen in de wereld van ChatGPT en AI? Wij kunnen je hierbij helpen! We bieden zowel maandelijkse open inschrijving cursussen als in-company trainingen ChatGPT en AI aan die je inzichten geven in de technologische en praktische aspecten van deze boeiende velden. Of je nu een beginner bent of al meer ervaring hebt, er is voor ieder wat wils.

Wat kun je verwachten?

  • Diepgaande kennis van ChatGPT en AI
  • Praktische toepassingen en case-studies
  • Hands-on ervaring met de nieuwste technologieën

Overige vragen over onze diensten?

Contact Formulier
Scroll to Top