1. DeepDive: Hoe werkt ChatGPT eigenlijk?

AI is tegenwoordig overal. Je kunt er code mee schrijven, e-mails laten opstellen, documenten analyseren of zelfs complete applicaties bouwen. Maar hoe werkt ChatGPT nu eigenlijk onder de motorkap? Dat is een vraag die ik regelmatig krijg. In dit artikel leg ik de basis uit zonder direct in ingewikkelde wiskunde of wetenschappelijke papers te duiken.

Een Large Language Model

ChatGPT is wat we een Large Language Model (LLM) noemen. In plaats van regels te programmeren zoals bij traditionele software, is het model getraind op enorme hoeveelheden tekst. Tijdens die training leert het patronen herkennen in taal.

Dat betekent dat ChatGPT niet "weet" wat een woord betekent zoals mensen dat doen. Het heeft geleerd welke woorden en zinnen vaak samen voorkomen en kan daardoor voorspellen welk woord waarschijnlijk als volgende komt.

Eigenlijk draait vrijwel alles om één simpele taak:

"Wat is het meest waarschijnlijke volgende token?"

Woorden zijn eigenlijk tokens

Een veelgemaakte aanname is dat ChatGPT met complete woorden werkt. Dat klopt niet helemaal.

Voordat tekst door het model wordt verwerkt, wordt deze opgesplitst in zogenaamde tokens. Een token kan een volledig woord zijn, maar ook een deel van een woord, een leesteken of zelfs een spatie.

Bijvoorbeeld:

"Netwerken zijn leuk."

kan worden opgesplitst in tokens zoals:

["Net", "werken", " zijn", " leuk", "."]

Door deze tokens kan het model efficiënter omgaan met verschillende talen, nieuwe woorden en programmeercode.

De Transformer

De echte doorbraak kwam in 2017 met de introductie van de Transformer-architectuur. Vrijwel alle moderne AI-modellen, waaronder ChatGPT, zijn hierop gebaseerd.

Waar oudere taalmodellen tekst woord voor woord moesten verwerken, kan een Transformer naar de volledige context tegelijk kijken. Daardoor begrijpt het model veel beter welke woorden belangrijk zijn binnen een zin of zelfs een hele alinea.

Stel dat je schrijft:

"Jan legde de laptop op tafel omdat hij kapot was."

Voor mensen is vaak duidelijk waar "hij" naar verwijst. Dankzij de Transformer kan ChatGPT deze context ook veel beter interpreteren.

Attention is de sleutel

Binnen de Transformer zit een techniek die Attention heet.

Attention bepaalt welke eerdere woorden belangrijk zijn voor het voorspellen van het volgende token.

Wanneer jij een vraag stelt van meerdere alinea's, kijkt het model dus niet alleen naar de laatste zin, maar naar alle relevante informatie binnen de beschikbare context.

Daarom kun je een gesprek voeren waarin ChatGPT eerdere vragen en antwoorden meeneemt.

Training

Het trainen van een model zoals ChatGPT gebeurt in meerdere fases.

Eerst krijgt het model enorme hoeveelheden tekst voorgeschoteld. Hierbij leert het simpelweg ontbrekende tokens voorspellen.

Daarna volgt een fase waarin menselijke reviewers voorbeelden beoordelen. Op basis daarvan leert het model betere, nuttigere en veiligere antwoorden te geven.

Tot slot worden extra veiligheidsmechanismen toegepast om ongewenste of schadelijke antwoorden zoveel mogelijk te beperken.

Inferentie

Wanneer jij een prompt verstuurt, begint de inferentie.

Het proces ziet er grofweg zo uit:

1. Jouw prompt wordt opgesplitst in tokens.
2. Deze tokens worden door de Transformer verwerkt.
3. Het model berekent voor duizenden mogelijke volgende tokens een waarschijnlijkheid.
4. Eén token wordt geselecteerd.
5. Dat token wordt toegevoegd aan de context.
6. Het proces herhaalt zich totdat het antwoord compleet is.

Hoewel het lijkt alsof ChatGPT hele zinnen tegelijk schrijft, worden antwoorden token voor token opgebouwd. Dat gebeurt echter zo snel dat het voor ons voelt alsof de tekst in één keer verschijnt.

Waarom maakt ChatGPT soms fouten?

Een veelgestelde vraag is waarom ChatGPT soms overtuigend klinkt terwijl het antwoord niet klopt.

Dat komt doordat het model geen database raadpleegt en ook niet logisch redeneert zoals een mens. Het voorspelt steeds het meest waarschijnlijke volgende token op basis van de context die beschikbaar is.

Daardoor ontstaan soms zogenaamde hallucinaties: antwoorden die grammaticaal en inhoudelijk overtuigend lijken, maar feitelijk onjuist zijn.

Juist daarom blijft menselijke controle belangrijk, zeker wanneer het gaat om technische documentatie, medische informatie of juridische adviezen.

Waarom zijn goede prompts belangrijk?

Omdat ChatGPT werkt op basis van waarschijnlijkheden, bepaalt jouw prompt voor een groot deel de kwaliteit van het antwoord.

Hoe meer context je geeft, hoe beter het model kan voorspellen wat jij daadwerkelijk wilt weten.

Een duidelijke prompt bevat bijvoorbeeld:

• voldoende context;
• een concreet doel;
• eventuele beperkingen;
• het gewenste formaat van het antwoord.

Tot slot

ChatGPT is indrukwekkend, maar geen magische kennisbron. Onder de motorkap draait alles om statistiek, neurale netwerken en het voorspellen van het volgende token. Dankzij de Transformer-architectuur en Attention kan het model enorme hoeveelheden context verwerken en verrassend natuurlijke gesprekken voeren.

Juist die combinatie maakt Large Language Models zo krachtig. Hoe beter je begrijpt hoe ze werken, hoe effectiever je ze kunt inzetten voor automatisering, softwareontwikkeling, netwerkbeheer of simpelweg als slimme assistent tijdens je dagelijkse werk.