Wat bepaalt de kwaliteit van een model?

Wie iets leest over AI-modellen, stuit al snel op parametertallen. GPT-3 had 175 miljard parameters. Huidige modellen zitten in de honderden miljarden tot ver boven een biljoen. Die getallen zijn indrukwekkend. Ze zijn ook misleidend als je ze verkeerd leest.

Een parameter is een interne instelling van het model, een getal dat tijdens de training is bijgesteld tot het model de patronen in de trainingsdata heeft vastgelegd. Hoe meer parameters, hoe meer patronen het model in principe kan opslaan. Dat klinkt als een directe relatie: meer parameters, beter model.

Maar zo werkt het niet.

Capaciteit versus kwaliteit

Meer parameters betekenen meer capaciteit: het model kan complexere verbanden vastleggen, meer nuance aanbrengen, meer kennis opslaan. Maar capaciteit is niet hetzelfde als kwaliteit. Een grotere opslagruimte maakt een bibliotheek niet beter. De kwaliteit van de collectie en de ordening bepalen dat.

Precies zo is het bij AI-modellen. Een model met honderd miljard parameters dat is getraind op zorgvuldig samengestelde data en uitstekend geposttraind, presteert op veel taken beter dan een model met driehonderd miljard parameters dat is getraind op vervuilde data met een matige posttraining. Het parametergetal vertelt je iets over het potentieel. Het vertelt je niets over het resultaat.

Wat wél bepaalt hoe goed een model presteert, begint bij de trainingsdata. Wat niet in de data zit, komt niet uit het model. Die regel is hard.

Omvang, diversiteit en curatie

Drie factoren bepalen de kwaliteit van trainingsdata. De eerste is omvang: moderne modellen worden getraind op biljoenen stukken tekst, een hoeveelheid die gelijkstaat aan miljoenen boeken. Die schaal is nodig om de breedte aan patronen vast te leggen die het model inzetbaar maakt voor uiteenlopende taken.

De tweede factor is diversiteit. Een model dat overwegend is getraind op Engelstalige tekst presteert merkbaar minder op Nederlands. Een model dat veel wetenschappelijke tekst heeft verwerkt maar weinig juridische, schrijft betere onderzoekssamenvattingen dan contractanalyses. De samenstelling van de trainingsdata drukt zich direct uit in de sterke en zwakke kanten van het model.

De derde factor is curatie: het filteren, opschonen en samenstellen van de dataset. De ruwe data van het web zijn vervuild met spam, duplicaten en misleidende inhoud. Modelbouwers investeren maanden in het opschonen. Die investering is minstens zo bepalend voor het eindresultaat als de schaal van het model.

Synthetische data

Hier zit een verschuiving die steeds meer gaat meespelen. De voorraad hoogwaardige, door mensen geschreven tekst is eindig. Onderzoekers schatten dat de beste publiek beschikbare trainingstekst uitgeput raakt. Modelbouwers vullen het gat met synthetische data: tekst die door AI-modellen zelf is gegenereerd als trainingsmateriaal voor de volgende generatie. Rond 2025 bevatten volgens schattingen al ongeveer driekwart van nieuwe webpagina’s deels AI-gegenereerde tekst. Dat aandeel groeit snel.

Dat klinkt als een elegant probleem: train de volgende generatie op de output van de vorige. Maar als een model steeds meer traint op tekst die door eerdere modellen is geproduceerd, ontstaat een risico dat onderzoekers model collapse noemen. Het model versterkt zijn eigen patronen, verliest variatie en wordt gelijkvormiger. Vergelijk het met een fotokopie van een fotokopie: elke generatie verliest iets van het origineel, en na voldoende herhalingen is het resultaat vlak en onscherp.

Wat betekent dit als je modellen beoordeelt? Dat de bron van de trainingsdata ertoe doet. Die informatie is niet altijd beschikbaar, want de meeste modelbouwers publiceren hun datasamenstellingen niet volledig. Maar het is een vraag die het stellen waard is.

Dit is het punt dat het vaakst onderschat wordt. Parameters en data krijgen alle aandacht in persberichten. Maar het verschil tussen een goed en een uitstekend model zit vaak in iets lastiger te kwantificeren: de ontwerpkeuzes bij elke stap van het trainingsproces.

Honderden keuzes

De voorgaande clusters beschrijven twee fases die elk hun eigen bijdrage leveren. Pretraining legt de kennisbasis. Posttraining vormt het gedrag. Bij pretraining gaat het om de trainingsopgave, de architectuur van het netwerk en de schaal waarop wordt getraind. Bij posttraining om de kwaliteit van de fine-tuning-voorbeelden, de aanpak van preference learning en de alignment-keuzes.

Twee modellen met elk honderd miljard parameters, getraind op vergelijkbare omvang aan data, kunnen op dezelfde vraag totaal verschillende antwoorden geven. In toon, in diepte, in kwaliteit. Dat verschil zit in de honderden ontwerpkeuzes die modelbouwers bij elke stap maken. Het is het vakmanschap achter het model. En het is niet af te lezen aan een specificatieblad.

Vergelijk het met twee restaurants die dezelfde ingrediënten inkopen op dezelfde markt. Wat het ene restaurant uitzonderlijk maakt en het andere middelmatig, zit in de receptuur, de timing en de keuze van de chef. Bij AI-modellen werkt het niet anders.

Wie modellen van aanbieders bekijkt, ziet bijna altijd een menu. Er is een groot, krachtig vlaggenschipmodel en daarnaast een of meer kleinere varianten die sneller en goedkoper zijn. De namen en de precieze indeling verschuiven voortdurend, maar het patroon is stabiel: elke grote aanbieder biedt meerdere modellen aan in verschillende grootteklassen.

Kennis overdragen

Die kleinere modellen zijn niet zomaar afgeslankte versies. Ze zijn vaak het product van distillatie: een trainingstechniek waarbij een groot model zijn kennis overdraagt aan een kleiner model. Het kleine model traint niet rechtstreeks op de originele data, maar op de output van het grote model. Het leert daarbij niet alleen de antwoorden, maar ook de subtiele patronen in hoe het grote model redeneert en formuleert.

Het resultaat is een model dat een substantieel deel van de capaciteit behoudt, maar een fractie van de kosten en de verwerkingstijd vergt. Op veel standaardtaken presteert een gedistilleerd model bijna even goed als het grote model. Op complexe taken waar diep redeneren of brede kennis nodig is, valt het verschil op.

De strategische afweging

Hier zit een inzicht dat direct raakt aan de beslissingen die je als organisatie neemt. Je hebt niet altijd het grootste model nodig. Een e-mailsamenvatter, een FAQ-beantwoorder, een classificatietool die documenten sorteert: voor die taken is een kleiner, gedistilleerd model vaak de betere keuze. Sneller, goedkoper, en goed genoeg. Het grote model reserveer je voor de taken waar de extra capaciteit meetbaar verschil maakt.

Modellen kiezen is geen kwestie van “het beste model nemen.” Het is een kwestie van het juiste model kiezen voor de juiste taak.

Als parametertallen niet genoeg zeggen en trainingsdata grotendeels geheim zijn, hoe vergelijk je dan modellen? De AI-wereld heeft daarvoor een gereedschap dat iedereen tegenkomt maar weinig mensen goed lezen: benchmarks.

Een benchmark is een gestandaardiseerde test waarmee de prestaties van AI-modellen onderling worden vergeleken. Vergelijk het met een rijexamen voor AI: een vaste set opgaven die elk model onder dezelfde omstandigheden moet maken, zodat je de scores kunt vergelijken.

De verscheidenheid

Er bestaan tientallen benchmarks, elk gericht op een andere vaardigheid. Sommige testen brede kennis over tientallen vakgebieden. Andere testen wetenschappelijk redeneren, of het vermogen om werkende code te schrijven. Weer andere laten echte gebruikers twee modellen blind vergelijken en stemmen welk antwoord beter is.

Die verscheidenheid is bewust. Geen enkele benchmark vangt alles wat een model kan. Een model dat hoog scoort op kennisvragen kan matig scoren op coderingstaken. Wie een model beoordeelt op één benchmarkscore mist het beeld, net zoals je een sollicitant niet beoordeelt op alleen een IQ-test.

De keerzijde

Maar benchmarks hebben ook serieuze beperkingen. Oudere tests raken uitgespeeld: de topmodellen scoren zo dicht bij elkaar dat het verschil niet meer betekenisvol is. Modelbouwers kiezen in hun persberichten de benchmarks waar zij het best op scoren. En er zijn aanwijzingen dat sommige modellen beter scoren doordat ze tijdens training zijn blootgesteld aan de testvragen, waardoor de score eerder geheugen dan vaardigheid weerspiegelt.

Het belangrijkste inzicht over benchmarks: een benchmarkscore vertelt hoe een model presteert op die specifieke test. Het vertelt niet hoe dat model presteert op jouw specifieke taak, met jouw data, in jouw context. Het verschil tussen een benchmarkscore en de prestatie in de praktijk is reëel en vaak groter dan je zou verwachten.

→ Lees meer: Benchmarks: hoe lees je een benchmarkclaim? (cluster 2.5a)

Wie wil begrijpen hoe benchmarks precies werken, welke soorten er zijn en hoe je een benchmarkclaim in een persrelease of vendorpitch leert duiden, leest verder bij Benchmarks: hoe lees je een benchmarkclaim? (cluster 2.5a).

Wie wil terugkeren naar de basis en begrijpen hoe de trainingsdata en het trainingsproces het fundament van een model leggen, vindt dat bij Pretraining: het fundament bouwen (cluster 2.2).

Wie wil weten hoe posttraining het gedrag van een model vormt en waarom modellen van verschillende aanbieders zo anders reageren op dezelfde vraag, leest Posttraining: van basismodel naar assistent (cluster 2.3).

Nu je weet hoe een AI-model wordt opgebouwd en hoe je de kwaliteit beoordeelt, is de volgende stap: hoe werk je ermee? Dat is het onderwerp van pillar 3, te beginnen bij Wat is prompting? (cluster 3.1).