Elke keer dat een modelbouwer een nieuw model uitbrengt, verschijnt er een persbericht met een reeks scores. “Hoogste score op MMLU.” “Beste prestatie op SWE-bench.” “Nieuw record op Chatbot Arena.” De directeur die dit leest, ziet getallen en concludeert: dit is het betere model. Maar is dat zo?
Zonder benchmarks zou elke aanbieder kunnen beweren wat hij wil zonder dat iemand het kan controleren. Tegelijkertijd zijn benchmarks niet wat de meeste mensen denken dat ze zijn. Ze meten specifieke vaardigheden onder specifieke omstandigheden. Ze zeggen niet hoe een model presteert op jouw taak. En ze zijn kwetsbaarder voor manipulatie dan de meeste gebruikers beseffen. Deze pagina geeft je het kader om benchmarkclaims te lezen zoals ze gelezen moeten worden: als nuttige indicatoren, niet als absolute waarheden.
Roland Bieleveldt
Een benchmark is een gestandaardiseerde test waarmee AI-modellen worden vergeleken. Elk model maakt dezelfde set opgaven, onder dezelfde regels, en de scores worden gepubliceerd zodat iedereen ze kan vergelijken. Vergelijk het met een examen: de vragen staan vast, de omstandigheden zijn gecontroleerd, en het resultaat is een cijfer dat je kunt afzetten tegen de cijfers van anderen.
Dat klinkt overzichtelijk. Maar net als bij examens geldt: het cijfer vertelt niet alles. Een student die een tien scoort op een wiskundetoets hoeft niet de beste werknemer te zijn. Een model dat het hoogst scoort op een kennistest hoeft niet het beste model te zijn voor jouw project.
De AI-wereld gebruikt tientallen benchmarks. Ze vallen uiteen in twee grote categorieën die elk iets anders meten en elk hun eigen beperkingen hebben.
Een statische benchmark is een vaste set vragen die het model beantwoordt. De antwoorden worden automatisch gescoord, meestal als percentage correct. De benchmarks die op het moment van schrijven het meest worden gebruikt, verschuiven regelmatig. Maar de principes achter de verschillende testtypen blijven gelijk.
MMLU (Massive Multitask Language Understanding) test brede kennis over 57 vakgebieden, van wiskunde en rechten tot geschiedenis en biologie. Het model krijgt meerkeuzevragen en moet het juiste antwoord kiezen. MMLU was jarenlang de belangrijkste maatstaf voor algemene kennis. Inmiddels raakt de test uitgespeeld: de topmodellen scoren zo dicht bij het plafond dat het verschil niet meer betekenisvol is. Het is alsof alle kandidaten voor een rijexamen slagen met een 9,5 of hoger. Je kunt er de beste chauffeur niet meer mee aanwijzen. MMLU-Pro, een moeilijkere versie met tien antwoordopties in plaats van vier, brengt weer spreiding aan.
GPQA Diamond test wetenschappelijk redeneren op het niveau van een gepromoveerde onderzoeker, met vragen in fysica, biologie en scheikunde die zo zijn ontworpen dat zelfs promovendi buiten hun eigen specialisme er moeite mee hebben. Het verschil met MMLU is veelzeggend: op brede kennis scoren modellen vrijwel perfect, maar op diep redeneren is er nog aanzienlijke ruimte. Deze benchmark onderscheidt op dit moment nog wél tussen topmodellen.
SWE-bench test of een model werkende code kan schrijven voor echte softwareproblemen uit open-sourceprojecten. Geen speelgoedopgaven maar productiecomplexiteit. Dit is een benchmark waar de scores direct iets zeggen over de bruikbaarheid van het model voor softwareontwikkeling.
HumanEval test basale programmeervaardigheid: het model moet korte functies schrijven die aan een specificatie voldoen. De test is breder verspreid maar ook minder veeleisend dan SWE-bench. Hoge scores op HumanEval correleren matig met de kwaliteit van code die het model produceert op echte, complexe taken.
Elke statische benchmark deelt dezelfde eigenschap: de vragen liggen van tevoren vast. Dat maakt de test reproduceerbaar en vergelijkbaar, maar het maakt hem ook kwetsbaar voor een probleem dat verderop aan bod komt.
De tweede categorie benchmarks werkt fundamenteel anders. In plaats van vaste vragen met een correct antwoord, laten deze tests echte gebruikers twee modellen naast elkaar beoordelen.
De bekendste is Chatbot Arena, ontwikkeld door onderzoekers van LMSYS. Een gebruiker stelt een vraag. Twee modellen genereren een antwoord. De gebruiker ziet beide antwoorden naast elkaar, zonder te weten welk model welk antwoord heeft geproduceerd, en kiest welk antwoord beter is. Na honderdduizenden van die vergelijkingen ontstaat een ranglijst, uitgedrukt in een Elo-score vergelijkbaar met de rating bij schaken.
Het sterke punt: deze aanpak is niet te gamen met vaste antwoorden. De vragen komen van echte gebruikers, het oordeel is menselijk en de vergelijking is blind. Het zwakke punt: het oordeel is subjectief. Een langere, gedetailleerdere reactie wordt vaak als “beter” beoordeeld, ook als een korter antwoord inhoudelijk sterker is. Het meet gebruikersvoorkeur, niet objectieve kwaliteit. Maar gebruikersvoorkeur is in veel praktijksituaties precies wat je wilt weten.
Benchmarks zijn nuttig. Maar wie ze leest zonder de beperkingen te kennen, trekt verkeerde conclusies. Vier problemen komen steeds terug.
Sommige benchmarks raken uitgespeeld. Bij MMLU zitten de topmodellen inmiddels zo dicht bij het plafond dat het verschil in de foutmarge verdwijnt. Een model dat een procentpunt hoger scoort is niet meetbaar beter. Toch presenteren modelbouwers dat verschil alsof het veelzeggend is.
Het patroon herhaalt zich: op het moment dat de beste modellen het plafond raken, verliest de test zijn onderscheidend vermogen. De AI-gemeenschap reageert door moeilijkere varianten te ontwikkelen. Wie benchmarkscores leest, moet altijd kijken naar welke test het betreft en of de test nog onderscheidend is.
Statische benchmarks zijn vaste datasets. De vragen veranderen niet. En de vragen zijn publiek beschikbaar. Dat creëert een risico dat breed is gedocumenteerd: testcontaminatie. Als de vragen van een benchmark in de trainingsdata van het model voorkomen, meet de score gedeeltelijk geheugen in plaats van vaardigheid.
Onafhankelijk onderzoek heeft vastgesteld dat benchmarkscores bij sommige modellen substantieel hoger uitvallen dan bij gecontroleerde reproductie die rekening houdt met mogelijke contaminatie. Dat betekent niet dat de scores waardeloos zijn, maar wel dat ze minder precies zijn dan ze lijken.
Elke modelbouwer publiceert de scores waarop het model het best presteert. Een model dat uitblinkt op coderingstaken toont SWE-bench prominent. Een model dat sterk is in redeneren benadrukt GPQA. Een model dat op geen enkele test bovenaan staat, kiest de minst bekende benchmark waar het toevallig het hoogst scoort.
Elk gepubliceerd getal is werkelijk behaald. Maar het beeld is vertekend. De lezer ziet een reeks topprestaties en concludeert dat het model overal het best is. Wie kritisch leest, kijkt niet naar welke benchmarks worden getoond, maar naar welke ontbreken.
Dit is het meest fundamentele punt, en het punt dat het vaakst wordt gemist. Een benchmark test een specifieke vaardigheid onder gecontroleerde omstandigheden. Jouw situatie is niet gecontroleerd. Jouw data zijn niet de data waarop de benchmark is gebouwd.
Uit onafhankelijke evaluaties blijkt steeds opnieuw dat modellen die hoog scoren op codeerbenchmarks in de praktijk aanzienlijk vaker code opleveren die aanpassing nodig heeft. Een model dat hoog scoort op kennisbenchmarks kan tegenvallen op jouw specifieke domein als dat domein ondervertegenwoordigd is in de trainingsdata. Een model dat uitblinkt op Engelstalige taken kan merkbaar minder presteren op Nederlands.
Het gat tussen benchmarkprestatie en praktijkprestatie is inherent aan het verschil tussen een gestandaardiseerde test en de werkelijkheid. De enige manier om te weten hoe een model presteert op jouw werk, is het te testen op jouw werk.
Met al die beperkingen, zijn benchmarks dan nutteloos? Nee. Ze zijn waardevol als je ze op de juiste manier leest.
Gebruik benchmarks om het veld in te delen: welke modellen spelen in de topklasse, welke zijn gericht op specifieke taken, welke combineren brede kennis met sterke codeerprestaties. Die grove indeling is nuttig bij het samenstellen van een shortlist. Kijk daarbij naar het profiel, niet naar één score. Een model dat op vijf benchmarks consistent hoog scoort vertelt meer over de brede kwaliteit dan een model dat op één benchmark een record zet.
Chatbot Arena en vergelijkbare platforms zijn moeilijker te manipuleren dan statische benchmarks. Het oordeel komt van echte gebruikers, de vragen liggen niet vast, en de vergelijking is blind. Als je één externe bron wilt gebruiken als grove indicatie van modelkwaliteit, is een menselijke vergelijking op dit moment de meest informatieve.
Geen benchmark vervangt een test op jouw eigen taken. Neem drie tot vijf taken die representatief zijn voor wat je het model wilt laten doen. Laat twee of drie kandidaatmodellen dezelfde taken uitvoeren. Beoordeel de output zelf. Die investering van een middag kost minder dan een verkeerde modelkeuze die maanden meegaat.
Een ziekenhuis selecteert een AI-model voor het samenvatten van medisch-wetenschappelijke literatuur. De IT-afdeling maakt een shortlist op basis van benchmarkscores: drie modellen scoren vergelijkbaar op kennisvragen en redeneren. In de praktijktest die volgt, laat het ziekenhuis elk model twintig recent gepubliceerde studies samenvatten. De uitkomst is verrassend: het model met de op papier laagste score produceert de meest bruikbare samenvattingen, omdat het consistenter is in het signaleren van methodologische beperkingen. De twee hoger scorende modellen produceren vloeiender tekst maar missen vaker nuances die voor de medische staf relevant zijn. De benchmark voorspelde de uitkomst niet.
Een accountantskantoor ontvangt een vendorpresentatie waarin een nieuw model wordt gepitcht met “de hoogste score op MMLU ooit.” De IT-directeur vraagt door: welke versie van MMLU? Het blijkt de standaardversie te zijn, waar alle topmodellen inmiddels tegen het plafond aan scoren. Op MMLU-Pro, de moeilijkere variant, scoort het model vergelijkbaar met de concurrentie. Op Chatbot Arena, waar echte gebruikers blind vergelijken, staat het model niet in de top tien. De indrukwekkende claim uit de presentatie blijkt bij nader inzien een voorbeeld van cherry-picking: het model presenteert zijn score op de test waar het verschil het minst betekent. Het kantoor stelt aanvullende vragen en laat de leverancier een proef doen op hun eigen data.
Een freelance ontwikkelaar kiest een AI-model op basis van de HumanEval-score: ruim boven de negentig procent correct. In de praktijk blijkt het model moeite te hebben met de specifieke programmeertaal en het framework dat zij gebruikt. De code compileert, maar vereist structureel meer aanpassingen dan ze op basis van de score had verwacht. Ze schakelt over naar een model met een lagere HumanEval-score maar betere prestaties op SWE-bench, de benchmark die complexere, realistische codeerscenario’s test. De kwaliteit van de gegenereerde code verbetert merkbaar. De keuze van de benchmark bepaalt mede welk model je selecteert, en niet elke benchmark meet wat jij nodig hebt.
Wie wil terugkeren naar het bredere kader en begrijpen welke factoren naast benchmarks de kwaliteit van een model bepalen, leest Wat bepaalt de kwaliteit van een model? (cluster 2.5).
Wie wil weten hoe je de prestaties van een AI-model in de praktijk beoordeelt, niet via benchmarks maar via je eigen evaluatie, vindt dat bij Evaluatie van AI-output (cluster 6.1).
Wie wil begrijpen waarom het verschil tussen een benchmarkdemo en een bruikbaar product vaak groter is dan verwacht, leest Frontier AI versus productie-realiteit (cluster 6.3).