Context windows: hoeveel informatie past er?

Het context window (in het Nederlands ook wel contextvenster genoemd) is de totale hoeveelheid informatie die een AI-model in één keer kan verwerken. Alles wat binnen dat venster valt, wordt tegelijk meegenomen: de instructie, de meegeleverde documenten, de gespreksgeschiedenis, de systeeminstructies en het antwoord dat het model genereert. Wat buiten het venster valt, bestaat niet voor het model.

Het model verwerkt de hele context opnieuw bij elke beurt in een gesprek. Er is geen korte- of langetermijngeheugen zoals bij mensen. Er is alleen het venster: wat erin zit, telt mee. Wat er niet in zit, is onzichtbaar. Die eigenschap maakt het context window tot een van de meest bepalende factoren voor de kwaliteit van AI-output.

In het Aiscendo Ringenmodel, dat beschrijft hoe elke laag rond een AI-model het systeem krachtiger maakt, is het context window de technische begrenzing van Ring 2 (Weten): alle kennis die het model meekrijgt, via RAG, search, documenten of gespreksgeschiedenis, moet binnen dit venster passen.

De omvang van dat venster verschilt per model en groeit snel. Gangbare modellen werken met context windows in de orde van honderdduizenden tokens, en de ruimste gaan naar een miljoen of meer. Die grens verschuift voortdurend omhoog. Maar de omvang alleen vertelt niet het hele verhaal.

Gedeeld budget

Een detail dat in de praktijk ertoe doet: invoer en uitvoer delen hetzelfde context window. De instructie, de documenten en de gespreksgeschiedenis vullen het venster van de ene kant. Het antwoord dat het model genereert, vult het van de andere kant. Wie een lang document meestuurt, houdt minder ruimte over voor het antwoord. Wie een uitgebreid antwoord verwacht, moet minder context meegeven.

Stel je een whiteboard voor in een vergaderruimte. Alles wat erop geschreven staat, is zichtbaar voor iedereen in de ruimte. Maar het whiteboard heeft een vast formaat. Hoe meer achtergrond je opschrijft, hoe minder ruimte er overblijft voor de conclusies. Het context window werkt op dezelfde manier: invoer en uitvoer concurreren om dezelfde ruimte.

De omvang van het context window wordt uitgedrukt in tokens. Dat is de eenheid waarmee een AI-model tekst verwerkt. Tokens zijn niet hetzelfde als woorden.

Tokens

Een model leest geen woorden zoals een mens dat doet. Het splitst tekst op in stukken die het kan herkennen: tokens. Korte, veelgebruikte woorden zijn meestal één token. Langere woorden en samenstellingen worden opgesplitst in meerdere stukken. Het woord “belastingaangifte” is voor een mens één woord, maar voor een model twee of drie tokens. Spaties tellen vaak mee. Leestekens zijn aparte tokens.

De vuistregel voor Engelstalige tekst: honderd woorden zijn ruwweg 130 tokens. Voor Nederlandstalige tekst ligt dat hoger, omdat Nederlandse samenstellingen langer zijn en de meeste modellen zijn geoptimaliseerd voor Engels. Een Nederlandse tekst van duizend woorden bevat al gauw 1.400 tot 1.600 tokens.

Het schaalbegrip

Om te voelen hoe groot een context window is, helpt het om tokens te vertalen naar documenten die je kent. Een korte e-mail bevat 100 tot 300 tokens. Een zakelijk rapport van tien pagina’s zit rond de 5.000 tokens. Een boek van 300 pagina’s bevat ruwweg 100.000 tokens.

Een model met een context window van 200.000 tokens kan dus twee boeken tegelijk verwerken, of tientallen rapporten met alle bijlagen, of een complete codebase van een middelgroot softwareproject. Die schaal maakt toepassingen mogelijk die voorheen ondenkbaar waren: een heel dossier analyseren in één opdracht, meerdere bronnen tegelijk vergelijken, een uitgebreid gesprek voeren zonder dat eerdere beurten verloren gaan.

Die schaal is indrukwekkend. Maar schaal alleen is niet waar het verhaal eindigt.

Hier zit het inzicht dat veel mensen verrast. Een AI-model verwerkt alle informatie in het context window, maar het verwerkt niet alles met dezelfde nauwkeurigheid.

Het lost-in-the-middle-effect

Onderzoek heeft een consistent patroon blootgelegd. Informatie aan het begin van de context en aan het einde krijgt meer gewicht dan informatie die in het midden staat. Dit verschijnsel heet het lost-in-the-middle-effect. Het patroon volgt een U-vormige curve: hoge nauwkeurigheid voor de eerste en laatste stukken informatie, lagere nauwkeurigheid voor alles wat daartussen staat.

De impact is niet subtiel. In experimenten daalde de nauwkeurigheid met meer dan 30 procent wanneer het relevante antwoord in het midden van twintig documenten stond, vergeleken met een positie aan het begin of het einde. Dat verschil is groot genoeg om in de praktijk het verschil te maken tussen een correct en een fout antwoord.

Het fenomeen doet denken aan hoe mensen een lange vergadering ervaren. De opening en de afsluiting beklijven. Wat halverwege is gezegd, verdwijnt naar de achtergrond. Bij AI-modellen is de oorzaak architecturaal, maar het resultaat is vergelijkbaar: informatie in het midden van de context krijgt minder aandacht.

Context rot

Er is een tweede patroon. Naarmate het context window voller raakt, neemt de algehele nauwkeurigheid af. Dit effect wordt context rot genoemd. Het model verwerkt de informatie nog wel, maar de aandacht wordt dunner verdeeld over meer tokens. Relevante details raken ondergesneeuwd. Het antwoord wordt breder en tegelijk minder precies.

Een studie die achttien gangbare modellen testte, vond dit effect bij elk model, zonder uitzondering. Het trad niet pas op bij de maximale capaciteit. Al ruim vóór de limiet begon de kwaliteit af te nemen. Een context window van een miljoen tokens dat tot de helft is gevuld, presteert al meetbaar minder dan bij lagere vulling.

Dat is een cruciaal inzicht voor wie nadenkt over de inzet van AI met grote hoeveelheden informatie. Het context window is geen emmer die je vult tot de rand. Het is eerder een leeslamp: hoe breder je het licht spreidt, hoe diffuser het wordt. Gericht licht op de juiste plek levert meer op dan alle lampen aan in de hele bibliotheek.

Lost-in-the-middle en context rot leiden samen tot een conclusie die de intuïtie op zijn kop zet. De reflex bij de meeste organisaties is: geef het model zoveel mogelijk informatie, dan maakt het de beste keuze. Dat blijkt niet te kloppen. En dat verandert niet naarmate context windows groter worden. Een venster van een miljoen tokens heeft dezelfde kwetsbaarheden als een venster van tweehonderdduizend, alleen op grotere schaal.

De kwaliteit van AI-output hangt niet af van hoeveel je meegeeft, maar van hoe goed je selecteert wat je meegeeft. Een AI-systeem dat bij elke klantvraag het hele archief in het context window laadt, presteert slechter dan een systeem dat alleen de drie meest relevante documenten ophaalt. Wie de juiste vijf pagina’s selecteert, krijgt een beter antwoord dan wie een heel handboek meestuurt.

Van volume naar precisie

Een groter context window is waardevol in specifieke situaties. Het analyseren van een lang document in zijn geheel. Het vergelijken van meerdere bronnen tegelijk. Het voeren van een uitgebreid gesprek zonder dat eerdere beurten worden afgekapt. In die gevallen maakt het verschil tussen een taak die lukt en een taak die niet past.

Maar voor de meeste professionele toepassingen verschuift de vraag van “past alles erin?” naar “wat hoort erin?” Dat is precies de reden waarom context engineering een eigen discipline is geworden: het bewust ontwerpen van de informatie die het model bij elke stap ontvangt. De bouwstenen en technieken uit de promptingclusters helpen je om die informatie te structureren. Context engineering gaat een stap verder: het bepaalt welke informatie het model überhaupt te zien krijgt.

Hier raakt het context window aan een andere oplossing uit deze pillar. RAG (Retrieval-Augmented Generation) is gebouwd op dit principe: in plaats van alles in het context window te laden, doorzoekt het systeem een externe kennisbron en haalt alleen de relevante passages op. Het model krijgt niet alles te zien. Het krijgt het juiste te zien.

Wie wil begrijpen hoe je bewust ontwerpt welke informatie het model ontvangt en hoe dat de kwaliteit van AI-output stuurt, leest verder bij Context engineering: van goede prompt naar slim systeem (cluster 4.4).

Wie wil weten hoe organisaties hun eigen kennisbronnen koppelen aan AI-systemen zodat het model bij elke vraag automatisch de juiste documenten ontvangt, vindt dat bij RAG: organisatiekennis koppelen (cluster 5.2).