Pretraining: het fundament bouwen

Een neuraal netwerk kan niet met woorden rekenen. Het kan alleen met getallen werken. Voordat een model tekst kan verwerken, moet die tekst worden omgezet in een reeks getallen. Die omzetting heet tokenisatie.

Een token is de kleinste eenheid waarmee een taalmodel tekst verwerkt. Dat is lang niet altijd een heel woord. Het woord “vergaderruimte” wordt door de meeste modellen opgesplitst in twee of drie stukken: “vergader”, “ruimte”, of zelfs “ver”, “gader”, “ruimte.” Veelgebruikte korte woorden (“de”, “en”, “is”) zijn meestal één token. Zeldzame of samengestelde woorden worden opgesplitst in kleinere eenheden die het model vaker heeft gezien.

De gangbare methode voor die opsplitsing werkt op basis van frequentie. Patronen die vaak voorkomen in de trainingstekst worden samengevoegd tot één token. Patronen die zelden voorkomen, worden opgesplitst in kleinere stukken. Het resultaat is een vocabulaire van tienduizenden tot honderdduizend tokens waarmee het model elke tekst kan representeren.

Tokens in de praktijk

Dit klinkt als een technisch detail. Maar het verklaart een reeks eigenaardigheden die iedereen die met AI-modellen werkt vroeg of laat tegenkomt.

Vraag een model hoeveel keer de letter “r” voorkomt in “strawberry”, en het antwoord is regelmatig fout. Niet omdat het model niet kan tellen, maar omdat het de individuele letters niet ziet. “Strawberry” is voor het model niet s-t-r-a-w-b-e-r-r-y, maar een reeks tokens die niet op lettergrenzen vallen. Het model opereert op een niveau boven de letter, en dat niveau matcht niet altijd met de taak die je het geeft.

Hetzelfde geldt voor rekenen met grote getallen. Het getal “1234” wordt soms opgesplitst in “123” en “4”. Het model ziet die stukken als afzonderlijke symbolen, niet als posities in een decimaal stelsel. Rekenen vereist inzicht in posities. Tokenisatie wist dat inzicht uit.

Voor organisaties is er een directe praktische consequentie. AI-diensten rekenen af per token. Hoe meer tokens een tekst bevat, hoe hoger de kosten. Teksten in het Nederlands gebruiken meer tokens dan dezelfde tekst in het Engels, omdat de meeste modellen zijn geoptimaliseerd voor Engelse tekst. Code is vaak token-efficiënt. Juridische teksten met lange samenstellingen kosten meer tokens per woord. Wie de kosten van AI-inzet wil begrijpen, moet tokens begrijpen.

Na pretraining is het resultaat een basismodel: een neuraal netwerk met miljarden parameters die de patronen van menselijke taal hebben vastgelegd. Dat basismodel vormt de grondstof voor alles wat een AI-model later kan.

De reikwijdte is breed. Een pretrained basismodel kan tekst aanvullen, zinnen afmaken, patronen in taal herkennen en nieuwe tekst genereren die grammaticaal correct, inhoudelijk samenhangend en stilistisch consistent is. Het kan code produceren, vertalingen maken en samenvattingen schrijven. Het doet dit allemaal op basis van hetzelfde mechanisme: de volgende token voorspellen op basis van de voorgaande context.

Hier zit een inzicht dat de moeite waard is om even bij stil te staan. Vrijwel alle kennis die een taalmodel bezit, is vastgelegd tijdens pretraining. De latere fases, posttraining, voegen relatief weinig nieuwe kennis toe. Wat ze wel toevoegen is gedrag: het vermogen om instructies op te volgen en behulpzaam te reageren. Maar de taalpatronen, de feitenkennis en de redeneerstructuren die daaronder liggen, dat is het werk van pretraining.

Het ruwe basismodel

Dat fundament is indrukwekkend. Maar een pretrained model is nog geen product. Stel het een vraag, en het genereert de meest waarschijnlijke vervolgtekst. Soms is dat een antwoord. Soms is dat een volgende vraag. Soms is het een willekeurige voortzetting van de tekst alsof het een artikel schrijft. Het model heeft geen instructie-opvolgend gedrag. Het vult tekst aan. Meer niet.

Een pretrained model weigert ook niet. Het genereert wat statistisch het meest waarschijnlijk is, ongeacht of dat behulpzaam, schadelijk of onzinnig is. De veiligheidsmaatregelen en het vermogen om schadelijke verzoeken te weigeren komen pas bij posttraining.

Dit onderscheid is fundamenteel voor iedereen die beslissingen neemt over AI. Het verklaart waarom hetzelfde basismodel zich totaal anders kan gedragen na verschillende vormen van posttraining, en waarom modellen van verschillende aanbieders toch heel anders reageren terwijl ze op vergelijkbare basismodellen zijn gebouwd. Het verklaart ook waarom de kwaliteit van pretraining de bovenkant bepaalt: posttraining kan een model niet laten presteren op kennis die tijdens pretraining niet is vastgelegd.

Midtraining

Wij presenteren pretraining en posttraining als twee gescheiden fases. Dat is een nuttige vereenvoudiging die het geheel begrijpelijk maakt. In de praktijk is de grens minder scherp. Modelbouwers experimenteren met tussenliggende fases, soms midtraining genoemd, waarin ze al tijdens het latere deel van de pretraining hoogwaardige data toevoegen of de trainingsaanpak geleidelijk verschuiven richting het gedrag dat bij posttraining wordt aangeleerd. Die tussenliggende fases zijn nog niet gestandaardiseerd. De indeling verschilt per modelbouwer en verandert bij elke nieuwe generatie modellen. Voor het begrip van hoe een AI-model wordt opgebouwd is de tweedeling pretraining-posttraining het meest verhelderende vertrekpunt.

Wie wil begrijpen hoe een basismodel na pretraining wordt omgevormd tot een bruikbare assistent die instructies opvolgt en behulpzaam reageert, leest verder bij Posttraining: van basismodel naar assistent (cluster 2.3).

Wie wil weten hoe het trainingsmechanisme van machine learning werkt en welke soorten er zijn, vindt dat bij Wat is machine learning?

Wie wil zien hoe de transformer-architectuur pretraining op grote schaal mogelijk maakte, leest Transformers en foundation models: de architectuursprong (cluster 1.2).