Posttraining: van basismodel naar assistent

Na SFT kan het model instructies opvolgen en een gesprek voeren. Maar het mist nog iets wezenlijks: het vermogen om te beoordelen welk antwoord beter is dan een ander.

Het model produceert nu antwoorden die het juiste formaat hebben. Maar sommige antwoorden zijn helderder, eerlijker, veiliger of nuttiger dan andere. SFT leert het model wat een antwoord is. Preference learning leert het model wat een goed antwoord is.

Het mechanisme

Het principe is opvallend helder. Het model genereert twee antwoorden op dezelfde vraag. Een beoordelaar vergelijkt de twee en geeft aan welk antwoord beter is. Het model leert van die keuze. Na duizenden van zulke vergelijkingen heeft het model een intern richtsnoer opgebouwd voor wat mensen als behulpzaam, helder en veilig ervaren.

De oorspronkelijke methode hiervoor heet RLHF: reinforcement learning from human feedback. Het maakt gebruik van reinforcement learning, de trainingstechniek waarbij een model leert door feedback op zijn acties. Bij RLHF komt die feedback van mensen die antwoorden beoordelen.

Menselijke en geautomatiseerde feedback

Menselijke beoordelaars zijn nauwkeurig maar duur en langzaam. Bij duizenden beoordelingen per dag zijn de kosten substantieel, en de snelheid beperkt de schaal. Modelbouwers hebben daarom een variant ontwikkeld: RLAIF, reinforcement learning from AI feedback. Hierbij beoordeelt een AI-model de antwoorden in plaats van een mens, op basis van een reeks principes die mensen hebben opgesteld.

Het resultaat is vergelijkbaar. Het model leert welke antwoorden beter scoren, en stelt zijn gedrag daarop bij. Het verschil zit in de bron van de feedback: menselijk oordeel of geautomatiseerd oordeel op basis van menselijke principes. In de praktijk combineren modelbouwers beide. Menselijke feedback voor de lastigste afwegingen, AI-feedback voor de schaal.

Wij gebruiken op deze pagina de term preference learning als overkoepelend begrip. Of de feedback nu van mensen komt of van AI-modellen, het principe is hetzelfde: het model leert keuzes maken op basis van vergelijkend oordeel.

Na fine-tuning en preference learning kan het model instructies opvolgen en kwalitatief goede antwoorden produceren. De derde laag van posttraining gaat over een fundamenteel andere vraag: hoe voorkom je dat het model schade aanricht?

Een model dat elke instructie opvolgt zonder beoordeling, is gevaarlijk. Het kan gedetailleerde instructies geven voor het maken van wapens, overtuigend klinkende medische adviezen produceren die levensgevaarlijk zijn, of manipulatieve teksten schrijven op verzoek. Een AI-assistent die alles doet wat je vraagt, is niet behulpzaam. Die is onverantwoord.

Alignment

Alignment is het proces waarmee een model wordt afgestemd op menselijke waarden: behulpzaam zijn waar dat kan, eerlijk zijn over onzekerheid en weigeren waar dat moet. Het doel is een model dat kan én oordeelt. Dat het verschil maakt tussen een verzoek om hulp bij een sollicitatiebrief en een verzoek om hulp bij het schrijven van phishing-e-mails. Dat het antwoord geeft op medische vragen in algemene zin, maar waarschuwt dat het geen arts vervangt.

De technieken achter alignment overlappen met preference learning. Het verschil zit in het doel: bij preference learning gaat het primair om kwaliteit (welk antwoord is beter), bij alignment gaat het om grenzen (welk gedrag is verantwoord). In de praktijk lopen die doelen door elkaar, en worden ze met dezelfde methoden getraind.

Het spanningsveld

Alignment is geen schakelaar die je aan- of uitzet. Het is een continu spanningsveld. Te weinig alignment maakt een model onveilig: het volgt schadelijke instructies op zonder aarzeling. Te veel alignment maakt een model onbruikbaar: het weigert onschuldige vragen omdat het een risico ziet dat er niet is.

Wie ooit een AI-model heeft gevraagd naar een historisch conflict en als antwoord kreeg “Ik kan daarover geen informatie geven”, heeft dat spanningsveld aan den lijve ervaren. Het model weigerde niet omdat de vraag onverantwoord was, maar omdat de alignment-training het had geleerd om voorzichtig te zijn bij gevoelige onderwerpen, soms voorzichtiger dan nodig.

Modelbouwers werken voortdurend aan die balans. Elke nieuwe versie van een model is ook een nieuwe poging om het model behulpzamer te maken zonder het onveiliger te maken, en veiliger zonder het overdreven voorzichtig te maken. Alignment is geen opgelost probleem. Het is een doorlopend ontwerpproces.

→ Lees meer: Alignment

Na posttraining is het product een AI-assistent: een model dat instructies opvolgt, in de juiste toon antwoordt, schadelijke verzoeken weigert en eerlijk is over wat het niet kan. Het verschil met het ruwe basismodel is fundamenteel, hoewel de onderliggende kennis dezelfde is.

Dat verklaart een fenomeen dat voor veel gebruikers raadselachtig is: waarom reageren Claude, ChatGPT en Gemini zo anders op dezelfde vraag, terwijl ze alle drie op vergelijkbare hoeveelheden trainingsdata zijn gebouwd? Het antwoord zit in posttraining. Elke modelbouwer maakt andere keuzes in hoe het model wordt afgesteld: welk gedrag wordt beloond, welke grenzen worden getrokken, hoeveel ruimte het model krijgt om te interpreteren. Die keuzes zijn net zo bepalend als de pretraining zelf.

Wie wil begrijpen wanneer fine-tuning relevant is voor een organisatie en hoe het zich verhoudt tot prompting en RAG als manieren om AI-gedrag te sturen, leest verder bij Fine-tuning (cluster 2.3a).

Wie wil weten hoe modelbouwers bepalen wat een model wel en niet mag doen, hoe preference learning werkt en waarom alignment een doorlopend ontwerpproces is, vindt dat bij Alignment (cluster 2.3b).

Wie wil begrijpen hoe het basismodel wordt opgebouwd dat als grondstof voor posttraining dient, leest Pretraining: het fundament bouwen (cluster 2.2).

Wie wil begrijpen hoe dezelfde basistechnologie tot heel verschillende modellen leidt — van gesloten diensten tot vrij beschikbare downloads — vindt dat bij Open versus gesloten modellen (cluster 2.4).