RAG: organisatiekennis koppelen

Elk AI-model heeft een brede kennisbasis. De training omvat miljarden pagina’s tekst van het publieke internet: boeken, artikelen, websites, codebases. Dat maakt het model breed inzetbaar voor algemene vragen. Maar de kennis die een organisatie uniek maakt, staat niet op het internet. Interne richtlijnen, procesafspraken, klantdossiers, beleidsdocumenten. Die informatie bestaat alleen binnen de muren van de organisatie. Het model heeft er geen toegang toe en kan er niet naar verwijzen.

Neem een middelgroot accountantskantoor. Duizenden adviesdocumenten, procesbeschrijvingen en interne richtlijnen die nergens in de training van het model voorkomen. Verspreid over SharePoint, een kennisbank en lokale mappen. Elke keer dat een medewerker een vakinhoudelijke vraag stelt, mist het model de informatie die het antwoord zou moeten sturen.

Handmatig kopiëren

De eerste reflex is het document kopiëren naar het chatvenster. Plak de richtlijn erbij en het model kan ermee werken. Dat werkt bij twee pagina’s. Niet bij tweehonderd. En al helemaal niet als twintig medewerkers dagelijks vragen stellen over tientallen onderwerpen, verspreid over honderden documenten. Handmatig kopiëren schaalt niet.

Fine-tuning

De tweede gedachte is het model opnieuw trainen met de eigen data via fine-tuning. Fine-tuning past het model zelf aan. Het kan domeinspecifieke kennis, vakjargon en redeneerpatronen aanleren. Een AI-model dat via fine-tuning is getraind op medische literatuur, wordt beter in medisch redeneren. Dat werkt voor kennis die stabiel is: vakterminologie, domeinexpertise, een vaste schrijfstijl.

Maar organisatiekennis is per definitie dynamisch. Richtlijnen worden bijgewerkt, procedures wijzigen, klantafspraken veranderen. Een intern beleidsdocument dat volgende maand wordt aangepast, vereist bij fine-tuning een nieuwe trainingsronde. Elke ronde vraagt gespecialiseerde engineers, rekenkracht en tijd. Voor de grote technologiebedrijven die hun eigen modellen trainen, is dat haalbaar. Voor de meeste organisaties is het dat niet. En zelfs als het zou kunnen, blijft het probleem: tegen de tijd dat de trainingsronde is afgerond, kan de informatie alweer zijn veranderd.

In het Aiscendo Ringenmodel, het denkraam dat wij gebruiken om de opbouw van AI-systemen te beschrijven, is dit Ring 2: Weten. De ring die het model toegang geeft tot kennis die het uit zichzelf niet heeft.

RAG kiest een andere route. In plaats van het model te vullen met kennis of handmatig documenten mee te geven, automatiseert RAG het ophalen van relevante informatie uit de eigen bronnen van de organisatie. Bij elke vraag doorzoekt het systeem een externe kennisbron, haalt de relevante passages op en geeft die mee aan het model als context. Het model genereert vervolgens een antwoord op basis van de vraag én de opgehaalde informatie. Retrieval-Augmented Generation: ophalen, verrijken, genereren. De naam beschrijft exact wat er gebeurt.

Het model zelf verandert niet. Wat verandert, is de informatie die het ontvangt. Vergelijk het met een adviseur die bij elke klantvraag eerst het archief raadpleegt voordat die antwoord geeft. De adviseur hoeft niet alles uit het hoofd te kennen. Die hoeft alleen te weten waar de relevante informatie staat. RAG doet hetzelfde voor een AI-model: het koppelt een zoeksysteem dat bij elke vraag de juiste documenten ophaalt en meelevert.

Terug naar het accountantskantoor. Een medewerker stelt een vraag, het systeem doorzoekt de interne richtlijnen, haalt de relevante passages op en het model genereert een antwoord op basis van die passages. De medewerker krijgt een antwoord dat verwijst naar de juiste interne bronnen, zonder dat iemand handmatig heeft gezocht. Wie wil begrijpen hoe dat ophaalproces technisch werkt, van vraag tot antwoord, leest verder bij Wat is RAG en hoe werkt het? (5.2a).

RAG is een oplossing voor een specifiek type probleem. Wie herkent welk type kennis het betreft, kan de juiste oplossing kiezen.

RAG is op zijn sterkst wanneer de kennis intern is en regelmatig verandert. Interne richtlijnen, procesbeschrijvingen, HR-beleid, productdocumentatie, klantafspraken: informatie die niet publiek beschikbaar is en die voortdurend wordt bijgewerkt. Dit type kennis leent zich niet voor fine-tuning, want de informatie is te veranderlijk. Het leent zich niet voor handmatig kopiëren, want het volume is te groot. RAG lost precies dat probleem op: het houdt de kennisbron doorzoekbaar en actueel, zonder het model aan te passen.

Maar niet elk informatieprobleem is een RAG-probleem. De keuze hangt af van het type kennis.

Search

Wanneer de informatie juist extern en actueel moet zijn, denk aan nieuwsberichten, marktdata of wetenschappelijke publicaties, is search de betere route. Search haalt informatie op van het internet op het moment van de vraag. RAG haalt informatie op uit een eigen, beheerde kennisbron. Het verschil is de bron: search zoekt buiten de organisatie, RAG zoekt binnen.

→ Lees meer: Search en browse: actuele informatie ophalen (5.3).

Grote context windows

Bij een kleine, overzichtelijke set documenten die zelden verandert, kan een groot context window volstaan. Laad de documenten in het gesprek en het model verwerkt ze direct. Maar die aanpak kent grenzen. Naarmate de hoeveelheid informatie groeit, verwatert de aandacht van het model. Onderzoekers noemen dat verschijnsel context rot: de nauwkeurigheid daalt als er te veel in het context window zit, omdat relevante details ondergesneeuwd raken. Zelfs met context windows van honderdduizenden tokens blijft selectie noodzakelijk bij grote kennisbronnen. RAG is die selectie.

Fine-tuning

Fine-tuning is het juiste gereedschap voor stabiele domeinkennis die zelden verandert. Voor actuele, organisatiespecifieke kennis is RAG de betere keuze. De twee vullen elkaar aan: fine-tuning maakt het model deskundiger in een domein, RAG voorziet het van de specifieke informatie die het per vraag nodig heeft.

Hier zit een misvatting die hardnekkig is. RAG klinkt als iets dat je aanschaft en installeert. Een product dat je aanzet, een schakelaar die je omzet. Dat beeld klopt niet, en het leidt tot teleurstelling bij organisaties die verwachten dat het systeem na installatie vanzelf goede antwoorden oplevert.

RAG is een ontwerpkeuze. Het is de beslissing om een kennisbron te koppelen aan een AI-model, met alles wat daarbij hoort. Wij positioneren RAG bewust zo: als een architectuurkeuze die onderhoud en eigenaarschap vraagt. De technologie maakt het mogelijk. De organisatie bepaalt of het werkt.

Neem het accountantskantoor. De beslissing om RAG in te zetten is de eerste stap. Daarna volgen de vragen die het verschil maken tussen een systeem dat betrouwbare antwoorden levert en een systeem dat overtuigende onzin produceert.

Drie organisatievragen

De eerste: welke kennis koppel je? Niet alle documenten zijn geschikt. Verouderde versies, concepten, interne memo’s zonder vaste status. Meer bronnen koppelen voelt als meer houvast, maar het tegenovergestelde is waar. Een kennisbron met vijfhonderd goed onderhouden documenten presteert beter dan een kennisbron met vijfduizend ongesorteerde bestanden. De keuze wat je opneemt is minstens zo belangrijk als de technologie die het ophalen mogelijk maakt.

De tweede: wie beheert de bronnen? RAG levert actuele antwoorden alleen als de bronnen actueel zijn. Dat vraagt om een eigenaar: iemand die verantwoordelijk is voor het toevoegen, bijwerken en verwijderen van documenten in de kennisbron. Zonder dat eigenaarschap verwatert de kwaliteit geleidelijk, zonder dat iemand het merkt. Tot een medewerker een antwoord krijgt dat gebaseerd is op een richtlijn van twee jaar geleden.

De derde: hoe evalueer je het resultaat? Een RAG-systeem genereert antwoorden die er professioneel uitzien. Dat zegt niets over de juistheid. Systematische evaluatie, met echte vragen, verwachte antwoorden en periodieke controles, is een voorwaarde. Wie wil weten welke factoren bepalen of een RAG-systeem daadwerkelijk goede resultaten oplevert, leest verder bij Wat bepaalt of RAG werkt? (5.2b).

Een kantoor dat deze drie vragen serieus neemt, bereikt het punt waarop medewerkers sneller en consistenter antwoorden krijgen dan via handmatig zoeken. Niet omdat het model krachtiger is geworden. Omdat het de juiste informatie ontvangt.

Wie wil begrijpen hoe het RAG-proces technisch werkt, hoe een vraag wordt omgezet naar een zoekrepresentatie, hoe de kennisbron wordt doorzocht en hoe het model op basis daarvan een antwoord genereert, leest verder bij Wat is RAG en hoe werkt het? (5.2a).

Wie wil weten welke factoren bepalen of een RAG-systeem daadwerkelijk goede resultaten oplevert en welke fouten het vaakst worden gemaakt, leest verder bij Wat bepaalt of RAG werkt? (5.2b).

Wie wil zien hoe RAG past in het bredere kader van contextbeheer en het ontwerpen van de informatieomgeving rond een AI-model, vindt dat bij Context engineering: van goede prompt naar slim systeem (4.4).