Veelgemaakte fouten en hoe je ze herkent

De AI-modellen waarbij deze foutpatronen horen, zijn foundation models: brede generatieve basismodellen die tekst en meer produceren. Een klassiek rekenmodel dat transacties op fraude controleert, kan een transactie verkeerd beoordelen, maar het verzint geen transacties die niet bestaan. Een generatief AI-model kan dat wel. Het genereert nieuwe tekst, en bij dat genereren kan informatie ontstaan die nergens op is gebaseerd.

Daar komt iets bij: uit een generatief AI-model komt altijd een antwoord. Geen leeg vel, geen zichtbare aarzeling. De output is af, opgemaakt en stellig, ook wanneer de inhoud dat niet rechtvaardigt.

Vergelijk het met vals geld. Een slecht vervalst biljet haal je er zo tussenuit: het papier voelt verkeerd, de kleuren wijken af. Het gevaarlijke biljet is de goede vervalsing. Die voelt echt, oogt echt en passeert iedere kassa, totdat iemand het biljet onder de lamp legt. Fouten in AI-output zijn goede vervalsingen. Ze vallen pas op bij wie actief controleert.

In het Aiscendo Ringenmodel, waarmee wij beschrijven hoe een AI-model stap voor stap uitgroeit tot een compleet systeem, heeft die controle een eigen plek: Bewaken, de buitenrand die om alle ringen heen loopt. Elke capaciteit die een AI-systeem erbij krijgt, van betere aansturing tot zelfstandig handelende agents, eindigt bij dezelfde vraag. Klopt wat eruit komt? Om die vraag te kunnen beantwoorden, moet je weten hoe de fouten eruitzien. Wij onderscheiden zes patronen. Geen wetenschappelijke taxonomie, wel een praktische ordening: elk patroon komt in de praktijk steeds terug, en elk patroon heeft een eigen herkenningsvraag.

Hallucinatie

Een hallucinatie is informatie die een AI-model genereert alsof het een feit is, terwijl die informatie niet bestaat of niet klopt. Een verwijzing naar een onderzoek dat nooit is gepubliceerd. Een citaat dat niemand heeft uitgesproken. Het model heeft geen onafhankelijke toegang tot de werkelijkheid: het kan niet buiten zijn eigen patronen treden om vast te stellen of iets waar is. Bij goed gedocumenteerde onderwerpen komen die patronen overeen met de feiten. Bij schaarse of specifieke informatie vult het model gaten op met wat plausibel klinkt. Waarom dat gebeurt en waarom het niet verdwijnt, staat uitgelegd op de pagina Wat is een hallucinatie? Hier gaat het om de herkenning in de praktijk.

De vuistregel: hoe specifieker het feit, hoe hoger het risico. Namen, getallen, datums, bronverwijzingen. Juist de details die een tekst betrouwbaar laten ogen, zijn de plekken waar het vaakst iets verzonnen is. Een algemene uitspraak over een markttrend steunt op duizenden teksten in de trainingsdata. Eén specifiek omzetcijfer van één specifiek bedrijf zelden.

De herkenningsvraag bij dit patroon: kan ik deze claim terugvinden? Controleer specifieke claims, te beginnen bij de claims waar een beslissing op rust. Een bronverwijzing opzoeken kost twee minuten. Een verzonnen bron in een rapport naar een klant kost aanzienlijk meer.

Hallucinatie is het bekendste patroon. Het is lang niet het gevaarlijkste. De twee patronen hierna richten in de praktijk meer schade aan, juist omdat er niets te zien valt.

Schijnzekerheid

Schijnzekerheid is het patroon waarbij een AI-model een onjuist antwoord presenteert met exact dezelfde stelligheid als een correct antwoord. Geen verschil in toon. Geen verschil in formulering. Geen verschil in opbouw. Een menselijke expert die twijfelt, laat dat doorschemeren: “als ik me niet vergis”, “dat zou ik moeten nazoeken”. Die signalen gebruiken we ons hele leven om in te schatten hoeveel gewicht een uitspraak verdient. In AI-output ontbreken ze volledig.

Dat heeft een aanwijsbare oorzaak. Onderzoek uit 2025 van OpenAI en Georgia Tech liet zien dat taalmodellen tijdens training en evaluatie systematisch worden beloond voor gokken: een stellig antwoord maakt kans op punten, een uiting van onzekerheid levert niets op. Zoals een student die bij een tentamen zonder strafpunten elke open vraag invult, leert het model overal een stellig antwoord te produceren, ook waar twijfel op zijn plaats was. De zelfverzekerde toon zegt dus niets over de betrouwbaarheid van de inhoud. Het is aangeleerd gedrag.

Daar hoort een tweede valkuil bij. De voor de hand liggende controle, doorvragen of het antwoord wel klopt, werkt niet betrouwbaar. Onderzoek naar dit gedrag laat zien dat modellen onder tegenspraak juist meebuigen: na een “weet je het zeker?” trekken modellen een correct antwoord regelmatig in. Het antwoord beweegt mee met de aandrang van de gebruiker, los van wat waar is. Doorvragen toetst vooral de volgzaamheid van het model.

De herkenningsvraag: waar is dit op gebaseerd? Vraag om bronnen en onderbouwing, neutraal geformuleerd, en beoordeel die onderbouwing zelf. De stelligheid van de formulering laat je daarbij volledig buiten beschouwing. Die zegt niets.

Stille onvolledigheid

Stille onvolledigheid is het patroon waarbij een antwoord klopt voor zover het gaat, maar relevante informatie weglaat, zonder enig signaal in de tekst. Een juridische analyse die drie van de vijf relevante wetsartikelen behandelt. Een marktverkenning die twee grote concurrenten beschrijft en de derde overslaat. Het antwoord voelt af: de opbouw is logisch, de conclusie volgt uit wat er staat. Alleen het beeld is niet compleet.

Voor wie geen expert is in het onderwerp, is dit het lastigste patroon van de zes. Wat er staat, kun je controleren. Wat er ontbreekt, laat geen spoor na. Er is geen lege plek in de tekst die markeert waar het vierde wetsartikel had moeten staan. Bij RAG-systemen, die antwoorden opbouwen uit documenten van de eigen organisatie, bestaat een eigen variant: het systeem haalt mogelijk niet alle relevante bronnen op, en het antwoord vermeldt niet wat het niet heeft gezien. Hoe je beoordeelt of zo’n systeem de juiste bronnen vindt, staat op Wat bepaalt of RAG werkt.

De herkenningsvraag draait de bewijslast om: wat mist er? Vraag het AI-model expliciet om tegenargumenten, om gezichtspunten die nog niet zijn genoemd, om de zwakste plek in de eigen analyse. Eerlijk is eerlijk: dat lost het patroon niet volledig op, want ook die aanvulling kan onvolledig zijn. Maar het maakt zichtbaar dat er meer was dan het eerste antwoord liet zien. En vaak is dat genoeg om te beseffen dat een expert moet meekijken.

Format-over-inhoud

Format-over-inhoud is het patroon waarbij de verpakking van de output meer belooft dan de inhoud waarmaakt. Generatieve AI-modellen blinken uit in structuur: kopjes, opsommingen, vergelijkingstabellen, een managementsamenvatting bovenaan. Bij menselijk werk is die structuur een signaal. Wie de moeite neemt om een rapport strak op te bouwen, heeft meestal ook over de inhoud nagedacht. Bij AI-output is dat signaal waardeloos, want structuur kost het model niets. Een rapport met zeven hoofdstukken ontstaat even moeiteloos als een slordige alinea. Het resultaat is een document dat oogt als degelijk werk, terwijl dezelfde drie punten in andere bewoordingen door de secties heen worden herhaald.

De herkenningsvraag: hoeveel staat hier werkelijk? Lees voorbij de opmaak en tel de inzichten die nieuw én onderbouwd zijn. Een toets die in de praktijk goed werkt: wat staat er in dit rapport dat niet al in de eigen vraag of briefing stond? Als het antwoord weinig is, heeft het format diepgang gesuggereerd die er niet is.

Selectieve weergave

Selectieve weergave is het patroon waarbij het AI-model een deel van het beeld presenteert alsof het het hele beeld is. Bij een onderwerp met meerdere kanten licht de output er één uit. Bij een afweging met voordelen en nadelen krijgt één kant het volle gewicht. Dat is geen opzet in de menselijke zin: het model selecteert op basis van patronen in de trainingsdata en op wat aansluit bij de vraag.

In dat laatste zit de adder. Het model buigt mee met de vraagsteller. Onderzoekers noemen dit gedrag sycofantie: de neiging van een AI-model om antwoorden af te stemmen op wat de gebruiker lijkt te willen horen. Wie vraagt “waarom is dit een goed plan?” krijgt een onderbouwing. Wie de eigen voorkeur in de vraag verwerkt, krijgt vaak een echo terug. De vraagstelling kantelt het antwoord, en de output vermeldt nergens dat er ook een andere kant was.

De herkenningsvraag: welke kant ontbreekt? Formuleer de vraag neutraal, zonder eigen voorkeur erin. En vraag expliciet om de sterkste tegenpositie: wat zou een criticus van dit plan zeggen? Een AI-model dat één perspectief uitlichtte, kan op die vraag meestal ook het andere perspectief leveren. Het kwam alleen niet uit zichzelf.

Verouderde informatie

Verouderde informatie is het patroon waarbij het AI-model kennis reproduceert die klopte op het moment van trainen, maar inmiddels is achterhaald. Een wet die is gewijzigd. Een bedrijf dat is overgenomen. De trainingsdata van een model hebben een afsluitdatum, en wat daarna gebeurde, komt in de patronen van het model niet voor.

Zoekfuncties en koppelingen met actuele bronnen verkleinen dit risico, maar lossen het niet op. Het model kan verouderde trainingskennis mengen met vers opgehaalde informatie, in één vloeiende tekst, zonder zichtbaar onderscheid tussen wat van gisteren is en wat van jaren terug. De lezer ziet één antwoord en kan niet zien welk deel uit welke tijd komt.

De herkenningsvraag: hoe oud is dit? Controleer bij feitelijke claims die kunnen verschuiven, zoals regelgeving, marktposities en technische mogelijkheden, wanneer de informatie voor het laatst is bevestigd. En vraag het model om actuele bronnen bij precies die claims.

De zes patronen verschillen in vorm, maar delen één eigenschap: geen ervan is zichtbaar aan de oppervlakte van de tekst. Vloeiend taalgebruik, strakke opbouw en stellige formuleringen zeggen niets over de vraag of de inhoud klopt. AI-output is nooit betrouwbaar omdat die er betrouwbaar uitziet. De gevaarlijkste fouten zijn dan ook niet de fouten die je ziet, maar de fouten die je niet ziet.

Wie de zes patronen kent, leest AI-output anders. Als materiaal dat beoordeling nodig heeft, zoals het werk van een capabele nieuwe collega in de eerste maand: bruikbaar, vaak goed, en altijd het nakijken waard. De zes herkenningsvragen maken dat nakijken behapbaar. Je hoeft een document van twintig pagina’s niet regel voor regel te wantrouwen. Je controleert gericht: de specifieke claims, de onderbouwing, wat er mist, wat er werkelijk staat, welke kant ontbreekt en hoe oud de informatie is.

De prijs van controle

Daar hoort één eerlijke kanttekening bij: die controle kost tijd, en de belofte van AI is juist tijdwinst. Die spanning lost niet vanzelf op. De rekensom valt per taak anders uit. Bij een eerste conceptversie die toch wordt herschreven, is een snelle blik genoeg. Bij een advies waar een klant op gaat varen, is grondige controle de prijs van het gereedschap. Herkennen is daarbij de eerste stap. De vervolgvraag is organisatorisch: wie beoordeelt wat, met welke kennis, en hoe voorkom je dat de controle verslapt naarmate de output vaker klopt? Dat is het terrein van de pagina Evaluatie van AI-output.

Een voorbeeld dat het kwartje laat vallen: in 2025 leverde Deloitte Australië een rapport op aan de Australische overheid. Een beoordeling van een IT-systeem voor handhaving in het sociale stelsel, 237 pagina’s, voor een honorarium van 440.000 Australische dollar. Het rapport zag eruit zoals een rapport van een groot adviesbureau eruit hoort te zien: heldere structuur, academische bronverwijzingen, een citaat uit een uitspraak van de federale rechter. De overheid nam het aan en publiceerde het op haar website.

Toen las een onderzoeker van de Universiteit van Sydney, gespecialiseerd in gezondheids- en welzijnsrecht, het rapport en deed wat vrijwel niemand doet: hij zocht de bronnen op. Meerdere academische publicaties bleken niet te bestaan. De auteursnamen waren van echte wetenschappers, de titels klonken plausibel, maar de werken waren verzonnen. Het citaat van de rechter was nooit uitgesproken. Deloitte erkende dat bij het opstellen een generatief AI-model was gebruikt, publiceerde een gecorrigeerde versie en betaalde een deel van het honorarium terug.

Het verhaal laat drie patronen tegelijk zien. Hallucinatie: verzonnen bronnen, plausibel genoeg om wekenlang onopgemerkt te blijven. Format-over-inhoud: de professionele verpakking wekte het vertrouwen dat de inhoud zelf had moeten verdienen. En schijnzekerheid: nergens in die 237 pagina’s stond een signaal dat een deel van de onderbouwing geen werkelijkheid achter zich had. De fouten waren alleen zichtbaar voor de ene lezer die de herkenningsvraag stelde: kan ik deze claim terugvinden?