De geschiedenis van AI

Hier zit een van de belangrijkste kantelmomenten in de hele AI-geschiedenis, en het wordt verrassend vaak over het hoofd gezien. Als symbolische AI vastliep op regels, dan moest de aanpak radicaal anders. Wat als een systeem zelf patronen kon ontdekken in voorbeelden, zonder dat een programmeur vooraf regels schreef?

Dat was de doorbraak van machine learning. In plaats van “als een e-mail het woord ‘gratis’ bevat, markeer als spam” werd het: “hier zijn honderdduizend voorbeelden van spam en honderdduizend van geen spam, vind zelf de patronen”. Het systeem leerde welke combinaties van woorden, afzenders en kenmerken op spam wezen. En toen er nieuwe vormen van spam opkwamen, paste het zich aan zonder dat iemand nieuwe regels hoefde in te tikken.

Die verschuiving veranderde alles. Voorheen kwam de intelligentie van de programmeur. Nu kwam ze uit de data. Voor taken als fraudedetectie, kredietbeoordeling en productaanbevelingen was machine learning vanaf de jaren negentig beter dan alles wat eraan voorafging. Maar voor het soort taken dat mensen instinctief doen, zoals een gezicht herkennen of een gesproken zin verstaan, bleef ook deze aanpak hangen. De patronen in beelden, spraak en taal zijn te complex en te gelaagd om met één laag patroonherkenning te vangen. Er was een aanpak nodig die met die gelaagdheid kon omgaan.

→ Lees meer: Van symbolische AI naar machine learning: de eerste fase

In 2012 viel het kwartje. Een team van de Universiteit van Toronto stuurde een neuraal netwerk met meerdere lagen naar een internationale beeldherkenningswedstrijd waar tot dan toe klassieke machine-learning-modellen domineerden. De foutmarge van hun systeem lag ruim 40 procent lager dan die van de beste bestaande methode. Niet een beetje beter. Een orde van grootte beter. Binnen een jaar was het hele vakgebied overgestapt op deep learning.

Het idee achter deep learning: stapel meerdere lagen patroonherkenning op elkaar. De eerste laag herkent randen, contrasten, kleurovergangen. De volgende laag combineert die tot vormen. De daaropvolgende herkent delen van objecten. De hoogste lagen herkennen complete betekenis. De term “deep” verwijst naar precies dit: de diepte van het netwerk, het aantal lagen. Hoe meer lagen, hoe complexer de patronen die het systeem kan herkennen.

Wat de doorbraak van 2012 mogelijk maakte was niet één uitvinding. Het was de samenkomst van drie dingen tegelijk: betere algoritmen, gigantische hoeveelheden data via het internet, en grafische processors die de zware berekeningen aankonden. Na decennia in de marge van het vakgebied werden neurale netwerken in één klap de standaard. In 2016 versloeg AlphaGo de wereldkampioen Go, een prestatie waarvan experts hadden voorspeld dat die nog minstens tien jaar weg was.

→ Lees meer: Deep learning: de doorbraak die alles veranderde

Deep learning had laten zien dat neurale netwerken enorme sprongen konden maken bij beeld, spraak en vertaling. Maar voor taal, het verwerken en produceren van complexe tekst, bleven de modellen tekortschieten. Het probleem zat in hoe ze met tekst omgingen. Eerdere netwerken lazen woord voor woord, van links naar rechts, en bij langere teksten raakten ze het overzicht kwijt. De informatie aan het begin van een alinea was al vervaagd tegen de tijd dat het model het einde bereikte. Dat was een fundamentele beperking, en jarenlang was er geen goede oplossing voor.

De transformer

In 2017 publiceerden onderzoekers van Google een paper met de provocerende titel “Attention is all you need”. Het beschreef een nieuw type netwerkarchitectuur: de transformer. In plaats van tekst woord voor woord te verwerken, keek de transformer in één keer naar alle woorden tegelijk en bepaalde voor elk woord welke andere woorden in de tekst er het meest toe deden. Waar het oude model een brief door een brievenbus las, legde de transformer de hele brief open op tafel.

Van architectuur naar een nieuwe categorie modellen

Dat klinkt als een technisch detail. Maar het opende de deur naar modellen die op een totaal andere schaal getraind konden worden, op hele documenten, hele bibliotheken, het grootste deel van de tekst die ooit op het internet is gepubliceerd. Daaruit ontstond een nieuwe categorie: foundation models. Brede modellen, getraind op een enorme verscheidenheid aan tekst, beeld of beide, die als basis konden dienen voor tientallen toepassingen zonder dat het hele model opnieuw getraind hoefde te worden. GPT, Claude, Gemini en alle huidige grote taalmodellen zijn foundation models, gebouwd op die transformer-architectuur.

→ Lees meer: Transformers en foundation models: de architectuursprong

Tot eind 2022 was het werk aan grote taalmodellen vooral een zaak van onderzoekers en gespecialiseerde bedrijven. GPT-3 bestond al sinds 2020 en was technisch een doorbraak, maar voor de meeste mensen was het een naam in een vakblad. Toen OpenAI op 30 november 2022 ChatGPT lanceerde, kantelde de wereld in een paar weken. Een miljoen gebruikers in vijf dagen. Honderd miljoen in twee maanden. Geen enkele consumententechnologie was ooit zo snel geadopteerd.

Eerdere AI-doorbraken, zoals de schaakcomputer Deep Blue tegen Kasparov in 1997 of AlphaGo tegen Lee Sedol in 2016, bleven binnen het onderzoekslab en de specialistische toepassingen. Deze golf landde op het bureau van elke kenniswerker. De modellen zijn breed inzetbaar, van tekst tot beeld tot code, en voor iedereen direct toegankelijk via een chatscherm zonder programmeerkennis. Die combinatie van technologische rijpheid en publieke toegankelijkheid is wat deze fase definieert.

Wat er sindsdien is gebeurd

En sindsdien gaat het snel. Modellen leerden meer modaliteiten te verwerken: tekst, beeld, audio en video. Er kwamen redeneermodellen die langer doordenken voor ze antwoorden. En de eerste AI-agents verschenen: systemen die naast het genereren van informatie ook zelfstandig stappen uitvoeren in software en werkprocessen. Dat dit alles binnen een paar jaar gebeurt, is geen toeval. Het is het tempo dat ontstaat wanneer een fundament eenmaal staat.

→ Lees meer: De huidige AI-golf: waarom deze anders is dan eerdere softwaregolven

Wij onderscheiden vijf fases in de geschiedenis van AI. Andere indelingen kennen meer of minder fases. Sommige onderzoekers behandelen symbolische AI en de eerste machine-learning-experimenten als één fase, andere splitsen de huidige golf op in een generatieve en een agentische subfase. De keuze voor vijf is bewust gemaakt, omdat dit aantal het verhaal helder houdt zonder belangrijke kantelmomenten weg te abstraheren.

De lagen stapelen zich op

Als je de vijf fases naast elkaar legt, valt een patroon op dat in de praktijk vaak over het hoofd wordt gezien. Elke fase voegde iets toe wat in de vorige niet kon. Symbolische AI bracht het idee dat machines redeneerstappen konden uitvoeren, al was die redenering star en gebonden aan regels die mensen hadden geschreven. Machine learning voegde daar iets wezenlijks aan toe: de regels hoefden niet meer van een programmeur te komen, ze konden uit data ontstaan. Deep learning bracht de gelaagdheid waardoor systemen ook complexe, ongestructureerde informatie als beelden, spraak en tekst konden verwerken. Transformers en foundation models brachten vervolgens de generalisatie: één breed model dat op tientallen verschillende taken inzetbaar was, zonder voor elke taak apart getraind te hoeven worden. En de huidige golf voegde daar het laatste stuk aan toe: redeneren over meerdere stappen, het combineren van modaliteiten, en de eerste agents die zelfstandig acties uitvoeren in software.

Hier zit het inzicht dat het vaakst wordt gemist: geen van die fases heeft de vorige vervangen. Ze stapelen zich op. Een spamfilter werkt vandaag nog steeds met machine learning. Een schaakprogramma is in de kern nog steeds regelgebaseerd. Medische beeldanalyse draait op deep learning. Wat erbij is gekomen, is telkens een nieuwe laag bovenop de eerdere lagen. En bovenop de huidige laag wordt al weer aan de volgende gewerkt. Wie dat patroon ziet, begrijpt waarom de komende jaren waarschijnlijk niet stilvallen.

Wie wil begrijpen wat AI precies is en welke taken AI-systemen uitvoeren, vindt dat bij Wat is AI precies? (cluster 1.1).

Wie wil zien wat de modellen die uit deze geschiedenis zijn voortgekomen vandaag concreet kunnen, leest verder bij Wat kunnen moderne AI-modellen? (cluster 1.3).

Wie wil begrijpen hoe een modern AI-model wordt opgebouwd via pretraining, posttraining en fine-tuning, en waarom dat inzicht helpt bij het beoordelen van wat AI wel en niet aankan, vindt dat bij de pillar Hoe wordt een AI-model gemaakt? (pillar 2).