RAG of fine-tuning?

Bedrijven die eigen kennis in een taalmodel willen stoppen, komen vroeg of laat bij dezelfde vraag uit: fijnafstellen (fine-tunen) we het model op onze data, of bouwen we retrieval eromheen (RAG)? Voor kennisdeling is het antwoord vrij consequent.

Het fundamentele verschil

Fine-tuning verandert de gewichten van het model: kennis wordt 'ingebacked' in parameters. RAG laat het model intact en geeft het toegang tot een zoekbare kennisbank op het moment van de vraag. Dat klinkt als een detail, maar heeft grote praktische gevolgen.

Waarom RAG wint bij kennisvragen

• Actualiteit: nieuwe documentatie indexeren is een update; nieuwe kennis in gewichten bakken betekent opnieuw trainen.
• Traceerbaarheid: RAG kan verwijzen naar de bronpassage; een getuned model citeert niets controleerbaars.
• Kosten: RAG-schaling is infrastructuur; hertrainen bij elke wijziging is structureel duurder.
• Toegangsbeheer: wie welke documentatie mag zien, regel je in retrieval; gewichten kennen geen rechten.
• Hallucinatiebeheersing: antwoorden gestoeld op gevonden passages zijn aantoonbaar beter grondvest dan 'onthouden'.

Wanneer fine-tuning wél zin heeft

Fine-tuning gaat niet primair over kennis, maar over gedrag en vorm: vaste outputformaten, huisstijl van taal, specifieke classificatiegrenzen, domeinspecifieke terminologie consistent toepassen. Ook bij compacte lokale modellen kan tuning helpen om een taak met beperkte middelen goed uit te voeren. Maar zodra de vraag is 'weet ons systeem wat er in onze documenten staat', is fine-tuning doorgaans de verkeerde tool.

Combinaties zijn mogelijk

In de praktijk sluiten ze elkaar niet uit: een licht getund model dat strikt de huistijl volgt, gecombineerd met RAG voor de feitelijke onderbouwing, komt voor. De bouwvolgorde blijft echter: eerst retrieval goed krijgen, pas daarna tuning overwegen — anders optimaliseer je gedrag boven feiten.