Vijf best practices voor een betrouwbare vroege raming en risico-inschatting

Waarom een Monte Carlo simulatie alleen onvoldoende is

Een betrouwbare vroege raming verbindt projectkennis met historische ervaring en toetsing van de voorspelde onzekerheid. Dat helpt opdrachtgevers om investeringskeuzes beter te onderbouwen en hun ramingsproces gericht te verbeteren. De basis voor zo’n lerende organisatie ontstaat wanneer oorspronkelijke verwachtingen zichtbaar blijven en systematisch worden vergeleken met wat daadwerkelijk gebeurt.

Monte Carlo simulaties worden traditioneel vaak ingezet om onzekerheden door te rekenen. In de praktijk ontbreekt echter vaak de onderbouwing van de onderliggende aannames. Daardoor kan een Monte Carlo-analyse een vals gevoel van zekerheid geven en leiden tot slecht onderbouwde voorspellingen. Meer simulatieruns lossen een gebrek aan empirische onderbouwing niet op.

De volgende vijf best practices richten zich op het verbeteren van de aannames. Ze verbinden het inzicht van het projectteam met externe gegevens, meetbare voorspelkwaliteit en terugkoppeling uit de praktijk. Zo kan een organisatie stap voor stap objectiever ramen en leren waar haar verwachtingen bijstelling vragen.

1 Projectkennis verbinden met historische uitkomsten

Een technische kostenopbouw en risicosessie maken zichtbaar hoe een project is samengesteld, welke onzekerheden het team herkent en welke beheersmaatregelen mogelijk zijn.

Een vergelijking met relevante eerdere projecten voegt een empirische toets toe:
 – Passen de verwachte kosten en bandbreedte bij wat in vergelijkbare situaties is gerealiseerd?

Reference Class Forecasting geeft deze vergelijking structuur. Daarbij zijn de ramingsfase, kostendefinitie, het prijspeil en de behandeling van scopewijzigingen bepalend voor de vergelijkbaarheid. Afwijkingen van de referentieklasse vormen een aanleiding om aannames te onderzoeken. Een aantoonbaar gunstiger project mag gunstiger worden geraamd; de onderbouwing daarvan wordt expliciet.

Deze externe blik voorkomt dat overeenstemming binnen het projectteam de enige grond voor vertrouwen wordt. Ook wanneer de beschikbare gegevens beperkt zijn, maakt de vergelijking duidelijk welke verwachtingen steun vinden in eerdere ervaring en waar het oordeel nog sterk op aannames rust.

2 De reikwijdte van de onzekerheidsanalyse zichtbaar maken

Een bruikbare risico-inschatting maakt duidelijk welke kosten en veranderingen de voorspelling omvat. Dat betreft ook onzekerheid rond nog onbekende werkzaamheden, scopeontwikkeling en samenhang tussen vertraging, prijzen en financiering.

De kwaliteit daarvan zit in hun onderbouwing en in het zichtbaar maken van onzekerheden waarvoor nog onvoldoende informatie bestaat. Historische prijs en projectuitkomsten kunnen helpen beoordelen of de totale bandbreedte aannemelijk is. Daarbij verdient overlap tussen empirische afwijkingen en afzonderlijke risico-opslagen aandacht om dubbeltelling te voorkomen.

Ook macro-economische onzekerheden verdienen een contextafhankelijke onderbouwing. Risicoprofielen voor bijvoorbeeld inflatie en rente kunnen worden afgestemd op de economische omstandigheden waaronder het project wordt uitgevoerd. Door deze profielen te verbinden met de kostenopbouw, planning en financiering van het project, wordt zichtbaar hoe macro-economische ontwikkelingen doorwerken in de totale kostenverdeling.

3 Voorspelde kansen toetsen aan gerealiseerde uitkomsten

Een P80-raming kent 80% kans toe aan kosten op of onder het genoemde bedrag. De praktische betekenis daarvan wordt sterker wanneer de organisatie onderzoekt hoe vaak vooraf vastgelegde P80-ramingen de realisatie daadwerkelijk afdekken. Zo wordt zichtbaar of de uitgesproken zekerheid overeenkomt met de waargenomen prestaties.

Die toets gebruikt projecten die buiten de ontwikkeling en afstelling van het model zijn gehouden. Bij historische backtests telt uitsluitend informatie die tot het oorspronkelijke ramingsmoment beschikbaar was. Ook de selectie van referentieprojecten behoort tot de procedure die wordt getoetst. Daarmee blijft kennis achteraf buiten de voorspelling.

Empirical coverage laat zien hoe vaak de uitkomst onder een voorspelde grens bleef. Samen met steekproefonzekerheid, de scherpte van de voorspellingen en pinball loss voor de voorspelde kwantielen ontstaat een vollediger beeld van de kwaliteit. Een eenvoudige historische benchmark maakt zichtbaar wat een complexer model toevoegt. [6] Bij weinig waarnemingen blijft de conclusie voorlopig; ook dat is nuttige informatie over de onderbouwing van de raming.

4 Oorspronkelijke ramingen verbinden met latere uitkomsten

Een organisatie leert van ramingen wanneer de oorspronkelijke verwachting beschikbaar blijft, met beslisdatum, scope en aannames. Nieuwe ramingen worden als nieuwe versies vastgelegd. Daardoor kan zowel de actualiteit van het huidige kostenbeeld als de kwaliteit van eerdere investeringsinformatie worden beoordeeld.

Die vergelijking reikt verder dan de vraag of een project binnen het laatst goedgekeurde budget is gebleven. Een project kan dat budget respecteren terwijl de vroege kostenverwachting sterk afweek. Door elke relevante ramingsversie te verbinden met de realisatie worden zulke verschillen zichtbaar en kunnen terugkerende patronen worden onderzocht.

Een consistente registratie onderscheidt onder meer prijsveranderingen, scopewijzigingen en andere oorzaken. Ook stopgezette projecten krijgen een herkenbare plaats. De uitkomsten voeden vervolgens nieuwe referentieklassen en modelverbeteringen. Zo groeit projectadministratie uit tot een gegevensbasis waarmee de organisatie haar ramingskwaliteit kan volgen en daarvan kan leren. [7]

5 Beginnen met inzicht en van daaruit verbeteren

De eerste stap is een gedeeld beeld van wat de huidige ramingen laten zien en hoe zij in de praktijk presteren. Dat kan beginnen met een afgebakende groep projecten waarvoor vroege ramingen en realisaties beschikbaar zijn. Een vergelijking met historische referenties maakt zichtbaar waar de eigen verwachtingen aansluiten, waar zij afwijken en welke gegevens ontbreken.

Daarvoor moeten de hoofdkenmerken, ramingen en uiteindelijke kosten van die projecten voldoende navolgbaar zijn om verwachtingen en uitkomsten zinvol te vergelijken. Niet alle gegevens hoeven vooraf volledig of foutloos te zijn. Voorspelmodellen helpen juist om gericht te onderzoeken waar verbetering nodig is. [8] Een grote voorspellingsafwijking kan wijzen op een vastleggingsfout, een verschil in kostendefinitie of een ontbrekend projectkenmerk. Ook de gekozen modelvorm kan tekortschieten. Door verschillende modellen en combinaties van gegevens te toetsen en afwijkingen met projectteams te onderzoeken, ontstaat inzicht in mogelijke oorzaken. [9]

Zo krijgen datacorrectie, dataverrijking en modelverbetering richting vanuit hetzelfde doel: betrouwbare vroege ramingen en risico-inschattingen. De verwachte bijdrage aan dat doel, afgewogen tegen de kosten van verbetering, helpt de prioriteiten bepalen. Toetsing op projecten buiten de ontwikkeling en afstelling van het model laat vervolgens zien of de aanpassingen daadwerkelijk betere voorspellingen opleveren. [10] Daarmee ontstaat een lerend proces waarin gegevens en ramingen samen verbeteren.

Internationale kaders ondersteunen objectiever ramen

Optimism bias betreft te gunstige verwachtingen van kosten, doorlooptijd of baten. Historische vergelijking helpt vaststellen of ramingen systematisch afwijken van de realisatie. Verschillende landen geven deze toets een concrete plaats in hun beoordelingskaders.

Het Verenigd Koninkrijk verlangt in het Green Book 2026 expliciete correcties voor optimism bias vanaf de start van de beoordeling. Historische ramingsfouten bij vergelijkbare voorstellen vormen daarvoor de basis; generieke correcties zijn beschikbaar wanneer eigen bewijs ontbreekt. Zo wordt eerdere ervaring onderdeel van de onderbouwing van nieuwe investeringen. [1]

In Ierland beschrijft Transport Infrastructure Ireland hoe Reference Class Forecasting naast projectspecifieke kwantitatieve risicoanalyse wordt gebruikt bij nationale wegenprojecten. Het Cost Management Manual benoemt RCF expliciet als middel tegen optimism bias en strategische vertekening. De uitkomsten worden meegewogen bij doelkosten en budgetten, met vastlegging van de gemaakte afweging. [2]

Denemarken introduceerde Ny Anlægsbudgettering nadat bestaande ramingsmethoden, inclusief onzekerheidsanalyses, de uiteindelijke kosten onvoldoende bleken te voorspellen. Het stelsel combineert ervaringsgerichte correctietoeslagen met externe kwaliteitsborging voor grotere weg- en spoorprojecten. Daarmee krijgt het tegengaan van systematische onderschatting een plaats in het besluitvormingsproces. [3]

Australië heeft binnen de ATAP-richtlijnen een afzonderlijke aanpak voor optimism bias. Vergelijking met eerdere projecten, onafhankelijke beoordeling en procesverbetering staan centraal. Generieke opslagen gelden er niet als primaire oplossing; ook de oorzaken en prikkels achter vertekende ramingen krijgen aandacht. [4]

Realistisch ramen ondersteunt de verdeling van middelen

Empirische onderbouwing helpt om zowel onderschatting als overbegroting te onderzoeken. De Deense rekenkamer signaleerde in 2019 omvangrijke onbenutte bedragen bij onderzochte wegprojecten. Eerdere problemen met budgetoverschrijdingen waren aangepakt, maar middelen bleven te lang gebonden. [5] Het doel is daarom een realistische kostenverdeling waarmee ook de benodigde reserves beter kunnen worden onderbouwd.

Een empirische basis voor een lerende organisatie

De kwaliteit van een empirisch model hangt af van relevante referenties, navolgbare keuzes en toetsing op projecten buiten de ontwikkeldata. Selectie, ontbrekende uitkomsten en veranderde omstandigheden blijven daarbij aandacht vragen. Een lerend proces maakt zichtbaar wanneer nieuwe gegevens aanleiding geven om aannames of modellen bij te stellen.

Met Predictive Reference Class Retrieval richt Asset Mechanics zich op het selecteren van historische gevallen op basis van hun voorspellende relevantie. [11] De bijdrage daarvan kan worden beoordeeld door de voorspellingen te vergelijken met bestaande werkwijzen op dezelfde, vooraf afgebakende toetsprojecten. Zo wordt inzichtelijk welke verbetering de methode voor een bepaalde toepassing oplevert en waar onzekerheid blijft bestaan.

Een objectievere raming ontstaat door projectkennis, empirische vergelijking en validatie met elkaar te verbinden. De organisatie leert wanneer zij ook vastlegt wat zij verwachtte, onderzoekt wat er gebeurde en die kennis gebruikt bij het volgende besluit.

Bronnen

De bronnen ondersteunen de beschreven methoden en landenvoorbeelden.

[1] HM Treasury — The Green Book 2026
Zie de onderdelen over optimism bias en de toepassingssfeer van het beoordelingskader.

[2] Transport Infrastructure Ireland — Cost Management Manual — december 2020
PE-PMG-02044, bijlage B1.1.10.1, gedrukte pagina’s 58–59. Betreft nationale wegenprojecten binnen de toepassingssfeer van TII.

[3] Deens transportministerie — Ny anlægsbudgettering
Officiële overzichtspagina met het besluit Akt 16 uit 2006 en het hoofdnotitie-document uit 2024. Beschrijft ervaringsgerichte correcties en externe kwaliteitsborging voor weg- en spoorprojecten.

[4] Australian Transport Assessment and Planning Guidelines — O2 Optimism Bias
Zie gedrukte pagina’s 3 en 5–7 over procesverbetering, vergelijking, onafhankelijke beoordeling en referentieklassen.

[5] Rigsrevisionen — Budgetteringen af Vejdirektoratets vejprojekter — 2019
Onderzoek naar 32 afgeronde wegprojecten. De bevindingen illustreren het belang van het voorkomen van overbegroting.

[6] Gneiting en Raftery 2007 — Strictly Proper Scoring Rules Prediction and Estimation
Methodologische basis voor het beoordelen van probabilistische voorspellingen en kwantielen.

[7]: Algemene Rekenkamer, Resultaten verantwoordingsonderzoek 2022 — Ministerie van Infrastructuur en Waterstaat, gepubliceerd 17 mei 2023, §4.5.1, gedrukte pagina 22.

[8] Andrew Ng — Data-Centric AI Development, Part 3: Limit Data Collection Time
Beschrijft de iteratie van modeltraining, foutenanalyse en gericht bepalen welke aanvullende data nodig zijn.

[9] Microsoft — Error Analysis
Beschrijft hoe onderzoek naar foutieve voorspellingen kan helpen om ontbrekende kenmerken, fouten in labels en ondervertegenwoordigde groepen te identificeren.

[10] scikit-learn — Cross-validation: evaluating estimator performance
Onderbouwt de toetsing op gegevens buiten de modelontwikkeling. Ook featureselectie en andere datatransformaties moeten binnen de ontwikkelprocedure blijven om een onafhankelijke beoordeling mogelijk te maken.

[11] Asset Mechanics — Predictive Reference Class Retrieval