Reference Class Forecasting – wat is ‘vergelijkbaar’?

Estimated reading time: 7 minuten

In dit artikel duiken we in Reference Class Forecasting (RCF), oftewel voorspellen met referentieklassen. Een ‘referentieklasse’ verwijst naar een groep eerdere situaties die voldoende vergelijkbaar zijn met het voorliggende vraagstuk. De waargenomen uitkomsten van de historische gevallen vormen een fundamentele, empirische basis voor een betrouwbare voorspelling. Het is een belangrijke methode die ons helpt bij het maken van contextafhankelijke voorspellingen. Als we deze methode zorgvuldig toepassen, helpt het ons om de verwachte kosten en risico’s van een business case of complex project empirisch onderbouwd te voorspellen.

RCF is nauw verwant aan benchmarking, peer-group analyses en precedentenonderzoek. Al die methoden leunen op informatie uit het verleden om een huidige beslissing te onderbouwen; RCF plaatst dit expliciet in een voorspellend kader op basis van de werkelijke uitkomsten van de gekozen referentiegroep.

Mensen leren door voorbeelden

Om de beste volgende stap in een specifieke situatie te bepalen, helpen concrete voorbeelden. Stel dat we data hebben over 20 vergelijkbare situaties en vaststellen dat een bepaalde keuze goed uitpakte in 18 gevallen (90%). Dan hebben we over het algemeen meer vertrouwen in die keuze dan wanneer die keuze in 11 van de 20 gevallen (55%) goed uitpakte. De historische gevallen bieden een empirische basis voor de beslissing, waarbij de uiteindelijke actie ook afhangt van onze houding tegenover risico. In het artikel over risicoaversie gaan we daar verder op in.

Het belang van Reference Class Forecasting

Wanneer we geconfronteerd worden met complexe projecten waarmee we weinig tot geen persoonlijke ervaring hebben, proberen we ons vaak voor te stellen hoe de gebeurtenissen zich zullen ontvouwen. We maken dan een inschatting die sterk leunt op ons beeld van het specifieke doel, maar het blijkt dat mensen in dergelijke situaties systematisch te optimistisch zijn. Daniel Kahneman beschrijft dit als de planning fallacy en maakt hierbij het cruciale onderscheid tussen de “inside view” en de “outside view”. ¹

• In de ‘inside view’ focussen we ons op de specifieke case, het doel en het gewenste succes. Vaak overschatten we daarbij de opbrengsten, en onderschatten de kosten, waarbij we de gevolgen van onzekerheden en mogelijke tegenvallers over het hoofd zien. Dit is een belangrijke reden waarom projecten buiten hun budget treden of de geplande deadlines overschrijden.

• In de ‘outside view‘ vertrouwen we juist niet op onze eigen verbeelding, maar focussen we ons op data van vergelijkbare historische situaties. Door een verzameling van de meest vergelijkbare gevallen samen te stellen en hun uitkomsten te analyseren, verkrijgen we een empirisch onderbouwde prognose² en kansverdeling van de mogelijke uitkomsten van de mogelijke uitkomsten. Met andere woorden: een goede referentieklasse biedt een empirische ‘outside view’ die helpt om zowel de verwachte uitkomst als het bijbehorende risico nauwkeurig te voorspellen.

Het reference class problem: wat is werkelijk vergelijkbaar?

Hoewel de voordelen van een ‘outside view’ duidelijk zijn, stuit traditionele RCF op een fundamenteel probleem: het reference class problem ³. Hoe bepalen we welke historische projecten werkelijk vergelijkbaar zijn met het project dat nu op tafel ligt?

Als de definitie voor vergelijkbaarheid aan de start al rammelt, zal de statistische voorspelling eveneens rammelen—ongeacht hoe geavanceerd de wiskundige formules erachter zijn. In de praktijk uit zich dit op twee manieren in menselijke subjectiviteit:

• Vooraf gedefinieerde criteria (Predefined Criteria): Vergelijkbaarheid wordt vooraf bepaald op basis van globale kenmerken waarvan analisten verwachten dat ze ertoe doen. Die verwachting is op zichzelf nog geen empirisch bewijs van voorspellende relevantie.
• Ondergespecificeerde klassen (Under-specified Classes): Het dwingen van unieke projecten in rigide categorieën vermengt verschillende risicoprofielen. Dit vertekent de berekende budgetreserves (uplifts) en risicopercentielen voor het specifieke project.

De traditionele aanpak: handmatig filteren op projectkenmerken

In de standaardpraktijk proberen analisten dit probleem op te lossen door handmatig databases te filteren op basis van direct zichtbare projectkenmerken. Men sorteert historische projecten dan in brede, vaste categorieën (static buckets) op basis van:

• Projectomvang en capaciteit: Bijvoorbeeld het selecteren van projecten met een vergelijkbaar aantal kilometers spoor, aantal stations of initiële budgetten.
• Fysieke complexiteit: Filteren op technische eigenschappen, zoals het aandeel ondergrondse bouw (tunnels) of het type constructie.
• Geografische ligging: Projecten groeperen in dezelfde regio liggen of een vergelijkbare stedelijke dichtheid hebben.

Waar het handmatig misgaat:

Bij deze methode moet een analist vooraf zelf beslissen welke kenmerken de doorslag geven voor de selectie. Dit proces is daardoor sterk afhankelijk van het oordeel en de aannames van de analist. Dit maakt de selectie kwetsbaar voor onbewuste cherry-picking (projecten kiezen die de bestaande verwachting bevestigen) en voor een indeling die relevante contextverschillen negeert.

Bovendien worden overkoepelende risicofactoren—zoals dynamische marktomstandigheden, macro-economische verschuivingen (inflatie, rentestanden) of specifieke omgevingsfactoren—vrijwel volledig over het hoofd gezien, simpelweg omdat ze niet in de standaard administratieve ‘projectstempel’ passen. Standaardindices kunnen achterlopen, missen projectspecifieke context en geven op zichzelf geen inzicht in de kans en omvang van toekomstige tegenvallers.

De Stap Voorwaarts: Predictive Reference Class Retrieval (Predictive RCR)

Om de subjectiviteit van vergelijkbare situaties te elimineren, zet Asset Mechanics met Predictive Reference Class Retrieval (Predictive RCR) een fundamentele stap voorwaarts in het voorspellen met referentieklassen.

In plaats dat analisten vooraf zelf moeten gissen welke projectkenmerken relevant zijn, voedt u de engine simpelweg met een brede en rijke set aan data—variërend van fysieke projectkenmerken tot omgevingsfactoren en macro-economische indicatoren zoals rente en inflatie. De engine zoekt vervolgens zelfstandig naar de optimale combinatie van kenmerken die situaties oplevert waarvan de vergelijkbaarheid aantoonbaar voorspellende waarde heeft.

• Geautomatiseerde feature selectie: Omdat de engine zelfstandig zoekt naar de optimale combinatie van kenmerken (features), kunt u alle beschikbare data in het model laden. Het algoritme scheidt de ruis van de echte voorspellende signalen. Als blijkt dat lokale bodemgesteldheid of specifieke marktcondities een grotere voorspellende waarde hebben dan de brede projectcategorie, past het model de referentieklasse hier automatisch op aan.
• Empirische validatie via out-of-sample toetsing: Dit is geen ‘black box’ die zomaar verbanden verzint. Elk geselecteerd kenmerk en elke samengestelde referentieklasse wordt streng out-of-sample getoetst. De engine simuleert de voorspelling uitsluitend met informatie die destijds écht beschikbaar was en controleert de nauwkeurigheid op historische projecten waarvan de uitkomst al bekend is. Dit levert auditeerbare, controleerbare en statistisch onderbouwde validatieresultaten voor accountants en toezichthouders.

Van vergelijkbare situaties naar onderbouwde projectrisico’s in 4 stappen:

1. Breng de beschikbare informatie samen: Verzamel relevante kenmerken van het project, historische projectgegevens, omgevingsfactoren, en macro-economische indicatoren, zoals rente en inflatie, die van invloed kunnen zijn op de kosten, doorlooptijd en risico’s.
2. Identificeer voorspellend vergelijkbare situaties: Onderzoek welke kenmerken en combinaties daarvan aantoonbaar voorspellende waarde hebben. Selecteer op basis daarvan historische situaties die voor het specifieke project daadwerkelijk relevant zijn.
3. Bepaal de verwachte uitkomsten en onzekerheden: Gebruik de geselecteerde vergelijkbare situaties om prognoses en bijbehorende kansverdelingen op te stellen. Zo ontstaat inzicht in zowel de verwachte uitkomsten als de kans en omvang van mogelijke afwijkingen.
4. Bepaal het totale projectrisico: Combineer de relevante risico’s en houd daarbij expliciet rekening met onderlinge afhankelijkheden. Dit vormt de basis voor onderbouwde budget- en planningsreserves, afgestemd op het gewenste zekerheidsniveau.

Vergelijkingstabel: Voorspellingsmethodieken

Kenmerk	Traditionele RCF	Standaard ML / LLM	Predictive RCR
Selectie van vergelijkbare situaties	Vooraf gedefinieerd door de analist	Geleerde verbanden, zonder expliciete toetsing op voorspellende vergelijkbaarheid van de referentieklasse.	Op basis van aantoonbare out-of-sample voorspellende vergelijkbaarheid
Basis voor voorspelling	Uitkomsten van een vooraf gekozen referentieklasse	Uit data geleerde modelpatronen	Historische uitkomsten van een project-specifieke referentieklasse
Controleerbaarheid van de referentieklasse (audit)	Ja, inzicht in geselecteerde historische projecten	Nee (‘Black box’)	Ja, inzicht in geselecteerde historische projecten en hun voorspellende vergelijkbaarheid
Risicostatistieken	Empirische verdeling van de gekozen referentieklasse	Afgeleid uit het model	Empirisch onderbouwde, contextspecifieke kansverdeling

Toepassingen van voorspellen met referentieklassen

Onderzoek naar grote infrastructuurprojecten in het Verenigd Koninkrijk laat zien dat de toepassing van Reference Class Forecasting gepaard gaat met aanzienlijk lagere gemiddelde kostenoverschrijdingen. Deze resultaten hebben echter betrekking op de realisatie fase, de periode nadat projecten volledig waren ontworpen. ^{4 5}

Met Predictive Reference Class Retrieval (Predictive RCR), maken we betrouwbare ramingen en risicovoorspellingen ook in vroege projectfasen mogelijk.

We passen deze aanpak inmiddels met aantoonbaar succes toe op uiteenlopende complexe vraagstukken, variërend van:

• vroege kostenramingen voor dijkversterkingen
• contextafhankelijk grondexploitatierisico
• regime-afhankelijk renterisico

De voorspellende prestaties zijn in deze toepassingsgebieden empirisch gevalideerd en gedocumenteerd in onzeSystem Cards RCF-AI.

Benieuwd hoe AI-gedreven Reference Class Forecasting (RCF-AI) snellere, en beter controleerbare risico-inschattingen mogelijk maakt voor uw specifieke context? Boek een demo! We laten u graag zien hoe u met voorspellende vergelijkbare situaties tot beter onderbouwde risicovoorspellingen komt.

Voetnoten

1. Voor voorbeelden van de planningsfout, als gevolg van het niet meenemen van de ‘outside view’, zie ook: Daniel Kahneman ‘Ons feilbare denken’ hoofdstuk 23 ‘het externe gezichtspunt’ . ↩︎
2. Dezelfde principes liggen ook ten grondslag aan de methoden die recent in artificial intelligence algoritmes worden gebruikt om beter te voorspellen. Zie ook: Vaswani (2018): ‘Attention is all you need’. Wij passen dit principe breder toe en voorspellen niet alleen de verwachting maar ook het risico. ↩︎
3. Reichenbach, H. (1949). The Theory of Probability: An Inquiry into the Logical and Mathematical Foundations of the Calculus of Probability. University of California Press. ↩︎
4. Connoly, J. and Newman F. 2023. Spending Review 2023: An Analysis of Cost Forecasting in Major Capital Projects & Programmes. National Investment Office, Government of Ireland ↩︎
5. Park, J.E. 2021. Curbing cost overruns in infrastructure investment: Has reference class forecasting delivered its promised success?. European Journal of Transport and Infrastructure Research. 21, 2 (Jun. 2021), 120–136. DOI:https://doi.org/10.18757/ejtir.2021.21.2.5504. ↩︎

---