Estimated reading time: 6 minuten
In dit artikel kijken wij naar het voorspellen met behulp van referentieklassen. Deze methode gebruikt een verzameling van eerdere situaties die voldoende vergelijkbaar zijn. We verkrijgen een voorspelling door de range van de uitkomsten van die verzameling te bekijken. Het is een belangrijke methode die ons helpt bij het maken van context-afhankelijke voorspellingen. Wij gebruiken deze continu in ons dagelijks leven. En wanneer adequaat toegepast kunnen wij deze ook goed gebruiken om het verloop van een business case of project te voorspellen. Het lijkt op het begrip ‘benchmark analyse’ of ‘benchmarking’ wat vaak in een investeringscontext wordt gebruikt. Ook heeft het enige verwantschap met de term ‘precedenten onderzoek’ zoals die in de architectuur en juridische praktijk wordt gebruikt. Het helpt ons niet alleen bij het voorspellen van de verwachte waarde maar ook van het risico daarop.
Mensen leren door middel van voorbeelden
Mensen zijn in staat om zich relatief snel een nieuw onderwerp, vaardigheid of vak eigen te maken. Dit doen wij in het algemeen door te leren van ervaringen en voorbeelden. Met voldoende vergelijkbare voorbeelden kunnen wij vaststellen wat er in de praktijk onder verschillende situaties kan gebeuren en wat het beste werkt. Veel mensen leren bijvoorbeeld lopen, fietsen, een sport, taal of een muziekinstrument door gebruik te maken van dit soort voorgedefinieerde mechanismen die duidelijk succesvol blijken te zijn.
Om de beste vervolgstap in een specifieke situatie te bepalen, helpt het enorm als we voorbeelden hebben van vergelijkbare situaties. Als we bijvoorbeeld 20 vergelijkbare situaties kennen, en weten dat een specifieke keuze in 18 van de 20 keer (90%) goed uitpakt, dan zijn we eerder geneigd om ook die keuze te nemen. Maar, als die in 11 van 20 keer (55%) goed uitpakt, dan zijn we vaak veel terughoudender. Over het algemeen speelt ons risicomijdende gedrag een belangrijke rol bij het nemen van beslissingen. In het artikel over risicoaversie gaan we daar verder op in.
Het belang van voorspellen met referentieklassen
Veel keuzes in onze dagelijks leven maken we op de automatische piloot maken. Zelfs in onverwachte situaties kunnen wij ons aanpassen zonder er veel over na te denken. Dit komt omdat wij hebben geleerd wat de risico’s van de onderliggende drivers zijn en weten wat we het beste in de huidige situatie kunnen doen.
Maar, we worden soms ook geconfronteerd met situaties waarin we nog niet zoveel ervaring hebben. Vaak proberen we ons dan voor te stellen wat er zou kunnen gebeuren en een inschatting op gevoel te maken. Het blijkt dat mensen dan vaak te optimistisch plannen. Daniel Kahneman noemt dit de planningsfout en beschrijft dit als het verschil tussen de ‘inside’ en de ‘outside view’. Oftewel, het ‘interne en het externe gezichtspunt’. 1
In de ‘inside view’ zijn we, als betrokkenen, geneigd te focussen op het doel, op het gewenste succes. Vaak overschatten we daarbij baten en onderschatten kosten, waarbij we de gevolgen van onze bias niet goed overzien. Vaak blijkt dat daardoor veel projecten niet binnen de gestelde begroting en tijd kunnen worden gerealiseerd.
In de ‘outside view’ laten we ons veel minder leiden door ons eigen voorstellingsvermogen, en baseren ons zoveel op data van vergelijkbare situaties. Door een verzameling van de best vergelijkbare gevallen en de uitkomsten daarvan te creëren, verkrijgen we een voorspelling2 en kansverdeling waarmee we het risico beter kunnen voorspellen. Feitelijk maken we een analyse van de referentie klasse of de benchmark.
Hoe maken we een referentieklasse?
Als we een nieuwe business case of project beoordelen, willen we eerst zoeken naar voldoende andere ‘vergelijkbare’ projecten. Soms zijn die niet direct voorhanden. Dat hoeft geen deal-breaker te zijn.
Om te weten of iets ‘vergelijkbaar’ is, willen we met name weten wat 1) de belangrijkste risicofactoren in een project zijn en 2) referentieklassen voor deze risicofactoren creëren. Het verzamelen van voldoende vergelijkbare gevallen stelt ons in staat om een schatting van de verwachting en het risico op die risicofactoren te verkrijgen.
Voorbeelden van referentieklassen op risicofactoren
- Als het project gevoelig is voor inflatie willen we zoeken naar vergelijkbare perioden die iets kunnen zeggen over de toekomstige inflatie en het risico daarop.
- Als het project gevoelig is voor financieringskosten willen we weten wat het renterisico is in vergelijkbare situaties.
- Als het project gevoelig is voor toekomstige aan/verkoop van grond, dan willen we weten wat in vergelijkbare macro-economische regimes kan gebeuren.
- Als een bouwproject in een dichtbebouwde wijk bestaat het risico dat omwonenden bezwaar aantekenen er meerkosten gemaakt moeten worden, dan is nuttig om data te verzamelen over de mogelijke gevolgen van soortgelijke situaties.
- Of, als het aantal bezoekerseen belangrijke factor is voor een project, dan is het nuttig om een referentieklasse of benchmark te vormen van soortgelijke projecten met vergelijkbare kenmerken.
Bij sommige risicofactoren zoals rente, inflate en grondprijzen kunnen we gebruik maken van openbare data. Met behulp van de regime-methode selecteren wij vervolgens de meest vergelijkbare jaren om een geschikte referentieklasse te bepalen. Bij andere risicofactoren moeten we misschien misschien wat meer zoekwerk verrichten. Soms kunnen jaarverslagen van vergelijkbare projecten ons informatie geven en in andere situaties kunnen we data van andere bronnen verzamelen.
Voorspellen met referentieklassen – Samenvatting
Nadat we de belangrijkste risicofactoren hebben geïdentificeerd en daarvoor de relevante referentieklassen hebben gedefinieerd kunnen we een goede kwantitatieve risico inschatting voor het hele project verkrijgen. Samenvattend volgen we daarbij de volgende stappen:
Hoe verkrijg ik een risico inschatting met behulp van referentieklassen?
- Identificeer de belangrijkste risicofactoren
Identificeer de belangrijkste onderliggende risicofactoren waarvoor het project gevoelig is.
- Creëer een referentieklasse voor iedere risicofactor:
Verzamel voor iedere onderliggende risicofactor voldoende historische data en selecteer daaruit voldoende relevante en vergelijkbare observaties om een robuuste referentieklasse te vormen.
- Voorspel de verwachte waarde en het risico
Verkrijg met behulp van de distributie van de referentieklassen een voorspelling van de verwachting en het risico voor elke risicofactor.
- Bereken het totale risico
Aggregeer de risico’s waarbij de correlatievoordelen worden meegenomen.
Toepassingen van voorspellen met referentieklassen
In dit artikel hebben we gezien dat het creëren van referentieklassen of benchmarking ons helpt om een objectieve ‘outside view’ te verkrijgen. Ook zagen we dat het belangrijk is om ons te richten op de belangrijkste risicofactoren. Dit stelt ons niet alleen in staat om betere voorspellingen te maken, maar ook om het risico beter te bepalen.
Voorspellen met referentieklassen wordt succesvol toegepast in het Verenigd Koninkrijk bij het meten van hetrisico op grote infrastructuur projecten3. Daarbij blijkt dat de gemiddelde kostenoverschrijding sinds de introductie van voorspellen met referentieklassen van 38% naar 5% is afgenomen.4
Ook onze modelvalidatieslaten zien dat deze methode tot duidelijke verbeteringen leidt in onze modellen. Zij passen zich beter aan de context aan, de modelkosten worden lager en het risico wordt nauwkeuriger ingeschat.
In de loop van de jaren hebben wij deze methodiek in verschillende projecten toegepast en steeds verder verfijnd. Inmiddels passen wij deze toe op een brede range van risicofactoren. Denk bijvoorbeeld aan kwantitatieve risico analyses op grote projecten, de berekening van regime-gebaseerd grondexploitatie-risico en regime-afhankelijk renterisico.
Bent u ook geïnteresseerd in context afhankelijke voorspellingen,laat dit ons weten! Graag laten we zien hoe data gedreven analyses ook uw organisatie kunnen helpen om het risico te voorspellen.
Voetnoten
- Voor voorbeelden van de planningsfout, als gevolg van het niet meenemen van de ‘outside view’, zie ook: Daniel Kahneman ‘Ons feilbare denken’ hoofdstuk 23 ‘het externe gezichtspunt’ . ↩︎
- Dezelfde principes liggen ook ten grondslag aan de methoden die recent in artificial intelligence algoritmes worden gebruikt om beter te voorspellen. Zie ook: Vaswani (2018): ‘Attention is all you need’. Wij passen dit principe breder toe en voorspellen niet alleen de verwachting maar ook het risico. ↩︎
- Connoly, J. and Newman F. 2023. Spending Review 2023: An Analysis of Cost Forecasting in Major Capital Projects & Programmes. National Investment Office, Government of Ireland ↩︎
- Park, J.E. 2021. Curbing cost overruns in infrastructure investment: Has reference class forecasting delivered its promised success?. European Journal of Transport and Infrastructure Research. 21, 2 (Jun. 2021), 120–136. DOI:https://doi.org/10.18757/ejtir.2021.21.2.5504. ↩︎