Monitoring van Transities

Dit artikel maakt deel uit van een reeks artikelen door NewForesight waarin inzichten en ervaringen rondom het gebruik van het TransMissie-raamwerk op een begrijpelijke manier worden uitgediept.

Andere populaire artikelen zijn:
Van Strategische Niche Management tot TransMissie & Psychology of market transformation Voor een compleet overzicht zie onze download pagina. Wil je op de hoogte blijven van de laatste inzichten? Abonneer je dan hier op onze nieuwsbrief

Hoe monitor en stuur je de effectiviteit van projecten en programma’s op het versnellen van transities?

De juiste manier van monitoren en sturen van transities kan het verschil betekenen tussen het efficiënt versnellen van de transitie of het in stand houden van een zeer verkwistend en ineffectief systeem van veel (gesubsidieerde) projecten met weinig impact.

De transitie naar een klimaat neutrale, circulaire en duurzame economie vraagt om diepgaande veranderingen in de manier waarop onze maatschappij en economie functioneert. Veel organisaties, zoals overheden en publieke instanties, bedrijven, multi-stakeholder platformen en financiële instellingen, willen deze transities helpen versnellen. In de praktijk betekent dit vooral dat ze veel verschillende projecten en
programma’s uitvoeren en/of de uitvoering ervan financieren.

De belangrijkste vraag is echter hoe we kunnen weten of die grote diversiteit aan verschillende projecten en programma’s succesvol zijn en of ze wel echt bijdragen aan het versnellen van de transities. Om deze vraag te beantwoorden introduceert dit artikel de ‘TransMissie-monitoring’ aanpak. Het geeft op een praktische manier antwoord op de vragen:

Wat moet het doel van de projecten zijn willen ze optimaal aan de transitie bijdragen?
Hoe weten we of ze daarin succesvol zijn?
En hoe passen we de projecten aan in een snel veranderende wereld zodat de projecten ook relevant blijven?

Dit artikel bouwt voort op TransMissie – De Missiegedreven Transitieaanpak voor het Managen van Complexe Veranderprocessen (2023) en het boek “Changing the Game” (2021).

De Traditionele projectmonitoring

In de duurzaamheidswereld geldt vaak dat voor een project om te worden goedgekeurd er een ‘theory of change’ moet zijn. Een theory of change is een project veranderlogica die aangeeft wat er met het project wordt beoogd (het doel of de impact die we willen bereiken) en wat er gedaan moet worden om dat te bereiken, waaruit dan een budget en een planning volgt.

De veranderlogica wordt vaak ingevuld in de vorm van een input-output-outcome-impact logica. Input verwijst naar wat er wordt geïnvesteerd, zoals middelen, tijd en geld.

Output betreft wat er direct wordt geproduceerd, zoals activiteiten, korte termijn resultaten en producten. Outcome heeft betrekking op de veranderingen die het project op de middellange termijn wil veroorzaken. Impact betreft de uiteindelijke langetermijneffecten waar het allemaal om te doen is.

De veranderlogica wordt vaak aan het begin van het project voor de gehele projectduur vastgelegd en tijdens de uitvoer wordt er getoetst of de activiteiten inderdaad worden uitgevoerd en of de output indicatoren (de korte termijn resultaten) worden gehaald. Het meten of de projecten ook goed scoren op de outcome en impact indicatoren gebeurt vaak minder omdat het in de praktijk lastig blijkt te meten en vaak wordt ook erkend dat de invloed van een project beperkt is op het outcome niveau en dus valt dat vaak buiten de scope, planning en tijdshorizon van het project.

Belangrijk te realiseren is dat een Theory of Change is gebaseerd op aannames dat als je A doet (input), wat leidt tot B (output), dan zal dat wel uiteindelijk invloed hebben op de outcome en uiteindelijk de impact. Of dat ook daadwerkelijk zo is wordt vaak niet gemeten.

Het voordeel van deze manier van werken ligt voor de hand. Het zorgt ervoor dat elk project aan het begin wordt doordacht en dat (tenminste op papier en in theorie) er een duidelijke relatie is met wat we op de langere termijn willen bereiken, hoe we denken dat te gaan bereiken door bepaalde activiteiten te gaan doen, waar we geld aan gaan uitgeven, en hoe we dat kunnen meten. Deze manier van werken geeft overzicht,
structuur, gevoel van controle, korte termijn voorspelbaarheid, er zijn voortgangsmetingen en rapportages, en we kunnen mensen verantwoordelijk houden.

Deze manier van monitoren en meten past goed in een omgeving die redelijk stabiel en te voorspellen is, waar een duidelijke en voorspelbare relatie is tussen wat we gaan doen en wat we willen bereiken, en waar het gedrag van andere stakeholders redelijk te overzien en in te schatten is. En dat is ook precies het probleem.

Transities vragen om een andere manier van monitoring en aansturing

Deze traditionele manier van monitoren lijkt mooi, maar werkt (bijna per definitie) niet bij transities. In tijden van transities is de omgeving niet stabiel, is de relatie tussen wat we willen bereiken en wat we nu doen niet altijd goed te voorspellen, is er ook vaak geen directe invloed op wat we willen bereiken, en is het gedrag van anderen niet goed in te schatten en zal er zelfs actieve weerstand zijn en ondermijnend gedrag tegen de
projecten. (Lees hier meer over de psychologie van markttransformatie en de weerstanden die transities oproepen en de argumenten die daarbij worden gebruikt). Sterker, deze traditionele manier van opzetten, uitvoeren en monitoren van projecten is één van de grootste redenen waarom transities niet slagen, terwijl we daar wel heel veel middelen (tijd, energie en geld) in investeren. We zien in de praktijk vier redenen waarom deze traditionele manier van monitoren niet werkt:

“Deze traditionele manier opzetten, uitvoeren en monitoren van projecten is een van de grootste redenen
waarom transities niet slagen”

Focus op korte termijn resultaat en simpele oplossingen: Deze manier van monitoren lokt uit dat projecten kijken naar korte termijn resultaten en naar voor de hand liggende en relatief simpele oplossingen die binnen de invloed- en uitvoeringsfeer van de uitvoerder liggen. Niet wat is er nodig voor de transitie is leidend, maar wat kan ik met mijn project nu snel voor elkaar krijgen zodat ik kan laten zien dat ik bijdraag aan de doelstelling, bepaalt het project.
Synergie-effecten missen: Elk project staat op zichzelf, met als gevolg dat het onduidelijk is wat de samenhang en synergiën zijn van al die projecten en of ze elkaar versterken of juist tegenwerken (en in de praktijk werken veel projecten elkaar tegen).
Geen follow-up en opschaling: “Pilots and projects never fail and never scale”. De horizon waarmee wordt gewerkt overstijgt meestal niet de projecthorizon. Als het project klaar is, is het klaar. Er is vaak geen beeld wat er na het project moet gebeuren om het resultaat op te schalen waarbij anderen het overnemen en mee investeren. Met als gevolg dat er telkens meer projecten moeten worden uitgevoerd, er weer meer geld bij moet, en elke keer de projecten cyclus opnieuw begint.
Te rigide aanpak zonder leereffecten: De veranderlogica en de budgetten worden wordt vaak aan het begin van het project vastgelegd, en dat moet en zal worden uitgevoerd. Met als gevolg dat het project zich niet of onvoldoende kan aanpassen aan een snel veranderende omgeving, of zaken die niet bleken te kloppen of te werken. En er wordt weinig, of alleen achteraf geleerd wat nu eigenlijk werkt en niet werkt. Maar dan is het project al klaar en is het maar afwachten hoe de geleerde lessen in de toekomst worden meegenomen.

Het gevolg van dit alles is dat we met elkaar, ondanks alle goede intenties, een zeer verkwistend en ineffectief systeem in stand houden van veel (gesubsidieerde) projecten, die elkaar regelmatig tegenwerken, overlappen, niet schaalbaar zijn en al met al weinig impact opleveren. Terwijl we wel claimen dat al deze projecten succesvol zijn, want we hebben tenslotte de activiteiten uitgevoerd die we hadden afgesproken en de output resultaten zijn bereikt.

Dit is helaas de realiteit van het overgrote deel van de projecten die door de vele publieke als private organisaties worden uitgevoerd. Of zoals we vaak vanuit TransMissie zeggen, “we maken vooral veel lawaai en weinig muziek”.

TransMissie monitoring: Een balans tussen regie en flexibiliteit

Willen we met elkaar de transitie echt versnellen dat start en eindigt dat of we in staat zijn de projecten een logisch onderdeel te laten zijn van en dienend te laten zijn aan een overkoepelende Transitie strategie. Projecten en programma’s staan dus niet los van elkaar met ieder hun eigen Theory of Change. De Transitie strategie is leidend in het selecteren, opzetten, goedkeuren, monitoren en aanpassen van de projecten individueel en in samenhang met elkaar.

De Monitoringsvraag moet dan ook niet zijn, hoe succesvol was dit project in het behalen van zijn specifieke outcome doelstellingen? Maar hoe succesvol zijn we in het versnellen van de transitie door middel van onze projecten en programma’s? Dat is een wezenlijk andere manier van kijken naar de manier waarop we succes meten. Succesvol Transitie monitoring vraagt daarom om twee zaken:

Allereerst dat er een overkoepelende Transitie strategie is die leidend kan zijn aan de doelstellingen van de projecten. Hierbij is het TransMissie raamwerk bij uitstek geschikt om deze op te stellen (zie volgende paragraaf).
Ten tweede is er een adaptieve monitoring raamwerk nodig met de juiste KPIs die gebruikt kan worden om te bepalen of de projecten wel de juiste bijdragen leveren aan die Transitie strategie.

Laten we eerst kijken naar het TransMissie raamwerk en hoe dit kan worden gebruikt om een Transitie strategie te ontwikkelen.

Over TransMissie

TransMissie is een wetenschappelijk onderbouwde, geïntegreerde, markt gedreven en zeer actiegericht Transitie raamwerk ontwikkeld door NewForesight, Nyenrode Business Universiteit en Copernicus Instituut voor duurzame ontwikkeling. De kernvraag die TransMissie beantwoord is – Welke stakeholder, moet wat doen (projecten), wanneer, om de transitie te versnellen?

Het begint dus met het opstellen van een TransMissie strategie zodat die kan worden gebruikt als toetsingskader om te bepalen wat de doelstellingen van projecten zouden moeten zijn.

Het opstellen van een TransMissie strategie of routekaart bestaat uit vier stappen.

Bepalen van de Transitie scope: welke complexe problemen willen we oplossen en in welke sector(en)/markten. We kunnen niet alles, overal tegelijk oplossen. De scoping fase moet focus aanbrengen en het actiegericht maken.
De TransMissie analyse: Wat is de eindvisie van de sector waar we naar toe willen werken. Welke oplossingen moeten daarvoor worden opgeschaald op daar te komen. In welke fase van de transitie bevinden die oplossingen zich en welke van de sleutelprocessen zijn daarbij aanwezig of missen juist.
Het uitwerken van de Transitie strategie: Op basis van bovenstaande analyse kan worden bepaald welke interventies moeten worden uitgevoerd om de gewenste oplossingen op te schalen naar de volgende transitie fase en welke interventies moeten worden uitgevoerd om het oude, niet-duurzame systeem op den duur uit te faseren.
Welke stakeholders moeten dan welke acties ondernemen: op basis van de Transitie strategie kan worden bepaald welke acties/projecten door verschillende stakeholders moeten worden uitgevoerd.

Het transmissie raamwerk en de transitie strategie die hier uitkomt kan dus gebruikt worden om de Theory of Change van de projecten en programma’s te bepalen1:

Wat is de visie van de toekomst van een sector en dus waar willen we heen bewegen?
Welke oplossingen willen we opschalen om daar te komen?
Wat moet er gebeuren om de oplossingen op te schalen?
En dus welke projecten en programma’s hebben we uit te voeren om dat te doen?

In de beweging van minder lawaai naar meer muziek (de beweging van losstaande projecten met ieder hun eigen ToC, naar projecten die onderdeel zijn van en dienend zijn aan een Transitie strategie), is een TransMissie strategie de gedeelde bladmuziek die aangeeft wie, wanneer, wat moet spelen. Het bepaalt welke projecten er nodig zijn, door wat voor soort actoren die het beste kunnen worden uitgevoerd, de volgorde
van de projecten, de samenhang tussen projecten en het beoogde succes van de projecten.

Het meten van het ‘Transitie effect’

De mate waarin de projecten en programma’s succesvol bijdragen aan het versnellen van de transitie noemen we het ‘Transitie effect’. Het Transitie effect is wordt op een andere manier gemeten dan de traditionele output indicatoren van een project.

Voorbeelden van het juiste Transitie effect van een project kunnen zijn: Heeft het project bijgedragen aan het vergroten van het gevoel van urgentie voor de verandering? Heeft het project bijgedragen aan het creëren van experimenteerruimte? In hoeverre hebben we de juiste kennisvragen geïdentificeerd en deze beantwoordt? Is de kennis op een goede manier verspreid en voelen de partijen zich geïnformeerd.

Heeft het project bijgedragen aan de ontwikkeling van een concrete oplossing of heeft het kunnen aantonen dat de oplossing werkt? Heeft het project invloed op het vergroten van vraag en aanbod en marktdifferentiatie? Heeft het project geholpen bij het ontwikkelen van een business of investment case? Zijn er nu meer aanbieders en meer kopers? Zien ondernemers meer of minder kansen? Is de sector nu beter georganiseerd zodanig dat de koplopers elkaar beter kunnen vinden? Wordt er gewerkt aan het verminderen van barrières die de transitie tegen houden? Wordt het onduurzame gedrag minder aantrekkelijk gemaakt?

Er wordt dus per transitie bepaald wat er moet gebeuren en hoe gemeten kan worden of en in hoeverre projecten en programma’s bijdragen aan wat er nodig is om de gewenste oplossingen naar de volgende fase van transitie te krijgen. Dit is iets heel anders dan te meten hoeveel CO2 er is bespaard in een project, hoeveel huizen er zijn geïsoleerd, hoeveel mensen er zijn getraind, of hoeveel kg plastic er is ingezameld (de traditionele output indicatoren).

Wat precies het beoogde Transitie effect moet zijn van de projecten is afhankelijk van de TransMissie analyse die aan de Transitie strategie ten grondslag ligt. Dat zal verschillen per transitie want elke transitie is uniek en anders, en dus zullen ook de KPIs specifiek en situationeel zijn. Toch kunnen we op basis van het TransMissie raamwerk en de logica van de fasen en sleutelprocessen een generiek TransMissie Monitoring KPI overzicht opstellen die als inspiratie kan dienen om de bijdragen van de projecten aan de versnelling van de transitie te meten. Zie de volgende pagina.

De noodzaak voor flexibiliteit, reflectieve en adaptieve monitoring

Zelfs als een project het juiste transitie effect heeft wil nog niet zeggen dat we dan meer van die projecten moeten blijven doen. De wereld verandert snel en als we de juiste projecten doen dan dragen we ook nog eens bij aan die verandering. Ook veranderen belangen en daarmee het gedrag van stakeholders tijdens transities. En of we willen of niet, in elke transitie komen onbedoelde en onverwachte neveneffecten voor. Kortom, in
transities geldt “what brought you here, will not get you there”. We moeten onszelf daarom regelmatig de vraag stellen of wat we doen nog wel relevant is en op de juiste aannames is gestoeld. Belangrijk daarom is om de Transitie strategie en daarmee de projecten portfolio periodiek tegen het licht te houden en regelmatig te herijken.

Het is daarom niet handig om veranderlogica vast te leggen voor een langere periode. Voor transities is een flexibele, reflectieve en adaptieve aanpak essentieel. Dit betekent dat we halfjaarlijks of jaarlijks evalueren of de visie, de problemen, de oplossingen, de interventies en de betrokken partijen nog relevant zijn. Of de oplossingen die we willen opschalen nog wel de juiste zijn, of ze nog in dezelfde fase zitten en of de verschillende actoren doen wat de verwachtingen waren en dus of de interventies wel de juiste zijn. Deze herijking leidt tot aanpassing van zowel de strategie, als de KPI’s op project- en transitieniveau en daarmee ook op de projecten uitvoering. Het adaptief werken is weergegeven in het volgende figuur:

Samenvattend: het Stappenplan voor monitoring van transities

Als we alles bij elkaar nemen, zijn dit de zes stappen om een TransMissie-Monitoring en evaluatie systematiek op te zetten:

Bepaal je transitiescope: Identificeer de duurzaamheidsuitdagingen in de markten en werk de toekomstvisie uit samen met relevante actoren. Lees hier meer over het belang van het bepalen van een toekomstvisie.
Doe de TransMissie analyse: Gebruik de TransMissie-aanpak om de relevante oplossingsrichtingen, de transitiefasen en sleutelprocessen te bepalen.
Bepaal je transitiestrategie (de TransMissie roadmap): bepaal welke interventies dus moeten worden uitgevoerd om ervoor te zorgen dat de oplossingen worden opgeschaald naar de volgende transitiefasen en welke stakeholder dus wat moeten doen wanneer.
Ontwikkel KPI’s: Gebruik de TransMissie roadmap om te bepalen welke en hoe de projecten bijdragen (de interventielogica input en output) aan de interventies die moeten plaatsvinden en bepaal de juiste TransMissie KPI’s (afhankelijk van de fasen waarin de oplossingen zich bevinden en welke sleutelprocessen met name aandacht behoeven).
Implementatie van monitoring: Maak het onderdeel van de manier van werken en Governance. Zet systemen op voor gegevensverzameling zoals enquêtes, interviews en data-analyse.
Reflectieve monitoring: Implementeer een adaptieve monitoringstrategie met regelmatige feedbackloops en participatieve evaluatiesessies.

Voordelen van deze manier van werken

Er zijn veel voordelen van deze manier van monitoren en evalueren ten opzichte van alleen de traditionele manier van monitoren:

Meer relevante projecten: Beter begrip welke projecten wel of niet moeten worden goedgekeurd aan de hand van de TransMissie roadmap. Met als gevolg minder onnodige projecten, sneller stoppen van projecten die niet werken.
Meer synergie: Zorgt voor meer synergie tussen projecten (ipv projecten die elkaar tegen werken), waardoor de totale impact groter is dan de som der delen.
Dieper inzicht: Biedt een dieper inzicht in wat werkt en wat niet, waardoor we effectiever en tijdiger kunnen bijsturen
Flexibel en continue leren: Maakt het mogelijk om snel en daadwerkelijk te leren, aan te passen aan veranderende omstandigheden en nieuwe inzichten en te verbeteren.
Kostenefficiënt, sneller en effectiever: We voorkomen een enorme verspilling van middelen aan onnodige projecten, en het versnelt daadwerkelijke de transitie en daarmee creëert het de economische kansen.

Met deze andere manier van Monitoren van projecten kunnen we ervoor zorgen dat we niet alleen weten of individuele projecten succesvol zijn, maar ook of ze bijdragen aan de bredere transitie naar duurzaamheid. Hiermee is het mogelijk om veel effectiever en efficiënter onze doelen te bereiken. Kortom we bereiken meer met minder, we kunnen problemen daadwerkelijk oplossen en we zijn in staat om de economische kansen van de transitie te pakken, en dat moet de grote drijfveer zijn om kritisch naar onze huidige Monitoringsmethodiek te kijken.

Werk jij of jouw organisatie aan een transitie of aan projecten die deel uitmaken van een transitie?

Dan is het belangrijk om niet alleen te focussen op de uitvoering, maar ook op de manier waarop je de voortgang en impact van deze projecten meet. Een effectieve manier om dit te doen is door gebruik te maken van de ‘TransMissie-monitoring’ aanpak. Neem gerust contact met ons op voor meer informatie.

Literatuurlijst:

Literatuurlijst die we hebben gebruikt voor het opstellen van dit artikel en die het lezen waard zijn:

Ghosh, B., Kivimaa, P., Ramirez, M., Schot, J., & Torrens, J. (2021). Transformative outcomes: assessing and reorienting experimentation with transformative innovation policy. Science and Public Policy, 48(5), 739-756.
Molas-Gallart, J., Boni, A., Giachi, S., & Schot, J. (2021). A formative approach to the evaluation of Transformative Innovation Policies. Research Evaluation, 30(4), 431- 442.
Janssen, M. J., Bergek, A., & Wesseling, J. H. (2022). Evaluating systemic innovation and transition programmes: Towards a culture of learning. PLoS sustainability and transformation, 1(3), e0000008.
Ter Weel, B., Janssen, M., Bijlsma, M., & De Boer, P. J. (2022). Durf te leren, ga door met meten: Op zoek naar kaders en methoden voor de evaluatie van systeem-en transitiebeleid.