Human Factors Actueel
nr. 14, september 2013

Uniformiteit in evaluaties

Het ministerie van Veiligheid en Justitie streeft naar uniformiteit in de evaluatie van crisisoefeningen, gericht op zowel processen als resultaat. Het heeft daartoe onderzoek laten doen naar evaluaties van nationale en regionale crisisoefeningen. Het onderzoek heeft geleid tot het ‘raamwerk voor het effectief evalueren van crisisoefeningen’.

Evaluaties van oefeningen vormen een onderdeel van het dienstverleningspakket van de Human Factors Adviesgroep. Daarom hebben we het onderzoek en het raamwerk nader bestudeerd. Uiteraard waren we daarbij benieuwd naar de rol van human factors.

De functie van oefeningen

Uit het onderzoek blijkt dat de functie van de oefening bepalend is voor de evaluatie. Daarbij gaat het om de volgende functies:

Testen (things that count): het betreft de kritische processen uit het besluit Veiligheidsregio’s die worden getest. Ook voor oefeningen op nationaal niveau. Het doel van deze oefeningen is testen of de crisisorganisatie opgewassen is tegen een crisis.

• Ontwikkelen (things that matter): deze functie is gericht op dezelfde kritische processen én op competenties van individu of team. Deze oefeningen moeten leer- en ontwikkelpunten opleveren.
• Oriënteren (things that might matter): bij deze oefeningen gaat het om een eerste verkenning van een crisissituatie of samenwerking met een partner.

Het is dus als eerste stap belangrijk om te bepalen welke functie men aan een oefening wil toekennen.

Evaluatiecriteria

De volgende stap is de ontwikkeling van criteria voor de evaluatie van de oefening. Evaluatiecriteria zijn (beslissende) kenmerken aan de hand waarvan de crisisoefening wordt gewaardeerd. Ze worden gebruikt om te beoordelen wat goed ging dan wel wat beter kan, en vooral ook waarom.

Het onderzoek van het ministerie van VenJ gaat uit van uitkomstcriteria. Oftewel men kijkt naar de resultaten die het oefenproces heeft opgeleverd, ook wel de ‘outcome’ genoemd. Nu wordt in de meeste oefeningen nog uitgegaan van procescriteria, de ’throughput’ genoemd.

Cyclisch karakter raamwerk evaluatie crisisbestrijding

Opvallend is dat het schema van het raamwerk, dat we hieronder zullen bespreken, een lineair procesbeeld geeft van beschikbare eenheden rechtstreeks naar het voorkomen en beperken van een crisis.

Crisisbestrijding vraagt volgens ons echter juist om cyclische processen. Daarbij moeten alle beslissingen en uitkomsten doorlopend getoetst worden aan wat de crisisorganisatie daadwerkelijk wil bereiken. We zullen daarom eerst het raamwerk zoals door VenJ voorgesteld bekijken en uitdiepen, om daarna aan te geven hoe dit meer cyclisch kan worden gemaakt.

Kritische processen en het ‘raamwerk evalueren crisisoefeningen’

De basis van het raamwerk wordt gevormd door de kritische processen in de crisisbestrijding zoals die in het besluit Veiligheidsregio’s zijn vastgelegd. Deze processen vormen de evaluatiecriteria voor crisisoefeningen.

Eerste kritische proces: melding, alarmering, en opschaling.

Dat is het proces waarin de crisisstructuur in gereedheid wordt gebracht en voorzien van de eerste essentiële beslisinformatie. En waarin de benodigde hulpverlening en relevante functionarissen binnen vastgestelde normtijden worden ingezet op de daartoe aangewezen plaats.

Het tweede kritische proces: informatie managen, leiding, en coördinatie

Bij het managen van de informatiestromen die tijdens de inzet van de crisisorganisatie op gang komen gaat het om:

• de aard van het incident en de betrokken objecten,
• de actuele situatie, en
• de risico’s en de effecten van het incident en de bestrijdingsmogelijkheden.

Deze informatie berust op gegevens die door de operationele diensten worden gecommuniceerd. Ze moeten leiden tot situational awareness. Situational awareness is de overeenkomst tussen de werkelijke (feitelijke) situatie, en de situatie zoals die door mensen wordt gepercipieerd. Het is de basis voor het geven van leiding en het coördineren van de crisisbestrijding.

Beide kritische processen staan vermeld in onderstaand stroomschema, dat het begin vormt van het landelijke evaluatieraamwerk.

Input, throughput, output en outcome

Een tweede belangrijk onderdeel van het evaluatieraamwerk wordt gevormd door de samenhang van input, throughput, output en outcome. Deze vormen namelijk de verbinding tussen de twee kritische processen.
Outcome

Het landelijk uniform raamwerk voor de evaluatie van crisis oefeningen richt zich met name op de resultaten die de crisisorganisatie tijdens de inzet boekt. Anders gezegd de outcome van het crisisbestrijdingsproces. Is datgene wat men beoogde daadwerkelijk bereikt? Is de crisis voorkomen, bestreden en/of binnen bepaalde perken gebleven?

Input

Om resultaten te boeken heeft de crisisorganisatie input nodig. Bij melding, alarmering en opschaling bijvoorbeeld in de vorm van beschikbare hulpverleningseenheden van brandweer, politie, geneeskundige hulpverlening of defensie. Daarnaast zijn op verschillende posities functionarissen nodig die bijdragen aan informatie management, leiding en coördinatie. Deze input vormt de basis waarop de crisisorganisatie zal worden opgebouwd. In de twee bovenstaande kritische processen, wordt de input voor het tweede proces gevormd door de output van het eerste proces.

Throughput

De throughput komt tot stand tijdens de uitvoering van de kritische processen. In de meeste van de bestaande evaluatiemethoden vormt de throughput het belangrijkste bestanddeel: hoe verlopen de kritische processen en gebeurt dat zoals in procedures is bepaald of wat van de crisisorganisatie verwacht mag worden? Doen de betrokken mensen wat van ze verwacht wordt? Voldoen ze aan hun taken, verantwoordelijkheden en bevoegdheden? De throughput is gekoppeld aan de beide kritische processen zoals hierboven beschreven.

Output

De output komt voort uit de throughput (verwerking) van de input door de kritische processen.

Bijvoorbeeld:

• De (geprepareerde) beschikbare eenheden zijn de input van het proces “melding, alarmering en opschaling”.
• De throughput in dit proces leidt tot een overzicht (situational awareness) van de eenheden die op de plaats des onheils inzetbaar zijn. Dat is de output van dit proces.
• Deze output vormt vervolgens weer de input voor het tweede kritische proces (“informatie management, leiding & coördinatie”).
• Uit de throughput in dit proces volgen beslissingen en maatregelen als output.
• Deze output moet leiden tot acties en inzetten die moeten leiden tot het resultaat van de crisisorganisatie in zijn geheel: de outcome. Dit is veelal het voorkomen of beperken van de crisis.

In onderstaand schema zijn de kritische processen uit het vorige aangevuld met de input, throughput, output en outcome van de crisisorganisatie. Hiermee wordt het evaluatieraamwerk verder opgebouwd.
Doeltreffendheid en doelmatigheid

De wijze waarop met de beschikbare input een zo goed mogelijke output wordt gerealiseerd bepaald hoe doelmatig de crisisorganisatie daarin te werk gaat. Tijdens de evaluatie wordt onder andere vastgesteld welke output per kritisch proces tot stand komt gegeven de in het scenario opgenomen input aan eenheden en informatie.

Doeltreffendheid is de mate waarin de output van de kritische processen uiteindelijk leidt tot het (gewenste) resultaat, de outcome. Met andere woorden: hebben maatregelen die zijn genomen daadwerkelijk geleid tot het beoogde resultaat: het voorkomen of beperken van een crisis?

De begrippen doelmatigheid en doeltreffendheid zijn opgenomen in een verdere uitbreiding van bovenstaand diagram. Daarmee vormt onderstaand schema het volledige raamwerk voor de evaluaties van crisisoefeningen zoals in de publicatie van VenJ beschreven.
Cyclisch karakter raamwerk evaluatie crisisbestrijding

Hiermee is het ‘rechtstreeks verlopende’ schema van VenJ compleet. Zoals al benoemd is onze benadering van dit soort processen altijd cyclisch. Dat is terug te zien in de BOBOC-procedure, een uitbreiding van de in de hulpverlening en crisisbestrijding veel toegepaste BOB-procedure:

• Beeldvorming: Wat is het probleem dat moet worden opgelost? Als er meer problemen zijn, waar moet dan een beslissing over worden genomen? Het gaat om een zo compleet mogelijk beeld van de crisis, inclusief input van teamleden. Hoe zal de ontwikkeling in tijd zijn? Welk ingrijpen is wanneer noodzakelijk? (Het verzamelen van) informatie speelt in deze fase een belangrijke rol.
• Opties: Wat zijn de verschillende mogelijkheden om het probleem op te lossen? (Hier kan uit evaluaties bezien worden hoe in vergelijkbare situaties elders is opgetreden tijdens een incident of oefening)
• Besluit: De keuze voor de optie die uit de vorige stap als het beste naar voren komt.
• Opdracht: Betreft inventarisatie van de acties die uit het besluit voortkomen. Het plan van aanpak dus dat vervolgens moet worden gecommuniceerd (beslisinformatie en maatregelen) met de betreffende actoren.
• Controle: Is het resultaat van de maatregelen zoals tevoren was bedoeld? Zo niet, dan kan een andere optie tot betere resultaten leiden. In het schema hebben we daartoe een loop gemaakt van ‘outcome’ naar ‘input’ voor leiding en coördinatie. Als de situatie verandert of verkeerd is ingeschat begint een nieuw BOBOC-proces. Het verloop van de besluitvormingscyclus is dan afhankelijk van de plaats van vereiste bijstelling. In het schema door ons aangegeven met een loop van de ‘outcome’ naar de ‘input’ van beide kritische processen.

BOBOC is een bewust toe te passen cyclisch besluitvormingsproces. In onderstaand schema hebben wij de BOBOC procedure aan het stroomschema van het raamwerk gehecht. Bij evaluaties van crisisoefeningen waarbij de Human Factors Adviesgroep is betrokken, zullen we altijd kijken naar het cyclisch karakter van het crisisbestrijdingsproces.

Welke waarde kan de Human Factors Adviesgroep toevoegen aan de evaluatie van uw oefening?

Bij evaluaties van oefeningen werken wij volgens het nieuwe landelijke ‘raamwerk evalueren van crisisoefeningen’ uitgebreid met de cyclische loops. Daarmee kunt u van ons de volgende inzet verwachten:

1. U bepaalt: de functie, doelgroep van de oefening

Wij dragen vervolgens bij aan de voorbereiding van het scenario. Daarbij stellen we de vraag: wat moet de output en outcome van de te beoefenen crisisaanpak zijn? We doen dat door met de oefenleiding aan de hand van scenario-studies en eerdere evaluatierapporten van eenzelfde scenario te werken aan het kader voor de evaluatie. Het resultaat wordt opgenomen in het evaluatieformulier volgens het format van het landelijk raamwerk, uitgebreid met de BOBOC-cyclus. Hierin wordt vermeld welke crisisinformatie nodig zal zijn en welke maatregelen en resultaten verwacht worden. Op basis hiervan wordt vervolgens het oefenscenario opgesteld.

2. De oefening

Daarna volgt de daadwerkelijke oefening waar we deskundige waarnemers bij inzetten.

Tijdens en na de oefening kunnen via het evaluatieformulier een vergelijking maken tussen van te voren verwachte zaken en het werkelijke verloop.

3. De evaluatie

Bij de evaluatie stellen we ons de vraag of het verwachte effect van de inzet van de crisisorganisatie daadwerkelijk is gerealiseerd? Op basis van welke situational awareness, welke informatie en welke maatregelen? Stemmen die overeen wat tevoren werd verwacht? Het antwoord op die vraag is de start van het onderdeel reflectie. Dat is een activiteit waarbij we procesbegeleiding bieden en ‘reflectieve ervaringsdeskundigen’ inzetten. We beschikken over ervaringsdeskundigen zowel op het terrein van de crisisbestrijding als human factors.

Bij de reflectie stellen we ons de vraag: Waarom gingen zaken goed en waarom konden andere beter? Ervaringen uit de luchtvaart leren dat beantwoording van die vragen voor een belangrijk deel te vinden zijn bij human factors. Ruim 75% van alle vliegtuigongevallen wordt hoofdzakelijk veroorzaakt door human factors. Ook in de crisisbestrijding is de mens de belangrijkste maar ook meest kwetsbare factor. Daarom gaan we uit van human factors als belangrijkste onderdeel van de reflectieve ervaring tijdens het evaluatieproces. Waarnemingen, bespreking en reflectie vormen vervolgens de basis voor het evaluatieverslag dat we gestandaardiseerd volgens het ICAO¹ format zullen opstellen.

Evaluatie van uw oefeningen

1. Bent u geïnteresseerd in de evaluatie van uitkomsten én processen van uw crisisoefening, cq oefening van een grootschalige multidisciplinaire inzet?
2. Wilt u de evaluatie laten geschieden volgens het landelijk raamwerk voor het effectief evalueren van crisisoefeningen?
3. Bent u benieuwd naar human factors als belangrijkste succes- en faalfactoren bij het behalen van de oefenresultaten?
4. Wilt u human factors betrekken bij de verbetering van de effectiviteit en veiligheid van uw crisisorganisatie?
5. Wilt u daarbij putten uit een groot reservoir van vergelijkbare ervaringen in de luchtvaart en gebruik maken van de formats die de internationale burgerluchtvaart organisatie (ICAO) sinds jaar en dag gebruikt?

Dan nodigen wij u uit een afspraak met een van onze consultants te maken.

^[1] ICAO: International Civil Aviation Organisation. Deze organisatie werd in het leven geroepen door het Verdrag van Chicago in 1944. De ICAO bevordert onder meer de vliegveiligheid en de ontwikkeling van alle aspecten van de internationale burgerluchtvaart.