3. Evaluatie

3.1. Inleiding

Slaagt ICG in haar opzet om conflicten te voorkomen of op te lossen? De vraag naar een evaluatie van de organisatie dringt zich op. Evaluaties binnen het veld van conflicttransformatie blijken evenwel geen vanzelfsprekendheid. Zij moeten immers afrekenen met een aantal methodologische problemen. Hoe evalueert een organisatie als ICG zichzelf? Welke lessen trekt zij uit die evaluaties?

Aan de hand van kwantitatieve metingen van een aantal indicatoren, kwantitatieve en kwalitatieve beoordelingen van de uitkomst trachten we analoog aan ICG’s evaluatieproces een oordeel te vellen over het al dan niet slagen van ICG in haar missie.

3.2. Evaluaties in het veld van conflictpreventie

Niels Dabelstein omschrijft de evaluatiesituatie bij NGO’s als methodologische anarchie.[225] Niettegenstaande het feit dat het aantal evaluaties stijgt, blijven deze variëren in kwaliteit, omvang, diepte en methodologie. Hij bemerkt dat humanitaire bijstand historisch gezien veel minder het voorwerp is geweest van strenge en uitgebreide evaluatieprocedures dan bijvoorbeeld ontwikkelingshulp.[226]

Mark Hoffman voegt daaraan toe dat conflictoplossing en vredesopbouw praktijken nóg veel minder aan evaluaties onderworpen worden.[227] Pas zeer recentelijk zijn beoefenaars en organisaties gericht op conflicttransformatie zich gaan bezig houden met evaluaties. Vaak zien zij evaluaties als irrelevant of als een noodzakelijke last enkel uit te voeren om donoren tevreden te stellen. Sommigen beschouwen evaluaties zelfs als een gevaarlijke bezigheid waarbij onwetende buitenstaanders worden aangemoedigd tot het geven van onbevoegde pejoratieve beoordelingen. Desalniettemin zal de interesse om te weten of een actie nuttige resultaten oplevert zeker stijgen aangezien het aantal conflictoplossing en vredesopbouw georiënteerde interventies en het aantal betrokken NGO’s ook stijgen. Hoewel er al aanzienlijk anekdotisch bewijs bestaat, kan men nu pas de ontwikkeling en consolidatie van systematische kennis over de impact van conflicttransformatie activiteiten waarnemen.[228] Het behoeft hier geen betoog dat het in het belang van donoren, beoefenaars en ontvangers is dat geschikte evaluatiemethodes ontwikkeld worden die aangepast zijn aan de complexe en multi actor aard van conflicttransformatie.

Een drietal methodologische problemen bemoeilijken de ontwikkeling van evaluatiemethodes voor conflictpreventie. Ten eerste moet elke beoordeling deels steunen op een ‘tegen feitelijke’ redenering.[229] Het falen van conflictpreventie impliceert immers het argument dat het gewelddadige conflict vermeden of beperkt had kunnen worden indien de ondernomen conflictpreventiemaatregelen, andere factoren gelijk blijvend, anders waren geweest. Dit geldt eveneens voor het beoordelen van het succes. Succes impliceert dat indien de desbetreffende conflictpreventiemaatregelen niet genomen waren waarschijnlijk een gewapend conflict had plaatsgevonden. Dit soort redeneringen vereisen een theoretische basis voor de logica van het alternatieve hypothesepad en een zo sterk mogelijke empirische ondersteuning.

Ten tweede moet men enige mate van relativiteit toelaten in de meetschalen van mislukking tot succes, zonder zo relatief te worden dat men al zijn evaluatieve betrouwbaarheid verliest. Dit betekent het maken van een aantal onderscheiden tussen het succesvol vermijden van het negatieve en het succesvol bereiken van het positieve. Bij mislukkingen is het niettemin nuttig te onderzoeken of er uit de puinhoop geen doeltreffende beleidsmaatregelen kunnen gedistilleerd worden.

Tenslotte moet de vergankelijkheid van succes in rekening genomen worden. Een beleid kan initieel zijn doelstellingen lijken te hebben bereikt, maar uiteindelijk op zekere dag toch instorten.[230]

3.3. ICG’s Zelfevaluatie

ICG is een niet gouvernementele organisatie en moet daarom strikt genomen aan niemand rekenschap afleggen. Legitimiteit van haar optreden kan de organisatie enkel putten uit haar verdiensten en de kwaliteit van haar producten.[231] Grondige evaluatiestudies zijn bijgevolg noodzakelijk om vast te stellen hoe succesvol ICG is in het uitvoeren van haar missie, het voorkomen en oplossen van conflicten.[232]

ICG is zich ten volle bewust van het belang van evaluaties zowel voor zichzelf als organisatie als voor donoren en commentatoren. Sinds eind 2001 hanteert ICG een interne evaluatiemethode die bestaat uit drie elementen: kwantitatieve metingen van output, kwantitatieve metingen van uitkomst en kwalitatieve metingen van impact. Kwantitatieve metingen van output zijn het gemakkelijkste te produceren, het gaat dan om het aantal projecten en personeelsleden, het aantal gepubliceerde rapporten en vermeldingen in de media, het aantal bezoeken aan de website en de omvang van de verworven fondsen. Deze indicatoren geven een idee van de vooruitgang die de organisatie maakt, maar ze beantwoorden niet rechtstreeks de vraag of de organisatie werkelijk impact heeft.

Kwantitatieve metingen van de uitkomst worden ook ondernomen, maar zijn onvermijdelijk onbevredigend. Bij het natrekken van wat er met haar aanbevelingen gebeurt, vindt ICG een consistent patroon van ongeveer 30 tot 40% die binnen het jaar geïmplementeerd worden. Het resultaat hangt natuurlijk sterk af van de manier waarop die aanbevelingen geformuleerd en geteld worden. Het blijft moeilijk om een oorzakelijk verband vast te stellen tussen een argument en een uitkomst, vooral wanneer die uitkomst iets (een conflict) is dat niet gebeurt. Ondanks de methodologische zwakheden van deze methode vereisen de meeste donoren toch een poging tot kwantificering van de uitkomst.[233] Bovendien kan het bekomen percentage op verschillende manieren geïnterpreteerd worden. ICG doet immers vaak aanbevelingen waarvan ze weet dat die nooit geïmplementeerd gaan worden, maar waarvan ze vindt dat die toch gezegd moeten worden. Een heel hoog percentage zou met andere woorden betekenen dat de toegevoegde waarde van ICG vrij klein is, omdat de desbetreffende actor de maatregelen ook zonder ICG’s advies had aangenomen of andere organisaties precies diezelfde adviezen hadden gegeven. Een zeer laag percentage zou dan weer duiden op het ontbreken van praktische relevantie van de aanbevelingen of een falende advocacystrategie.[234]

ICG hecht het meeste belang aan de kwalitatieve beoordeling. De feedback van beleidsmakers, de mensen die de organisatie tracht te beïnvloeden, wordt aangevuld met een uitgebreide zelfevaluatie waarbij de Programmadirecteurs nagaan of hun analyses correct waren en of hun aanbevelingen geïmplementeerd werden. Het gaat hier om een interne evaluatie, waardoor Programmadirecteurs voelen dat ze ook kritieken en negatieve aspecten kunnen verwoorden zonder zich te kwetsbaar op te stellen. Elke Programmadirecteur wordt verwacht ieder project binnen zijn programma te evalueren aan de hand van vier criteria. Deze vier criteria zijn de overeenkomst tussen ICG activiteiten en de conflictpreventie/oplossing doelstelling, de relevantie en bruikbaarheid van ICG rapporten binnen de beleidscyclus, de impact van specifieke aanbevelingen op beleid en de impact van de geïmplementeerde aanbevelingen op de eigenlijke preventie of oplossing van het conflict.[235]

Een kwalitatieve evaluatie van de hele organisatie noch een externe evaluatie werden reeds ondernomen. De reden die ICG daarvoor aangeeft is het feit dat ze nog steeds een op terreinwerk gebaseerde organisatie is en dat een evaluatie moet focussen op de praktijk, namelijk de terreinanalyse. Ze evalueren een deel dat hen een indicatie geeft van het geheel. Programmadirecteurs zijn volgens hen het best geplaatst om evaluaties uit te voeren. Zij hebben een grondige kennis van het dagelijkse functioneren, ze krijgen feedback tijdens advocacy meetings en hebben contact met Projectdirecteurs op het terrein.

De meeste donoren vereisen ook een bepaalde evaluatie, sommige zoals DfID hebben zelfs heel specifieke frameworks waarbinnen die evaluatie moet uitgevoerd. Twee personeelsleden in het advocacy kantoor te Parijs zijn verantwoordelijk voor het uitvoeren van specifieke evaluaties voor donoren.[236]

3.4. Institutioneel Leren

De eenheid voor horizontaal beleidsonderzoek vervult binnen ICG de functie van een soort van ‘lessons learnt unit’. De beleidsanalisten van de eenheid proberen op de hoogte te blijven van de beleidsdebatten, institutionele ontwikkelingen, conferenties en academische literatuur omtrent conflictpreventie en conflictoplossing, daarnaast beantwoorden zij ook vragen van terreinpersoneel. Die vragen komen meestal ad hoc, telkens wanneer een van de teams een bepaald rapport voorbereidt. Het gaat dan om vragen als wat kunnen de ervaringen van het naoorlogse Japan of Duitsland ons leren over potentiële post Saddam scenario’s in Irak of welke lessen kunnen we trekken uit de overgangsadministraties in Kosovo en Oost Timor? Zij huren nu en dan een externe expert in om onderzoek te doen naar vrij technische en ingewikkelde beleidsmateries zoals overgangsrecht, hervorming van leger en politie, ten einde zo specifiek mogelijke aanbevelingen te kunnen doen. Naarmate er meer vragen komen vanuit verschillende projecten, wordt het onderzoek systematischer en vergaart ICG meer en meer expertise in de vorm van institutionele lessen over welke acties bepaalde actoren ondernomen hebben, wat succesvol was enzovoort.

De eenheid voor horizontaal beleidsonderzoek werkt niet louter op vraag van het terreinpersoneel. De onderzoeksanalisten nemen tevens op eigen initiatief deel aan het voorbereidingsproces van een rapport. Zij trachten het terreinpersoneel er voortdurend aan te herinneren dat de eenheid over veel bruikbare informatie beschikt met betrekking tot de onderwerpen waarover ze rapporteren. Als een team in een bepaald land over mobilisatie rapporteert, waarschuwt de onderzoekseenheid hen dat ze in het ontwikkelen van aanbevelingen rekening moeten houden met bijvoorbeeld de nieuwe beleidsontwikkelingen in de VS of met de vroegere ervaringen in Soedan.

Een medewerkster van de horizontale onderzoekseenheid kwam op het idee om binnen de organisatie een expertendatabank te ontwikkelen. Per personeelslid bevat die databank relevante informatie over de expertise die hij of zij in huis heeft, zoals de geschreven academische werken, uitgevoerde onderzoeken, werkervaring in bepaalde gebieden of talenkennis. Op die manier wordt het personeel in staat gesteld eerst beroep te doen op de aanwezigheid van expertise binnen de organisatie vooraleer externe experts aangesproken dienen te worden. [237]

Naast de eenheid voor horizontaal beleidsonderzoek, dragen ook Programmadirecteurs met hun kwalitatieve beoordelingen bij tot het institutionele leerproces. Deze evaluaties dienen immers als interne referentiedocumenten om ICG’s analyse, beleidsvoorschriften en advocacy te verbeteren.

3.5. Beoordeling van ICG

Een aantal kwantitatieve indicatoren zijn voorhanden om de vooruitgang van ICG te meten. De belangrijkste hiervan zijn de operaties, meer specifiek het aantal landen met ICG terreinrojecten, de output, gemeten in het aantal rapporten en briefing papers per jaar, het aantal vermeldingen in de media, het aantal consultaties van ICG’s website en de omvang en herkomst van de financiële steun.

De kwalitatieve beoordeling valt uiteen in vier delen. In de eerste plaats is het nuttig te weten wat het lot van ICG’s aanbevelingen is, worden ze geïmplementeerd of niet? Een beoordeling van ICG door derden in de vorm van feedback of externe evaluatiestudies geeft een indicatie hoe waardevol betrokkenen ICG vinden. Daarnaast zijn de programmadirecteurs dan weer het beste geplaatst om de terreinprojecten van binnenuit te beoordelen. Tenslotte kan een analyse en evaluatie van de organisatiestructuur van belang zijn met het oog op groeimogelijkheden voor de toekomst.

3.5.1. Kwantitatieve metingen

3.5.1.1. Operaties

2002 was een jaar van consolidatie volgend op twee jaren van zeer snelle groei. Het eind 2001 opgestarte Midden Oosten/Noord Afrika programma werd uitgebreid met een regionaal hoofdkwartier te Amman, terreinanalisten in Israël en Egypte en consulenten in andere gebieden. Beperktere uitbreiding vond plaats binnen de West Afrika, Hoorn van Afrika en Zuid Azië projecten en het Taiwan project is in zijn beginfase. In 2002 opereerde ICG vijf regionale programma’s en rapporteerde vanuit 35 verschillende landen of entiteiten (ten opzichte van 24 in 2001).[238]

Figuur 2. Het aantal landen of entiteiten met ICG terreinrapportage

Bron: INTERNATIONAL CRISIS GROUP, ICG Annual report 2003, Review of 2002 and plans for 2003, Brussels, ICG, 2003, 26

3.5.1.2. Output

Voor het tweede opeenvolgende jaar nam het aantal door ICG geproduceerde rapporten en briefing papers toe, van 70 in 2001 naar 82 in 2002. Over het algemeen zijn briefing papers zo’n 10 tot 15 pagina’s lang, terwijl rapporten zo’n 25 tot 50 pagina’s bevatten. ICG publiceerde één rapport in boeklengte in 2002 getitelt God, Oil and Country: Changing the Logic of War in Sudan.[239] Ondanks de stijging van het aantal rapporten en briefing papers blijft ICG benadrukken dat zij als organisatie kwaliteit belangrijker vindt dan kwantiteit.[240]

Figuur 3. Het aantal rapporten en briefing papers uitgegeven in 1995-2002

Bron: INTERNATIONAL CRISIS GROUP, ICG Annual report 2003, Review of 2002 and plans for 2003, Brussels, ICG, 2002, 26

3.5.1.3. Mediavermelding en website consultaties

Tijdens de maanden mei, juni en juli 2002 ondernam ICG een analyse van de mediarapportage over haar activiteiten. Tijdens die periode noteerde ze 532 artikels met ICG vermelding. Haar activiteiten in Azië kregen het meeste aandacht met 40% van de meldingen. Activiteiten in Afrika werden vermeld in bijna 30% van de mediarapportages, de Midden Oosten en Balkan programma’s werden elk aangehaald in 15% van de vermeldingen. Over ICG’s activiteiten in Latijns Amerika verschenen amper twee artikels. Het overwicht van de meldingen over activiteiten in Afrika en Azië is waarschijnlijk te wijten aan het feit dat er tijdens die periode zeven rapporten over Azië en zes over Afrika geproduceerd werden. Het Balkan en Midden Oosten programma produceerden er elk drie, het Latijns Amerikaans programma amper één. Deze mediavermeldingen kunnen tevens opgedeeld worden in twee categorieën, diegene die verwijzen naar ICG zonder verdere uitleg over haar rol of reputatie te geven en diegene die het lezerspubliek voorzien van een beschrijving van ICG als organisatie. Van de 532 geanalyseerde rapporten, vermelden er 200 ICG met uitleg over haar rol en activiteiten: meer dan 40% beschreef ICG als ‘Brussels-based’ en ongeveer evenveel als een ‘think tank’ (vaak samengenomen: ‘the Brussels-based think tank’. De meerderheid van de andere referenties wezen op ICG’s niet-gouvernementele of non-profit status. Relatief weinig vermeldingen (amper 5%) refereerden naar ICG’s rol in conflictpreventie en oplossing. Meer dan 60% van de het totale aantal vermeldingen gaven geen enkele beschrijving van ICG ander dan haar naam, dit levert een bewijs van ICG’s groeiende naambekendheid in de internationale media.[241]

Naast de media vormt ICG’s crisisweb een ander belangrijk advocacy instrument. Het aantal bezoeken aan ICG’s Crisisweb steeg van 480000 in 2001 naar 810000 in 2002.[242] In het totaal werden 770000 rapporten en briefing papers gedownload in 2002 (526000 in 2001). Crisisweb ontvangt gemiddeld 68000 bezoekers per maand, die gemiddeld 11 minuten besteden op de site.[243]

Figuur 4. Het aantal bezoekers van ICG’s website per maand

Bron: INTERNATIONAL CRISIS GROUP, ICG Annual report 2003, Review of 2002 and plans for 2003, Brussels, ICG, 2003, 27

3.5.1.4. Financiële steun

In 2002 bleef ICG’s inkomen groeien. Een grote stijging van de financiering door stichtingen en een kleine toename in overheidsbijdragen deed de beschikbare fondsen oplopen tot $8.8 miljoen (ten opzichte van $7 miljoen in 2001). Achttien overheden steunden ICG in 2002 (15 in 2001), collectief droegen zij $2,9 miljoen bij of 33% van de beschikbare fondsen. Stichtingen brachten $5 miljoen bij ($3.5 in 2001) of 57% van het totale budget. Andere bronnen zoals individuen en bedrijven voorzagen een additionele $900000 of 10% van alle middelen. In 2003 wordt het inkomen verwacht nog verder te stijgen tot ongeveer $9.5 miljoen. Die stijging zal er komen dankzij een toename in overheidsbijdragen, eerder dan van andere donoren gezien de moeilijke economische situatie

De omvang van de ongebonden financiering geeft een aanduiding van het vertrouwen van donoren in de gehele organisatie. Anno 2003 bedraagt het aandeel van ongebonden financiering 60% van het totale budget. ICG geniet van aanzienlijke vrijheid om zelf haar projecten te bepalen. Donoren blijken vertrouwen te hebben in de werking van ICG.[244]

Figuur 5. Beschikbare fondsen 1995-2002, gerangschikt per donor

Bron: INTERNATIONAL CRISIS GROUP, ICG Annual report 2003, Review of 2002 and plans for 2003, Brussels, ICG, 2003, 27

3.5.1.5. Uitkomst

Wanneer men probeert na te gaan wat er van ICG’s aanbevelingen is terecht gekomen onderzoekt men eerste en vooral of beleidsmakers de aanbevelingen geïmplementeerd hebben, of met andere woorden ICG’s advocacy succesvol is geweest. Hebben beleidsmakers die aanbevelingen niet in hun beleid opgenomen, dan heeft ICG nog niet noodzakelijk volledig gefaald. Indien ICG’s aanbevelingen beleidsmakers hebben aangezet tot een grondig herdenken van hun beleid, hebben ze ten minste een impact gehad. Nemen beleidsmakers de aanbevelingen wel op in hun beleid, dan is dat niet noodzakelijk de ICG’s verdienste, er zijn immers vele organisaties actief en causaliteit blijft een moeilijk te bepalen gegeven. Zelfs al kan het oorzakelijke verband vastgesteld worden, dan nog beschikt men niet over een garantie voor een succesvolle uitkomst. Het beleid kan namelijk irrelevant worden door een plotse verandering van de situatie, de implementatie kan verkeerd getimed worden of verhinderd worden door gebrek aan middelen. ICG valt dus moeilijk te evalueren aan de hand van beleidsuitkomsten. Het gaat hier immers om een twee trapsproces, eerst en vooral de impact van advocacy op beleid en vervolgens de impact van beleidsverandering op het voorkomen of oplossen van een conflict. ICG probeert niettemin het spoor van haar aanbevelingen op te volgen en steunt daarbij op feedback van de beleidsmakers voor wie haar aanbevelingen bedoeld zijn. ICG ondernam in 2002 een opvolgstudie van alle aanbevelingen die ze sinds januari 2001 had ondernomen.[245]