3. Evaluatie

3.1. Inleiding

Slaagt ICG in haar opzet om conflicten te voorkomen of op te lossen? De vraag naar een evaluatie van de organisatie dringt zich op. Evaluaties binnen het veld van conflicttransformatie blijken evenwel geen vanzelfsprekendheid. Zij moeten immers afrekenen met een aantal methodologische problemen. Hoe evalueert een organisatie als ICG zichzelf? Welke lessen trekt zij uit die evaluaties?

Aan de hand van kwantitatieve metingen van een aantal indicatoren, kwantitatieve en kwalitatieve beoordelingen van de uitkomst trachten we analoog aan ICG’s evaluatieproces een oordeel te vellen over het al dan niet slagen van ICG in haar missie.

3.2. Evaluaties in het veld van conflictpreventie

Niels Dabelstein omschrijft de evaluatiesituatie bij NGO’s als methodologische anarchie.[225] Niettegenstaande het feit dat het aantal evaluaties stijgt, blijven deze variëren in kwaliteit, omvang, diepte en methodologie. Hij bemerkt dat humanitaire bijstand historisch gezien veel minder het voorwerp is geweest van strenge en uitgebreide evaluatieprocedures dan bijvoorbeeld ontwikkelingshulp.[226]

Mark Hoffman voegt daaraan toe dat conflictoplossing en vredesopbouw praktijken nóg veel minder aan evaluaties onderworpen worden.[227] Pas zeer recentelijk zijn beoefenaars en organisaties gericht op conflicttransformatie zich gaan bezig houden met evaluaties. Vaak zien zij evaluaties als irrelevant of als een noodzakelijke last enkel uit te voeren om donoren tevreden te stellen. Sommigen beschouwen evaluaties zelfs als een gevaarlijke bezigheid waarbij onwetende buitenstaanders worden aangemoedigd tot het geven van onbevoegde pejoratieve beoordelingen. Desalniettemin zal de interesse om te weten of een actie nuttige resultaten oplevert zeker stijgen aangezien het aantal conflictoplossing en vredesopbouw georiënteerde interventies en het aantal betrokken NGO’s ook stijgen. Hoewel er al aanzienlijk anekdotisch bewijs bestaat, kan men nu pas de ontwikkeling en consolidatie van systematische kennis over de impact van conflicttransformatie activiteiten waarnemen.[228] Het behoeft hier geen betoog dat het in het belang van donoren, beoefenaars en ontvangers is dat geschikte evaluatiemethodes ontwikkeld worden die aangepast zijn aan de complexe en multi actor aard van conflicttransformatie.

Een drietal methodologische problemen bemoeilijken de ontwikkeling van evaluatiemethodes voor conflictpreventie. Ten eerste moet elke beoordeling deels steunen op een ‘tegen feitelijke’ redenering.[229] Het falen van conflictpreventie impliceert immers het argument dat het gewelddadige conflict vermeden of beperkt had kunnen worden indien de ondernomen conflictpreventiemaatregelen, andere factoren gelijk blijvend, anders waren geweest. Dit geldt eveneens voor het beoordelen van het succes. Succes impliceert dat indien de desbetreffende conflictpreventiemaatregelen niet genomen waren waarschijnlijk een gewapend conflict had plaatsgevonden. Dit soort redeneringen vereisen een theoretische basis voor de logica van het alternatieve hypothesepad en een zo sterk mogelijke empirische ondersteuning.

Ten tweede moet men enige mate van relativiteit toelaten in de meetschalen van mislukking tot succes, zonder zo relatief te worden dat men al zijn evaluatieve betrouwbaarheid verliest. Dit betekent het maken van een aantal onderscheiden tussen het succesvol vermijden van het negatieve en het succesvol bereiken van het positieve. Bij mislukkingen is het niettemin nuttig te onderzoeken of er uit de puinhoop geen doeltreffende beleidsmaatregelen kunnen gedistilleerd worden.

Tenslotte moet de vergankelijkheid van succes in rekening genomen worden. Een beleid kan initieel zijn doelstellingen lijken te hebben bereikt, maar uiteindelijk op zekere dag toch instorten.[230]

3.3. ICG’s Zelfevaluatie

ICG is een niet gouvernementele organisatie en moet daarom strikt genomen aan niemand rekenschap afleggen. Legitimiteit van haar optreden kan de organisatie enkel putten uit haar verdiensten en de kwaliteit van haar producten.[231] Grondige evaluatiestudies zijn bijgevolg noodzakelijk om vast te stellen hoe succesvol ICG is in het uitvoeren van haar missie, het voorkomen en oplossen van conflicten.[232]

ICG is zich ten volle bewust van het belang van evaluaties zowel voor zichzelf als organisatie als voor donoren en commentatoren. Sinds eind 2001 hanteert ICG een interne evaluatiemethode die bestaat uit drie elementen: kwantitatieve metingen van output, kwantitatieve metingen van uitkomst en kwalitatieve metingen van impact. Kwantitatieve metingen van output zijn het gemakkelijkste te produceren, het gaat dan om het aantal projecten en personeelsleden, het aantal gepubliceerde rapporten en vermeldingen in de media, het aantal bezoeken aan de website en de omvang van de verworven fondsen. Deze indicatoren geven een idee van de vooruitgang die de organisatie maakt, maar ze beantwoorden niet rechtstreeks de vraag of de organisatie werkelijk impact heeft.

Kwantitatieve metingen van de uitkomst worden ook ondernomen, maar zijn onvermijdelijk onbevredigend. Bij het natrekken van wat er met haar aanbevelingen gebeurt, vindt ICG een consistent patroon van ongeveer 30 tot 40% die binnen het jaar geïmplementeerd worden. Het resultaat hangt natuurlijk sterk af van de manier waarop die aanbevelingen geformuleerd en geteld worden. Het blijft moeilijk om een oorzakelijk verband vast te stellen tussen een argument en een uitkomst, vooral wanneer die uitkomst iets (een conflict) is dat niet gebeurt. Ondanks de methodologische zwakheden van deze methode vereisen de meeste donoren toch een poging tot kwantificering van de uitkomst.[233] Bovendien kan het bekomen percentage op verschillende manieren geïnterpreteerd worden. ICG doet immers vaak aanbevelingen waarvan ze weet dat die nooit geïmplementeerd gaan worden, maar waarvan ze vindt dat die toch gezegd moeten worden. Een heel hoog percentage zou met andere woorden betekenen dat de toegevoegde waarde van ICG vrij klein is, omdat de desbetreffende actor de maatregelen ook zonder ICG’s advies had aangenomen of andere organisaties precies diezelfde adviezen hadden gegeven. Een zeer laag percentage zou dan weer duiden op het ontbreken van praktische relevantie van de aanbevelingen of een falende advocacystrategie.[234]

ICG hecht het meeste belang aan de kwalitatieve beoordeling. De feedback van beleidsmakers, de mensen die de organisatie tracht te beïnvloeden, wordt aangevuld met een uitgebreide zelfevaluatie waarbij de Programmadirecteurs nagaan of hun analyses correct waren en of hun aanbevelingen geïmplementeerd werden. Het gaat hier om een interne evaluatie, waardoor Programmadirecteurs voelen dat ze ook kritieken en negatieve aspecten kunnen verwoorden zonder zich te kwetsbaar op te stellen. Elke Programmadirecteur wordt verwacht ieder project binnen zijn programma te evalueren aan de hand van vier criteria. Deze vier criteria zijn de overeenkomst tussen ICG activiteiten en de conflictpreventie/oplossing doelstelling, de relevantie en bruikbaarheid van ICG rapporten binnen de beleidscyclus, de impact van specifieke aanbevelingen op beleid en de impact van de geïmplementeerde aanbevelingen op de eigenlijke preventie of oplossing van het conflict.[235]

Een kwalitatieve evaluatie van de hele organisatie noch een externe evaluatie werden reeds ondernomen. De reden die ICG daarvoor aangeeft is het feit dat ze nog steeds een op terreinwerk gebaseerde organisatie is en dat een evaluatie moet focussen op de praktijk, namelijk de terreinanalyse. Ze evalueren een deel dat hen een indicatie geeft van het geheel. Programmadirecteurs zijn volgens hen het best geplaatst om evaluaties uit te voeren. Zij hebben een grondige kennis van het dagelijkse functioneren, ze krijgen feedback tijdens advocacy meetings en hebben contact met Projectdirecteurs op het terrein.

De meeste donoren vereisen ook een bepaalde evaluatie, sommige zoals DfID hebben zelfs heel specifieke frameworks waarbinnen die evaluatie moet uitgevoerd. Twee personeelsleden in het advocacy kantoor te Parijs zijn verantwoordelijk voor het uitvoeren van specifieke evaluaties voor donoren.[236]

3.4. Institutioneel Leren

De eenheid voor horizontaal beleidsonderzoek vervult binnen ICG de functie van een soort van ‘lessons learnt unit’. De beleidsanalisten van de eenheid proberen op de hoogte te blijven van de beleidsdebatten, institutionele ontwikkelingen, conferenties en academische literatuur omtrent conflictpreventie en conflictoplossing, daarnaast beantwoorden zij ook vragen van terreinpersoneel. Die vragen komen meestal ad hoc, telkens wanneer een van de teams een bepaald rapport voorbereidt. Het gaat dan om vragen als wat kunnen de ervaringen van het naoorlogse Japan of Duitsland ons leren over potentiële post Saddam scenario’s in Irak of welke lessen kunnen we trekken uit de overgangsadministraties in Kosovo en Oost Timor? Zij huren nu en dan een externe expert in om onderzoek te doen naar vrij technische en ingewikkelde beleidsmateries zoals overgangsrecht, hervorming van leger en politie, ten einde zo specifiek mogelijke aanbevelingen te kunnen doen. Naarmate er meer vragen komen vanuit verschillende projecten, wordt het onderzoek systematischer en vergaart ICG meer en meer expertise in de vorm van institutionele lessen over welke acties bepaalde actoren ondernomen hebben, wat succesvol was enzovoort.

De eenheid voor horizontaal beleidsonderzoek werkt niet louter op vraag van het terreinpersoneel. De onderzoeksanalisten nemen tevens op eigen initiatief deel aan het voorbereidingsproces van een rapport. Zij trachten het terreinpersoneel er voortdurend aan te herinneren dat de eenheid over veel bruikbare informatie beschikt met betrekking tot de onderwerpen waarover ze rapporteren. Als een team in een bepaald land over mobilisatie rapporteert, waarschuwt de onderzoekseenheid hen dat ze in het ontwikkelen van aanbevelingen rekening moeten houden met bijvoorbeeld de nieuwe beleidsontwikkelingen in de VS of met de vroegere ervaringen in Soedan.

Een medewerkster van de horizontale onderzoekseenheid kwam op het idee om binnen de organisatie een expertendatabank te ontwikkelen. Per personeelslid bevat die databank relevante informatie over de expertise die hij of zij in huis heeft, zoals de geschreven academische werken, uitgevoerde onderzoeken, werkervaring in bepaalde gebieden of talenkennis. Op die manier wordt het personeel in staat gesteld eerst beroep te doen op de aanwezigheid van expertise binnen de organisatie vooraleer externe experts aangesproken dienen te worden. [237]

Naast de eenheid voor horizontaal beleidsonderzoek, dragen ook Programmadirecteurs met hun kwalitatieve beoordelingen bij tot het institutionele leerproces. Deze evaluaties dienen immers als interne referentiedocumenten om ICG’s analyse, beleidsvoorschriften en advocacy te verbeteren.

3.5. Beoordeling van ICG

Een aantal kwantitatieve indicatoren zijn voorhanden om de vooruitgang van ICG te meten. De belangrijkste hiervan zijn de operaties, meer specifiek het aantal landen met ICG terreinrojecten, de output, gemeten in het aantal rapporten en briefing papers per jaar, het aantal vermeldingen in de media, het aantal consultaties van ICG’s website en de omvang en herkomst van de financiële steun.

De kwalitatieve beoordeling valt uiteen in vier delen. In de eerste plaats is het nuttig te weten wat het lot van ICG’s aanbevelingen is, worden ze geïmplementeerd of niet? Een beoordeling van ICG door derden in de vorm van feedback of externe evaluatiestudies geeft een indicatie hoe waardevol betrokkenen ICG vinden. Daarnaast zijn de programmadirecteurs dan weer het beste geplaatst om de terreinprojecten van binnenuit te beoordelen. Tenslotte kan een analyse en evaluatie van de organisatiestructuur van belang zijn met het oog op groeimogelijkheden voor de toekomst.

3.5.1. Kwantitatieve metingen

3.5.1.1. Operaties

2002 was een jaar van consolidatie volgend op twee jaren van zeer snelle groei. Het eind 2001 opgestarte Midden Oosten/Noord Afrika programma werd uitgebreid met een regionaal hoofdkwartier te Amman, terreinanalisten in Israël en Egypte en consulenten in andere gebieden. Beperktere uitbreiding vond plaats binnen de West Afrika, Hoorn van Afrika en Zuid Azië projecten en het Taiwan project is in zijn beginfase. In 2002 opereerde ICG vijf regionale programma’s en rapporteerde vanuit 35 verschillende landen of entiteiten (ten opzichte van 24 in 2001).[238]

Figuur 2. Het aantal landen of entiteiten met ICG terreinrapportage

Bron: INTERNATIONAL CRISIS GROUP, ICG Annual report 2003, Review of 2002 and plans for 2003, Brussels, ICG, 2003, 26

3.5.1.2. Output

Voor het tweede opeenvolgende jaar nam het aantal door ICG geproduceerde rapporten en briefing papers toe, van 70 in 2001 naar 82 in 2002. Over het algemeen zijn briefing papers zo’n 10 tot 15 pagina’s lang, terwijl rapporten zo’n 25 tot 50 pagina’s bevatten. ICG publiceerde één rapport in boeklengte in 2002 getitelt God, Oil and Country: Changing the Logic of War in Sudan.[239] Ondanks de stijging van het aantal rapporten en briefing papers blijft ICG benadrukken dat zij als organisatie kwaliteit belangrijker vindt dan kwantiteit.[240]

Figuur 3. Het aantal rapporten en briefing papers uitgegeven in 1995-2002

Bron: INTERNATIONAL CRISIS GROUP, ICG Annual report 2003, Review of 2002 and plans for 2003, Brussels, ICG, 2002, 26

3.5.1.3. Mediavermelding en website consultaties

Tijdens de maanden mei, juni en juli 2002 ondernam ICG een analyse van de mediarapportage over haar activiteiten. Tijdens die periode noteerde ze 532 artikels met ICG vermelding. Haar activiteiten in Azië kregen het meeste aandacht met 40% van de meldingen. Activiteiten in Afrika werden vermeld in bijna 30% van de mediarapportages, de Midden Oosten en Balkan programma’s werden elk aangehaald in 15% van de vermeldingen. Over ICG’s activiteiten in Latijns Amerika verschenen amper twee artikels. Het overwicht van de meldingen over activiteiten in Afrika en Azië is waarschijnlijk te wijten aan het feit dat er tijdens die periode zeven rapporten over Azië en zes over Afrika geproduceerd werden. Het Balkan en Midden Oosten programma produceerden er elk drie, het Latijns Amerikaans programma amper één. Deze mediavermeldingen kunnen tevens opgedeeld worden in twee categorieën, diegene die verwijzen naar ICG zonder verdere uitleg over haar rol of reputatie te geven en diegene die het lezerspubliek voorzien van een beschrijving van ICG als organisatie. Van de 532 geanalyseerde rapporten, vermelden er 200 ICG met uitleg over haar rol en activiteiten: meer dan 40% beschreef ICG als ‘Brussels-based’ en ongeveer evenveel als een ‘think tank’ (vaak samengenomen: ‘the Brussels-based think tank’. De meerderheid van de andere referenties wezen op ICG’s niet-gouvernementele of non-profit status. Relatief weinig vermeldingen (amper 5%) refereerden naar ICG’s rol in conflictpreventie en oplossing. Meer dan 60% van de het totale aantal vermeldingen gaven geen enkele beschrijving van ICG ander dan haar naam, dit levert een bewijs van ICG’s groeiende naambekendheid in de internationale media.[241]

Naast de media vormt ICG’s crisisweb een ander belangrijk advocacy instrument. Het aantal bezoeken aan ICG’s Crisisweb steeg van 480000 in 2001 naar 810000 in 2002.[242] In het totaal werden 770000 rapporten en briefing papers gedownload in 2002 (526000 in 2001). Crisisweb ontvangt gemiddeld 68000 bezoekers per maand, die gemiddeld 11 minuten besteden op de site.[243]

Figuur 4. Het aantal bezoekers van ICG’s website per maand

Bron: INTERNATIONAL CRISIS GROUP, ICG Annual report 2003, Review of 2002 and plans for 2003, Brussels, ICG, 2003, 27

3.5.1.4. Financiële steun

In 2002 bleef ICG’s inkomen groeien. Een grote stijging van de financiering door stichtingen en een kleine toename in overheidsbijdragen deed de beschikbare fondsen oplopen tot $8.8 miljoen (ten opzichte van $7 miljoen in 2001). Achttien overheden steunden ICG in 2002 (15 in 2001), collectief droegen zij $2,9 miljoen bij of 33% van de beschikbare fondsen. Stichtingen brachten $5 miljoen bij ($3.5 in 2001) of 57% van het totale budget. Andere bronnen zoals individuen en bedrijven voorzagen een additionele $900000 of 10% van alle middelen. In 2003 wordt het inkomen verwacht nog verder te stijgen tot ongeveer $9.5 miljoen. Die stijging zal er komen dankzij een toename in overheidsbijdragen, eerder dan van andere donoren gezien de moeilijke economische situatie

De omvang van de ongebonden financiering geeft een aanduiding van het vertrouwen van donoren in de gehele organisatie. Anno 2003 bedraagt het aandeel van ongebonden financiering 60% van het totale budget. ICG geniet van aanzienlijke vrijheid om zelf haar projecten te bepalen. Donoren blijken vertrouwen te hebben in de werking van ICG.[244]

Figuur 5. Beschikbare fondsen 1995-2002, gerangschikt per donor

Bron: INTERNATIONAL CRISIS GROUP, ICG Annual report 2003, Review of 2002 and plans for 2003, Brussels, ICG, 2003, 27

3.5.1.5. Uitkomst

Wanneer men probeert na te gaan wat er van ICG’s aanbevelingen is terecht gekomen onderzoekt men eerste en vooral of beleidsmakers de aanbevelingen geïmplementeerd hebben, of met andere woorden ICG’s advocacy succesvol is geweest. Hebben beleidsmakers die aanbevelingen niet in hun beleid opgenomen, dan heeft ICG nog niet noodzakelijk volledig gefaald. Indien ICG’s aanbevelingen beleidsmakers hebben aangezet tot een grondig herdenken van hun beleid, hebben ze ten minste een impact gehad. Nemen beleidsmakers de aanbevelingen wel op in hun beleid, dan is dat niet noodzakelijk de ICG’s verdienste, er zijn immers vele organisaties actief en causaliteit blijft een moeilijk te bepalen gegeven. Zelfs al kan het oorzakelijke verband vastgesteld worden, dan nog beschikt men niet over een garantie voor een succesvolle uitkomst. Het beleid kan namelijk irrelevant worden door een plotse verandering van de situatie, de implementatie kan verkeerd getimed worden of verhinderd worden door gebrek aan middelen. ICG valt dus moeilijk te evalueren aan de hand van beleidsuitkomsten. Het gaat hier immers om een twee trapsproces, eerst en vooral de impact van advocacy op beleid en vervolgens de impact van beleidsverandering op het voorkomen of oplossen van een conflict. ICG probeert niettemin het spoor van haar aanbevelingen op te volgen en steunt daarbij op feedback van de beleidsmakers voor wie haar aanbevelingen bedoeld zijn. ICG ondernam in 2002 een opvolgstudie van alle aanbevelingen die ze sinds januari 2001 had ondernomen.[245]

Bron: ICG, Intern Document

3.5.2. Kwalitatieve beoordeling

3.5.2.1. Beoordeling door derden

Feedback, gevraagd of ongevraagd, van donoren, rapportontvangers, journalisten en anderen, geeft een indicatie van de relatieve kwaliteit, de relevantie en bruikbaarheid van ICG’s analyse, beleid en advocacy activiteiten alsook van de mate waarin deze inspanningen besluitvormers beïnvloeden. Een systematische evaluatie van deze feedback is evenwel nodig om een duidelijk en meer objectief beeld te krijgen van de prestaties van ICG.[246]

Bij gebrek aan mogelijkheden tot zulke systematische evaluatie, wordt er hier een voorbeeld gegeven van de belangrijkste recente feedback te vinden op ICG’s website en in haar jaarrapporten. Die feedback is uiteraard uitsluitend positief. Daarna volgt een korte samenvatting van de kritische feedback gedestilleerd uit wetenschappelijke en andere literatuur. Tenslotte worden de besluiten die een Carnegie Project evaluatiestudie in december 1998 trok met betrekking tot INGO’s in Bosnië-Herzegovina hernomen. Dit drieluik poogt een zo realistisch en objectief mogelijke beoordeling van ICG  te geven.

3.5.2.1.1. Positieve feedback op ICG

Op haar website wijdt ICG een hele rubriek aan “What they say about ICG” en waar ze recente feedback op ICG publiceert.[247] Het overzicht toont positieve commentaren sinds 2001 gemaakt door politici/beleidsmakers, academici, journalisten, diplomaten, vertegenwoordigers van internationale organisaties en personen uit de NGO wereld. Daarnaast wordt elke pagina van ICG’s jaarrapporten gesierd door zulke feedback. Het meest in het oog springende citaat op de website komt uit een speech van de Secretaris Generaal van de VN Kofi Annan gedaan voor de voltallige Raad te New York op 5 oktober 2002 tijdens een ICG diner.

I am delighted to have this opportunity to meet with you this evening, and to explore some of the crises of our time with a unique assembly of humanitarians who have done so much to make the United Nations an agent of a safer, more just world. At one point or another, most of you have been called upon to contribute your skills and energies to the cause of peace, and I thank you for your service. Together in a remarkably short time, you have made the International Crisis Group a global voice of conscience, and a genuine force for peace. You have made the international community better able to anticipate and understand conflict, if not actually prevent it. You have stepped in when others couldn’t; you have spoken out where others have remained silent; and you have challenged all States to live up to what Gareth has taught us to call their responsibility to protect. Your mediation work –and your leadership in early warning and conflict prevention– have been enormously important. So has your intellectual contribution to finding new approaches to long-standing conflicts. Your well researched and carefully argued reports have greatly helped us in understanding the origins and complexities of the conflict in which we become involved – often at short notice. ICG’s work in the Balkans, the Middle East and Africa provides good examples of the important role you are playing in support of our shared goals. Your Balkans Programme, encompassing projects in Albania, Bosnia, Kosovo, FYROM, Montenegro and Serbia, has developed an excellent track record. It has been an intellectual as well as a practical stimulus for the UN’s work in the region. In addition you have provided vital support to our efforts to resolve a number of conflicts in Africa such as Burundi, DRC, Zimbabwe and the Mano River Union.[248]

3.5.2.1.2. Negatieve feedback op ICG

In tegenstelling tot de lovende woorden die ICG citeert op haar website en in haar jaarlijkse rapporten, geeft de al dan niet wetenschappelijke lectuur ook melding van kritiek. Critici stellen dat ICG’s zoektocht naar internationale media-aandacht heeft geleid tot stoerdoenerige en flamboyante analyses die journalisten wel graag horen, maar die minder bruikbaar zijn in de aanpak van complexe politieke problemen. Anderen merken op dat bepaalde aanbevelingen nooit mogelijk zouden zijn in eigen land, zoals het voorstel om kranten op te doeken in Kosovo, politieke kandidaten te bannen in Bosnië en IMF of Wereldbank steun te verlenen aan het Indonesische leger.[249]

Het omvattende Balkan rapport After Milosevic: A Practical Agenda for Lasting Balkan Peace (2001) lokte meer ongezouten kritiek uit. Nationalisten uit de Balkan bestempelden het rapport als het ultieme plan van de VS om definitieve controle te verwerven over hun gebied, ICG werd als het schoothondje van zijn grootste financier (de VS) afgeschilderd. De nationalisten noemden de ICG Raad een bende notabelen die allen een hand hadden in de Balkan tragedie en het personeel een toonbeeld van anti-Servische sentimenten. Het zogenaamde Balkan expertteam bestond volgens hen maar uit advocacy journalisten en politieke analisten van klein kaliber die ten onrechte toegang genoten tot de macht in het State Department van de VS, de Europese regeringen en de Amerikaanse media.[250] Deze kritiek verdient enige nuancering, aangezien hij gericht is tegen elke vorm van interventionisme, niet specifiek tegen ICG. Evenmin trekt ICG altijd al dan niet openlijk de kaart van de VS, zie bijvoorbeeld de rapporten over de oorlog in Irak. Toch is de kritiek niet geheel onterecht, bij leden van de Raad spelen inderdaad ook eigenbelangen mee, zij zijn bij een aantal conflicten betrokken partij geweest in hun vroegere hoedanigheid als politicus of diplomaat. Het mes van hun bekendheid snijdt aan twee kanten, aan de ene kant zijn zij omwille van hun hoog profiel de geschikte personen om aan advocacy te doen, aan de andere kant vertegenwoordigen zij hun eigen verleden en kunnen zij zich vaak niet op onpartijdigheid beroepen.

Ook meer gematigde, anti-Milosevic Serviërs reageerden tegen ICG’s rapporten. In september 2001 lanceerde ICG een rapport over de hervormingen in Joegoslavië (nu Servië en Montenegro) getiteld Serbia’s Trasition: Reforms under Siege.[251] In diezelfde periode publiceerde ook de Europese Bank voor Heropbouw en Ontwikkeling een rapport over de staat van diezelfde hervormingen. De rapporten liepen sterk uiteen in de beoordeling van de ontwikkelingen in Joegoslavië. Terwijl de EBRD de implementatie van hervormingen als succesvol beschreef, noemde ICG de hervormingen grotendeels cosmetisch, niet ondersteund door overeenkomstige institutionele of legale hervormingen. De President van het Servische Eenheidscongres noemde het ICG rapport partijdig en nadelig voor toekomstige hervormingen en het huidige beleid van de VS en Europa.[252] De werkwijze van ICG ontlokt vaker soortgelijke kritiek. Door haar onafhankelijke positie kan de organisatie uitspraken doen die veel verder gaan dan die van andere internationale organisaties, hier de EBRD, die gebonden zijn aan onpartijdigheid en politiek correcte uitspraken dienen af te leveren.

Kritische lezersbrieven vanuit bijvoorbeeld Oezbekistan of Birma proberen ICG te wijzen op een verkeerde interpretatie van de situatie in het land, te weinig kritiek op hun regering etc.[253] Of deze kritieken al dan niet terecht zijn, kan moeilijk beoordeeld worden zonder een grondige kennis van de situatie in de desbetreffende landen. Belangrijk is hier hoe ICG omgaat met de geuite kritiek. Onder elk rapport op ICG’s website staat ‘Any comments about this publication? Click here’. Deze mails komen terecht in de mailbox van een ICG medewerkster op het hoofdkantoor in Brussel. Zij scheidt de nuttige van de zinloze commentaren en stuurt die door naar de bevoegde persoon, meestal de auteur van het betreffende rapport.

3.5.2.1.3. Evaluatiestudie: ICG in Bosnië-Herzegovina

In 1998 volbracht Chip Gagnon, professor aan het Ithaca College in de staat New York, in kader van het Carnegie Project “Evaluating NGO Strategies for Democratization and Conflict Prevention in the Formerly Communist States” een evaluatiestudie over vijf INGO’s werkzaam in Bosnië-Herzegovina. De bestudeerde INGO’s hadden allemaal als doel conflictpreventie. Hun activiteiten werden ingedeeld in vier brede strategieën. ICG’s werkzaamheden werden toegewezen tot de strategie “het rechtstreeks proberen te veranderen van de politieke structuren en instituties in het naoorlogse Bosnië-Herzegovina”. De andere strategieën waren partijopbouw en burgeropvoeding, bouwen van lokale NGO capaciteiten en heropbouw als een manier om een burgersamenleving uit te bouwen.

Gagnon rapporteerde dat ICG op veel gebieden de best geplaatste NGO is om een echte impact te hebben, omdat de organisatie diegene probeert te beïnvloeden die de macht hebben om de politieke structuren te veranderen. ICG richt zich immers vooral op internationale organisaties en staten. Maar ICG zorgt ook voor informatie voorziening naar de Bosniërs zelf toe, informatie over beslissingen die bij internationale organisaties vaak achter gesloten deuren genomen worden. ICG is qua financiering niet afhankelijk van een enkele internationale organisatie of staat, kan dus bijgevolg onafhankelijke analyses publiceren die vaak heel kritisch zijn ten opzichte van internationale actoren en hun beleid.

In terms of evaluation, the ICG reports are widely distributed and widely read in the international community, and they have apparently made an impact. Most recently, the UN has accepted as its official policy ICG’s calls to reform the electoral system to make the election of moderates more likely. ICG also has a high profile among Bosnians; a few people I met who had no connections to the international or NGO community spontaneously mentioned ICG as having a very good handle on the situation and having very good ideas for Bosnia-Herzegovina.

In terms of effectiveness from a macro perspective, because of its focus on the structural issues, ICG’s strategy of appealing to international actors to change the political structures themselves is perhaps the most potentially effective. It is also important because it casts light upon the activities of international organisations which often go uncriticized and unchecked, thus forcing them to take into account the effect of their activities on BH society and to at least consider other perspectives. ICG thus provides somewhat of a check on the institutional and political factors that in absence of criticism tend to drive these organisations. Given the power of international organisations in BH this watchdog function is extremely important. In terms of impact, ICG as well as other observers claim that ICG’s activities have brought about rethinking of a number of important structural political issues, including strategies of minority return, the fate of the disputed city of Brko and, perhaps most importantly, the BH electoral system.[254]

De grootste beperking voor de effectiviteit van INGO’s is volgens de studie het feit dat de noden van de samenleving vaak niet overeenkomen met de belangen die bepalend zijn voor de projecten en prioriteiten van organisaties. INGO’s zoals ICG worstelen immers vaak met het probleem van gebonden financiering. Ten tijde van de studie was bij ICG het aandeel van de financiering voor specifieke terreinprojecten in het totale budget zodanig sterk gestegen dat er amper genoeg ongebonden fondsen overbleven om de noodzakelijke kosten van het hoofdkantoor te dekken. ICG genoot maar weinig flexibiliteit in die dagen.[255]

Deze studie vormt een interessante bijdrage aan de beoordeling van ICG’s effectiviteit. Hét probleem bij de evaluatie van de INGO strategieën in Bosnië-Herzegovina is evenwel de korte termijn spanne. De evaluatiestudie werd uitgevoerd minder dan drie jaar na het beëindigen van de oorlog en amper twee jaar na het opstarten van ICG’s project in Sarajevo. De conclusies kunnen bijgevolg niet meer dan voorlopige conclusies zijn.

3.5.2.2. Beoordeling terreinprojecten

Over het algemeen beoordelen de verschillende Programmadirecteurs ICG als succesvol in het onder de internationale aandacht brengen van de conflictgebieden waar ze werkzaam is.[256] De organisatie draagt bij tot het beter begrijpen van die conflictsituaties en brengt bovendien ideeën aan of doet voorstellen die serieus worden genomen. Voorbeelden van gebieden waar ICG het gebrek aan diepgaande, onafhankelijke conflictanalyses succesvol aanpakt zijn talrijk: Sierra Leone, Liberia, Pakistan, Burundi, Myanmar, Zimbabwe, Soedan, Somalië, Centraal Azië, Albanië, Colombia etc. Zelfs met betrekking tot onderwerpen die reeds uitgebreid behandeld worden door andere organisaties zoals het vredesproces in het Midden Oosten (Israël/Palestina), slaagt ICG erin manieren te vinden om foutieve alom tegenwoordige opvattingen af te wijzen en oplossingen aan te dragen die gebaseerd zijn op een eigen begrip van de dynamiek op het terrein.

Op acht jaar tijd is ICG er tevens in geslaagd een goede toegang te veroveren tot sleutelbeleidsmakers binnen overheden en internationale organisaties. Vooral in het Westen heeft de organisatie een hoog profiel opgebouwd, waardoor ICG druk kan uitoefenen op de internationale gemeenschap. Dit vormt echter geen garantie tot successen, het mobiliseren van internationale politieke wil tot handelen is slechts een deel van de oplossing. In bepaalde conflictgebieden zoals Centraal Azië, Burundi, Zimbabwe, Afghanistan en Birma slaagt ICG er niet in lokale actoren te beïnvloeden. De heersende regimes weigeren te zwichten voor druk van buitenaf of zien ICG als een westerse indringer. In landen als Zimbabwe en Saoedi-Arabië kampt ICG met toegangsbeperkingen. In Liberia, Colombia en Algerije ontbreken veiligheidsgaranties voor reizen buiten de hoofdstad, zodat de bewegingsvrijheid van de personeelsleden aanzienlijk verkleind wordt.

Tekortkomingen in een aantal projecten zijn terug te brengen op een onderbemanning van bepaalde terreinkantoren en een ontoereikend budget. Het Centraal Afrika en het Algerije project kampen met problemen om geschikt personeel te vinden. Ook het West Afrika project lijdt onder een tekort aan middelen. Het personeels- en middelentekort ondermijnt ICG’s mogelijkheden om te rapporteren over onverwachte gebeurtenissen, publicatiedeadlines te halen, aanhoudende advocacy te ondernemen, te focussen op conflictpreventie in breedste zin en beroep te doen op externe expertise. 

ICG’s aanbevelingen zijn vaak zeer relevant zowel voor internationale als nationale betrokkenen bij het beleidsproces. Zo werkte de organisatie een fundamentele vredesarchitectuur uit voor Soedan, die de basis is gaan vormen voor het vredesproces. Ook de voorschriften voor Myanmar werden positief onthaald door de internationale gemeenschap. Soms blijken de aanbevelingen echter te idealistisch. Hoewel nieuwe ideeën nodig zijn, moeten ze toch enigszins gebaseerd zijn op wat mogelijk is. In Centraal Azië bleken de voorschriften niet altijd realistisch, verkeerd getimed en vaak te buitenlands te zijn. Tevens ontbreekt het nogal eens aan een concrete planning voor de implementatie van aanbevelingen in Indonesië en Latijns Amerika. ICG staat niet altijd stil bij de problemen die kunnen rijzen bij de toepassing van aanbevelingen door bepaalde actoren en verspeelt zo ook de mogelijkheid om die problemen te anticiperen.

Elke regio plaatst ICG voor specifieke uitdagingen. In Afrika heeft ze af te rekenen met de erfenis van het kolonialisme. Haar advocacy is succesvol binnen de internationale gemeenschap, maar minder op lokaal of regionaal vlak. ICG wordt in het beste geval gezien als een westerse organisatie die Afrika’s problemen op de internationale agenda plaatst, in het slechtste geval als een neokoloniale gemachtigde die erop uit is het Afrikaanse management van Afrikaanse oplossingen voor Afrikaanse problemen te ontsporen. In de Balkan wordt ICG beschouwd als partijdig, als staande aan de kant van bepaalde lokale actoren, zoals de gematigde Bosniërs, de Albanese Kosovaren en tegen bepaalde anderen zoals Kostunica en de Bosnische Serviërs. Ze hoeft niet objectief te zijn, in de zin van het gelijk behandelen van iedereen, maar moet toch waken over het feit dat uitdrukkelijke partijdigheid haar impact kan schaden. In Azië en het Midden Oosten worstelt ICG met het al dan niet hanteren van achterliggende assumpties. De VS ziet die regio’s namelijk doorheen een ‘terrorismelens’, terwijl Europa de definitie en het gebruik van die term in vraag stelt. Verwijzingen naar de Amerikaanse bezorgdheid over terrorisme zijn legitiem en begrijpelijk, vooral als ICG in Washington aanhoord wil worden, maar riskeren tegelijkertijd ook publiek en geloofwaardigheid elders te verliezen.[257]

3.5.2.3. Beoordeling ICG structuur met het oog op de toekomst

Ondanks het feit dat de organisatie sterk gegroeid is de laatste jaren en nu met meer dan 90 personeelsleden de grootste NGO werkzaam op het gebied van conflictpreventie is, behoudt ICG een relatief simpele organisatiestructuur. Een speciaal ontwerp ontbreekt, de structuur is flexibel en intuïtief. Telkens wanneer nodig werden bepaalde elementen aan de organisatiestructuur toegevoegd, zoals een verandering van de advocacy kantorenstructuur of het aanstellen van meer Programmadirecteurs.[258]

Naar de toekomst toe pleit President Gareth Evans voor consolidatie. Een verdere uitbreiding zou de organisatie meer bureaucratisch en minder flexibel maken om te reageren op snel veranderende internationale omstandigheden. Het gevaar bestaat dat ICG zich met teveel gaat bezighouden, aan kwaliteitsverlies gaat lijden, terwijl de kosten torenhoog oplopen. De Raad treedt de President daarin bij en pleit voor zelfbeperking.[259]

Toch mag een beslissing tot consolidatie niet tot gevolg hebben dan ICG op haar lauweren gaat rusten. ICG zal actief aan haar eigen toekomst moeten bouwen door met een kritische blik strategisch management toe te passen om relevant te blijven.

3.6. Besluit

Evaluaties binnen het veld van conflicttransformatie blijken geen evidentie te zijn. Interesse voor evaluatiepraktijken is recent en de methodologische problemen zijn talrijk. ICG beseft hoe belangrijk evaluaties zijn voor de opbouw van haar legitimiteit. Door het feit dat de organisatie te maken heeft met een twee trapsproces, de impact van haar advocacy op beleid en vervolgens de impact van beleidsverandering op het voorkomen of oplossen van een conflict, is een eenduidig evaluatieproces echter ontoereikend. ICG heeft dan ook doorheen de jaren een specifiek intern evaluatieproces ontwikkeld, dat allerminst perfect is, maar toch redelijk onderbouwde beoordeling van ICG’s prestaties toelaat. Het institutionele leerproces ten gevolge van evaluaties vindt vooral plaats binnen de eenheid voor horizontaal beleidsonderzoek.

Teneinde een beoordeling te kunnen maken van ICG’s prestaties werden zowel kwantitatieve als kwalitatieve factoren in rekening gebracht. De kwantitatieve indicatoren zoals operaties, output en mediavermeldingen tonen een sterk groeiende organisatie die tevens de nodige media-aandacht weet te mobiliseren. De steeds toenemende financiële steun vormt een bewijs dat ICG door haar donoren gezien wordt als een belangrijke speler in het internationale beleidsdebat. De kwantitatieve metingen van uitkomst daarentegen blijven voor interpretatie vatbaar.

Kwalitatieve beoordelingen zijn noodzakelijkerwijze subjectief en dienen dus met enige voorzichtigheid behandeld te worden. Afgaande op de positieve feedback lijkt ICG erkend te worden als dé leidende, onafhankelijke, niet-gouvernementele bron van analyse en advies in de wereld met betrekking tot de preventie en de oplossing van conflicten voor overheden en internationale organisaties. Kofi Annan noemde ICG immers ‘een globale stem van het geweten en een echte kracht voor vrede’. Beoordeling van de terreinprojecten door Programmadirecteurs tonen niettemin aan dat ICG’s handelingen niet in alle projecten even succesvol zijn en dit omwille van uiteenlopende redenen, sommige te wijten aan ICG’s gebreken, andere buiten haar controle. Naar de toekomst toe wordt de keuze gemaakt voor consolidatie eerder dan voor verdere expansie, maar zelfs consolidatie zal in alle waarschijnlijkheid een zware opdracht blijken.