English version of this page

Hvorfor er læring så vanskelig innen bistand?

Manglende læring fra bistandsevalueringer har blitt diskutert i flere tiår - og spørsmålet er fortsatt like utfordrende. En ny forskningsrapport utforsker hvordan læring kan være vanskelig å forene med hensynet til ansvarlig forvaltning av bistandsmidler.

Photo: Pexels

Evaluering av bistand er forventet å tjene to viktige formål: å ansvarliggjøre forvaltningen og å bidra til læring. Begrepet ansvarliggjøring (på engelsk: accountability) innebærer «å holdes ansvarlig for» eller «stilles til ansvar for», og brukes i bistandssammenheng om å redegjøre for hvordan bistandsmidler blir brukt og hvilke resultater de fører til. Læring forstås gjerne som en prosess der evaluering gir ny kunnskap som fører til endring. Ifølge en studie som nylig er avsluttet ved UiO, er læring i praksis vanskelig å forene med ansvarliggjøring.

Denne konklusjonen har Kristian Bjørkdahl (SUM, UiO), Desmond McNeill (SUM, UiO) og Hilde Reinertsen (TIK, UiO) kommet frem til etter å ha gjennomgått relevant litteratur, kartlagt evalueringshistorien i Norge og Sverige, undersøkt et utvalg av evalueringsrapporter, samt intervjuet nøkkelpersoner innen svensk og norsk bistandsevaluering.

Hilde Reinertsen, TIK

«Mens læring ofte kan skje "på stedet" for de som er involvert i det praktiske arbeidet med bistand og evaluering, er det mye vanskeligere å syntetisere og overføre denne læringen til organisasjonen som helhet – og å oppnå såkalt big learning,» sier Hilde Reinertsen. «Jo lenger unna praksisfeltet eller den konkrete evalueringsprosessen man er, jo vanskeligere blir det. Mange har overdrevne forventninger til hva evalueringen kan løse,» fortsetter Reinertsen.

Bistandsevalueringens selvmotsigelser

Både Norad, Sida og andre bistandsgivere fastslår at bistandsevaluering skal bidra til både ansvarliggjøring og læring. Dette omtales gjerne som evalueringens «doble formål» eller «tvillingmål». I offisielle håndbøker og publikasjoner anerkjenner giverne imidlertid sjelden at de to formålene står i et spenningsforhold, eller til og med i et motsetningsforhold, til hverandre.

I sin analyse kommer forskningsgruppen frem til at slike spenninger og motsetninger stadig oppstår i praksis. Hvis man vektlegger ett av formålene, vil det ofte skje på bekostning av det andre. Gruppen konkluderer dermed med at det dobbelte formålet i praksis fører til vanskelige kompromisser.

Ansvarliggjøring på bekostning av læring

I rapporten viser forskerne hvordan en rekke slike kompromisser må gjøres i løpet av en evalueringsprosess. Den som bestiller evalueringen står overfor en rekke valg: Er det viktigst å bygge intern tillit (blant ansatte) eller ekstern tillit (i offentligheten)? Er det viktigst å sikre en formelt korrekt, uavhengige evalueringsprosess eller en mer uformell, åpen intern prosess? Skal de eksterne konsulentene, som normalt hyres til å gjøre evalueringen, tilrettelegge for en god læringsprosess eller fungere mer som kritiske, eksterne revisorer?

Kristian Bjørkdahl, SUM

Selv om evalueringsansatte ved hovedkontorene i Norad og Sida ønsker å skape læringsorienterte evalueringsprosesser, går hensynet til ansvarliggjøring i praksis ofte på bekostning av læring. Dette kommer tydelig frem i forskningsgruppens retoriske analyse av et utvalg evalueringsrapporter.

"Mange av rapportene vi leste var relativt sterke på beskrivelse og analyse", sier Kristian Bjørkdahl. "Dette gjør dem relativt nyttige med hensyn til ansvarliggjøring, fordi de kartlegger hva som har skjedd i et bistandsprogram. Imidlertid var de langt svakere på å formulere lærdommer og anbefalinger på bakgrunn av analysene. Dette gjør læring langt vanskeligere."

Bistand er på defensiven

For å forklare hvorfor læring er vanskelig å oppnå selv når evalueringsavdelingene aktivt jobber for å fremme læring, peker forskerne på evalueringssystemet og den større politiske konteksten som enhver evalueringsprosess er en del av. Her er ressursbegrensninger en viktig utfordring: Ofte har både de som iverksetter, skriver, leser og bruker evalueringsrapportene svært begrenset tid. I tillegg er både bistanden og utenrikstjenesten preget av hyppig utskifting av personale, noe som svekker kontinuiteten. Et tredje problem er at syntetisering av evalueringsfunn i seg selv er en vanskelig øvelse. Til sammen gjør dette det svært krevende å omdanne evalueringskunnskap til handling.

Desmond McNeill, SUM

I tillegg kan den bredere politiske konteksten i praksis motvirke åpne læringsprosesser. Såkalt resultatbasert bistandsforvaltning, som er veletablert i både Norge og Sverige, vektlegger ansvarliggjøring som et sentralt prinsipp. Det innebærer i praksis at bistandspersonell dokumenterer hvordan midler blir anvendt på en måte som fremmer innsyn og gjennomsiktighet, men som kan svekke åpne diskusjoner og risikovilje.

"Bistand er en risikofylt virksomhet – og er derfor også lett å kritisere. Og bistandsevaluering har alltid også en politisk dimensjon. Når bistand er på defensiven, vektlegger politisk ledelse ansvarliggjøring, mens læring nedprioriteres", sier Desmond McNeill.

Fire utfordringer

Forskerne konkluderer rapporten med å oppfordre alle som er engasjert i bistand og bistandsevaluering – både i praksis og i den offentlige debatten – til å åpent diskutere de praktiske motsetningene mellom ansvarlighet og læring. De oppfordrer også til å justere forventningene til hva både bistandsevaluering og bistandsarbeid kan oppnå.

Til slutt stiller de fire spørsmål alle bør ta stilling til:

  • Er det alltid nødvendig å ha en evalueringsrapport, og hva slags rapport bør det i så fall være?
  • Er det alltid nødvendig med et eksternt evalueringsteam, og hva skal deres rolle i så fall være?
  • Hva om evalueringsrapporten ikke inneholder anbefalinger, kun skisserer mulige veivalg, og overlater til de involverte å vurdere hva som skal gjøres videre?
  • Bør hensynet til ansvarliggjøring fortsatt styrkes, selv når det går på bekostning av læring?

Rapportens konklusjoner og anbefalinger har blitt mottatt med både applaus og kritikk fra bistandsevalueringsmiljøet. "Vi innser at dette kan være kontroversielle funn, men vi håper at rapporten vår kan føre til en konstruktiv debatt i både Norge og Sverige", sier teamet.

Av Hilde H Holsten
Publisert 29. mai 2017 13:56 - Sist endret 5. juli 2017 09:21