banier wijkengids 2

6.7 Voor de fijnproevers


Wat als er geen wetenschappelijk bewijs is?

Centrale vraag bij de interpretatie van de resultaten is steeds: wat werkt wanneer voor wie en waarom? De uitkomst is nooit ‘gewoon’ een getal, maar altijd een getal in een context. De belangrijkste vragen daarbij zijn:
  • Is de context voldoende in beeld? Zijn alle mogelijke verklarende variabelen (doelgroep, omstandigheden, wijze van implementeren) meegenomen in de analyse?
  • In hoeverre is het gevonden effect toe te rekenen aan de interventie? Of was er ook een effect geweest zonder interventie? Met andere woorden had het effect ook niet plaats kunnen of zullen vinden zonder de interventie?


Ook kan het effect deels veroorzaakt worden door andere factoren.

  • En, last but not least: de reality check. Een effectonderzoek is vaak ‘bureauwerk’, uitgevoerd door mensen die niet in de praktijk werkzaam zijn. Belangrijke vraag is daarom: herkennen professionals en deelnemers uit de praktijk de gevonden effecten?

Gesprekken en interviews met cliënten/burgers en professionals dragen in hoge mate bij aan een goede interpretatie van de resultaten. En bij gebrek aan wetenschappelijk onderbouwde effectmeting kunnen expertoordelen de basis zijn voor een inschatting van de potentiële effecten.


Tussenmetingen

Daarnaast valt er nog veel winst te behalen bij tussenmetingen en voortgangsrapportages, waarbij je alle betrokkenen laat nadenken over hun eigen effectiviteit. De tussentijdse cijfers moeten weer met uitvoerende partijen geduid worden. Herkent iedereen zich in de resultaten? Wat zien we gezamenlijk als de oorzaken? Wat kunnen we er gezamenlijk aan doen?

Bereik je je doelgroep?

Kijk ook naar groepen die je met de interventies niet bereikt, zijn er groepen die consequent niet deelnemen? Waar komt dit door, is er een andere manier om hen nog te bereiken in de toekomst? Of misschien op een indirecte manier?

Wanneer ben je tevreden?

Je kunt veranderingen altijd afzetten tegen de vraag; wat als ik niets gedaan had? Dit kan aan de hand van referentie of controlegebieden, zoals in hoofdstuk 2 besproken. Als er geen verandering is, maar als je niets zou hebben gedaan en de situatie zou zijn verslechterd, dan boek je alsnog winst. Het kan ook zijn dat er wel een verbetering zou zijn opgetreden, ook zonder de ingreep. Dan is het halen van je doelstellingen geen winst. Kortom: Houd goed rekening met alle externe factoren die van invloed kunnen zijn geweest op de resultaten van de interventie.

Rol gemeentelijke onderzoeker

Als gemeentelijke onderzoeker heb je een belangrijke rol. Het is essentieel om goed aangehaakt te zijn bij beleidsbeslissingen en ook als adviseur je kennis en ervaring met informatie en onderzoek in te kunnen brengen.
Gebruik daarnaast de landelijke platforms met (collega-)projectleiders en onderzoekers om die indicatoren op elkaar af te stemmen. Zie voor zo’n platform bijvoorbeeld de Vereniging van Statistiek en Onderzoek.

Drie goede studies
De Wetenschappelijke commissie wijkenaanpak heeft drie onderzoeken benoemd als goede voorbeelden. Dit zijn

  • “De staat van de aandachtswijken” van OS Amsterdam: systematische opzet, goede aansluiting bij beleidsdoelstellingen en vergelijking met referentiegebieden;
  •  “Wijkatlas Kruiskamp en Koppel” van OS Amersfoort: SMART formulering beleidsdoelstellingen, toetsing aan feitelijke ontwikkeling, keuze voor lager ruimtelijk schaalniveau;
  • “Bedrijvigheid en leefbaarheid in stedelijke woonwijken” van PBL: Degelijke effectstudie, goede inbedding in bestaande kennis, methodisch zuiver, beleidsrelevante inzichten.