Ik wens je een gelukkige evidence base en een weerbarstig 2019!

Leestijd +- 5 minuten

In mijn dagelijks werk (onderzoek naar ontwerpen voor gedragsverandering) is het een soort toverformule waarmee je indruk maakt op beleidsmakers, communicatiemedewerkers, en onderzoekers. Ik heb het over ‘Evidence based’. Want ja, als jouw interventie of campagne evidence based is, dan zit je goed, toch?

Dit was ook mijn overtuiging toen ik praktijkgericht onderzoek ging doen. Daar gingen we die bewezen theorieën gebruiken om effectieve interventies te ontwerpen. We begonnen voortvarend in de literatuur te zoeken, haalden er waardevolle inzichten uit, verdiepten ons in de doelgroep en bedachten interventies. Interventies die knettergoed zouden gaan werken, dacht ik.

De weerbarstige werkelijkheid
Wat bleek, de werkelijkheid is weerbarstiger dan onze evidence base ons had doen geloven. Onze interventies pakten niet altijd zo uit als we hadden gehoopt. ‘Hoe kan dat toch?’ vroeg ik me af. Ben ik de enige die dit ervaart? Nee, gelukkig niet hoorde ik op een cursus Evaluation and Adaptation van interventies. Mijn mede-cursisten uit de (onderzoeks)praktijk ervaren ook deze weerbarstige werkelijkheid, en het is zelfs in onderzoek aangetoond. Kijk maar eens naar onderstaande grafiek (figuur 1). Deze komt uit een vergelijkend onderzoek van Professor Weisz (Harvard University) naar de effectiviteit van evidence-based therapieën voor de kinderpsychotherapie.


Figuur 1. Bron: Weisz et al. 2013. JAMA Psychiatry.

De linker balkjes zijn de effect groottes als je een interventie in een lab setting test (op de universiteit bijvoorbeeld). Indrukwekkend en bovenal publiceerbaar. Maar wat gebeurd er als je de interventie dan in de beoogde context plaatst? Dan maken die staafjes een vrije val naar minimale effect groottes. Dat zijn de staafjes aan de rechterkant. Tjee, dat is een verschil, het effect is bijna weg. De reden? De invloed van de context!

Labstudies vs de beoogde context
Veel studies naar de effecten van interventies gebeuren in labs. Uiteraard een mooie plek om inzicht te krijgen in bepaalde mechanismen of onderdelen van de interventie. Het geeft echter bar weinig houvast voor hoe de interventie in de praktijk werkt, in de context waarvoor het bedoeld is.

Tijdens onze cursus geeft dr. John Weisz aan dat dit grofweg in drie dingen zit. Ik neem voor het gemak even de metafoor van het kerstdiner; de gasten, de gedekte tafel en de gastheer- of vrouw. Wie zijn de gasten? In studies in een lab doen vaak de mensen mee die hiervoor gemotiveerd zijn of die graag wat geld willen verdienen voor hun huisfeest. Die mensen zijn niet altijd een afspiegeling van de (heterogene) doelgroep van je interventie in de beoogde context. En vaak speelt er bij hen meer dan die ene ‘determinant’ die je in je interventie wilt veranderen. Dan de gedekte tafel, de setting. Tja, het verschil tussen een witgekalkt lab-kamertje en de werkelijkheid van bijvoorbeeld een buurthuis of school hoef ik niet uit te leggen. Wie zijn de gastheer- of vrouw? De meeste studies worden uitgevoerd door de onderzoekers, terwijl in de praktijk hele verschillende professionals of bijvoorbeeld ouders jouw interventie gaan uitvoeren. Daar heb je vaak geen grip op. De invloeden die je in het lab zo goed had gecontroleerd (wie, waar, en hoe de interventie uitpakt) glippen ineens door je vingers.

Zoals dr. Graham Moore mooi verwoord: ‘Even where an intervention itself is relatively simple, its interaction with its context may still be highly complex’ (Moore et. al., 2015).

Adaptation frameworks als de oplossing?
Hoe ga ik daar mee om als praktijkgerichte onderzoeker? Tijdens de cursus krijg ik het advies om er een ‘adaptation-framework’ bij te pakken. Een handvat om je evidence-based interventie aan te passen aan de daadwerkelijke context. Bijvoorbeeld IM-Adapt (intervention mapping adapt), of de ‘MCR Guidance on adaptation’, of het ‘STEP-framework’. Hieronder zie je een overzicht van al dit soort frameworks door de tijd.

Bron: Escoffery et al., 2018

Toch blijft het knagen. Het voelt als de omgekeerde wereld; een evidence based interventie ontwerpen buiten de context en dan vervolgens ‘adapten’ aan de context. Wat zegt de evidence base dan eigenlijk? Ik merk dat de vraag in mijn hoofd groter wordt. Waarom niet direct die context meenemen in het ontwerpproces? ‘Maar wacht eens even’ zeg ik tegen mezelf. Die context meenemen, dat is eigenlijk heel normaal voor ontwerpers (architecten, industrieel ontwerpers, etc.). Met mijn kunstacademie achtergrond, en mijn lesgeven bij CMD (communicatie & media design) weet ik ook dat daar ontwerpmethodes voor zijn. Wat zou het mooi zijn als we deze verschillende wetenschappelijke takken van sport nog meer met elkaar kunnen verweven. Om daarmee de context de aandacht te geven die het verdiend bij het ontwerpen van effectieve interventies. Dat klinkt als een mooie missie voor 2019.

Ik sluit daarom af met het volgende inspirerende citaat: ‘Complex interventions work by introducing mechanisms that are sufficiently suited to their context to produce change, while causes of problems targeted by interventions may differ from one context to another.’ (Moore et al., 2015)

 

Deze blog is geschreven door Anita van Essen, onderzoeker bij het PubLab

Meer lezen?

  • Lees hier eerdere blogs van Anita van Essen