Het maken van een zoekstrategie is altijd mensenwerk; het is goed als iemand meekijkt en checkt of je nog dingen over het hoofd hebt gezien, of alle haakjes goed staan, of er nog termen toegevoegd zouiden kunnen worden, etc.
De Canadian Agency for Drugs and Technology in Health (CADTH) and de Cochrane Information Retrieval Methods Work Group hebben in 2009 het Peer Review of Electronic Search Strategies (PRESS) instrument ontwikkeld – een evidence-based checklist om zoekstrategieën ten behoeve van systematic reviews (SR) of richtlijnen te beoordelen/evalueren.
Een nieuw onderzoek van de AHRQ (Agency for Healthcare Research and Quality) in de VS heeft gekeken naar de bruikbaarheid van het PRESS instrument in de praktijk.
Twee manieren van review zijn vergeleken: ‘open’ (zonder vast stramien) en m.b.v. het PRESS instrument.
Gemeten zijn de ervaringen van de reviewers en de reactie op de ontvangen reviews van degenen die de originele searches hadden opgesteld. Wat nadrukkelijk niet is gemeten is het effect dat gesuggereerde aanpassingen zouden hebben gehad op de uitkomst van de search / de uitkomsten van de uiteindelijke SR/richtlijn.
Een paar conclusies:
- de voorkeur van reviewers lijkt uit te gaan naar het beschikbaar stellen van de PRESS checklist bij het beoordelen van searches, zonder deze verplicht te stellen
- review van de search geeft bij originele opstellers searches nauwelijks aanleiding tot aanpassen searches. De belangrijkste redenen hiervoor zijn:
- gepasseerd station: het proces richting SR/richtlijn is al te ver gevorderd om de search nog aan te passen
- gedane suggesties betreffen punten waarover geen algemene consensus bestaat, bv. gebruik limits, al dan niet zoeken op uitkomsten, gebruik van (welke) veldcodes etc.
Opmerkingen
- het betrof een kleine steekproef, ongelijk verdeeld over de 2 armen. Er was relatief veel loss-to-followup in de PRESS-groep.
- alleen bij gebruik van het PRESS-instrument werden fouten in de search-opbouw gemeld (booleans, haakjes etc)
Een conceptversie (publiek domein) van het rapport is online beschikbaar, evenals de bijbehorende appendix.
