Er zijn online verschillende AI-tools beschikbaar die antwoord geven op zo ongeveer elke vraag die je stelt. Wat zou het handig zijn als dit kan helpen in het vinden van bewijs voor de klinische vragen die we dagelijks hebben. Maar hoe betrouwbaar zijn beschikbare tools hiervoor?
Auteurs
DRS. J. ( JOEP) VAN DEN BROEK D’OBRENAN
Kinderrevalidatiearts De Hoogstraat Revalidatie, Utrecht
DR. J. ( JOHAN) LIM
Arts in opleiding tot revalidatiearts OOR Noord West Nederland
DR. M.W. (MATTIJS) ALSEM
Kinderrevalidatiearts UMC Utrecht
Een Critically Appraised Topic (CAT) is een methode om op een snelle manier een evidence-based antwoord te krijgen op een klinische vraag. Echter, zelfs aan een CAT ben je vaak toch enkele uren kwijt om tot een goed antwoord te komen. Wij namen de proef op de som, en vergeleken de antwoorden en overwegingen van een CAT met het antwoord van EvidenceHunt, een bekende tool voor het zoeken in medische literatuur. De twee casussen hieronder zijn fictief en individueel uitgewerkt; de conclusie en beschouwing zijn gezamenlijk geformuleerd.
Casus 1:
Ervaringsdeskundigen bij jongeren
Joep van den Broek d’Obrenan
Op de Mytylschool zagen wij een 13-jarige jongen met cerebrale parese, dyskinetisch bilateraal, GMFCS IV, MACS IV, CFCS IV. Tevens cerebrale visusstoornissen en epilepsie. Hierbij is er sprake van dyskinesie armen, benen, hoofd en romp, aansturingsproblematiek mondgebied met speekselverlies en slikproblemen. Zijn sociaal emotionele en cognitieve ontwikkelingsleeftijd is 2-4 jaar. Hij functioneert in een voortgeduwde rolstoel. Hij bedient zelfstandig een tablet om filmpjes te kijken en gebruikt zijn spraakcomputer wisselend effectief. In de thuissituatie vraagt hij veel nabijheid en betrokkenheid van ouders. Ouders zoeken naar balans tussen het ondersteunen van hun kind en de zorg/ruimte voor henzelf.
Bij ouders van jongeren met dergelijke beperkingen zien wij vaker deze zoektocht naar balans in de zorg. Daarbij valt op dat ouders hier verschillend mee om gaan. Daarom zien wij kansen voor de inzet van ervaringsdeskundigheid. Wij vragen ons af welke effecten van de inzet van ervaringsdeskundigheid bekend zijn ter ondersteuning van ouders in dergelijke situaties, om onze begeleiding in deze situatie richting te geven. Om deze vraag te beantwoorden voer ik een traditionele CAT uit en zoek ik met EvidenceHunt.
Vraag
De vraag die ik geformuleerd heb: Wat is het effect van de inzet van ervaringsdeskundigheid bij ouders van jongeren met ernstig meervoudige beperkingen, op de kwaliteit van leven, draagkracht en/of vitaliteit van de gezinsleden?
PICO voor CAT
- populatie: ouders van kinderen met ernstig meervoudige beperkingen.
- interventie: inzet van ervaringsdeskundigen.
- uitkomst: kwaliteit van leven, draagkracht, vitaliteit.
CAT
Voor de search in Pubmed heb ik eerst gezocht naar terminologie voor ervaringsdeskundigheid. Met de term experiential expertise krijg ik helaas geen resultaten, daarom heb ik dit verbreed naar peer support. Deze search levert 67 artikelen op (zie bijlage in online artikel). Ik heb ervoor gekozen de outcomes van de PICO niet toe te voegen aan de zoektermen, aangezien dit aantal behapbaar lijkt voor screening. Na screening van titel en abstract vind ik drie passende reviews (naast verschillende interessante kwalitatieve en interventie studies). Deze artikelen zijn qua validiteit en toepasbaarheid goed beoordeeld. In de review1 die de inzet van individuele peer to peer support voor ouders onderzoekt, wordt geconcludeerd dat er positieve effecten gevonden worden op welzijn en kwaliteit van leven, en dat er uitdagingen gezien worden in de uniformiteit van deze benadering en de praktische uitvoering. In de review die zich richt tot peer to peer support in groepen zijn de auteurs voorzichtig met het trekken van conclusies vanwege verschillen in gebruikte methodes en mogelijke bias bij de geselecteerde artikelen.2 De derde review kijkt naar een bredere groep en observeert positieve effecten op welzijn en kwaliteit van leven, maar is eveneens terughoudend conclusies te trekken vanwege studiekwaliteit en mogelijke bias.3 Op basis van deze informatie ben ik geneigd ervaringsdeskundigheid individueel in te zetten bij de begeleiding van ouders, en heb ik nog wel behoefte aan andere inzichten met betrekking tot hoe deze begeleiding precies vorm te geven.
EvidenceHunt
Vraag
Wat is het effect van de inzet van ervaringsdeskundigen bij ouders van jongeren met ernstig meervoudige beperkingen?
Antwoord
Mijn zoekopdracht in EvidenceHunt komt tot de conclusie dat de inzet van ervaringsdeskundigen in de ondersteuning van ouders van kinderen met ernstig meervoudige beperkingen mogelijk positief effect heeft op emotioneel en psychologisch welzijn van ouders en kwaliteit van leven van gezinnen. Er wordt benadrukt dat het belangrijk is de specifieke ondersteuningsbehoeften van ouders te kennen om passende interventie te bieden. Deze conclusie komt overeen met de CAT.
Voor deze conclusie wordt gebruik gemaakt van een review1 die ook bij mijn Pubmed search naar voren kwam, van een kwalitatieve studie4 en van een systematic review.5
Beschouwing
Waar ik bij de uitvoering van deze twee zoekmethoden al tegenaan loop is het selecteren van terminologie. Het kost mij relatief veel tijd om de wetenschappelijke (Engelstalige) terminologie in het thema ervaringsdeskundigheid te leren kennen en hiermee een adequate search uit te voeren. De vraag is dan ook hoe betrouwbaar mijn zoektermen zijn. Hierbij is het voordeel van EvidenceHunt dat de zoektermen afgeleid worden van de vraag die zelfs in het Nederlands gesteld kan worden. In mijn ogen is de kans groter dat hiermee meer passende terminologie gebruikt wordt.
Met betrekking tot de resultaten komen de gevonden artikelen in de twee methoden niet geheel overeen. Twee van de drie artikelen die in EvidenceHunt gebruikt worden voor het antwoord, zouden afvallen bij mijn critical appraisel vanwege de taal (Duits) en omdat de doelgroep (P) niet overeenkomt. Het wordt mij niet geheel duidelijk waarom de artikelen die ik in de Pubmed search vind niet terugkomen bij EvidenceHunt. Ik kan mij voorstellen dat ook bij EvidenceHunt de gebruikte terminologie van invloed is op de resultaten. Vermoedelijk dat met het opdoen van ervaring in het gebruik, dit makkelijker en nauwkeuriger wordt. In de EvidenceHunt Pro versie worden de artikelen overigens wel gevonden.
Over het algemeen hebben mensen de neiging te zoeken naar bevestiging van de ideeën die ze al hebben. De analyse van EvidenceHunt staat los van deze vooringenomenheid. Dat vind ik een interessant voordeel van het gebruik van EvidenceHunt. Andere kant is natuurlijk dat ook large language models (LLM) niet zonder vooroordelen zijn.6
Ander voordeel van het gebruik van EvidenceHunt zou kunnen zijn dat meerdere, kleinere studies meegenomen kunnen worden in de analyse. Bij de uitvoering van een CAT is dit vanwege beperkt beschikbare tijd (in ieder geval in mijn situatie) niet haalbaar.
Casus 2:
De functionele prognose van juveniele dermatomyositis
Johan Lim
Een 13-jarig voorheen gezond meisje met een anti-RNP gemedieerde juveniele dermatomyositis was klinisch opgenomen met spierzwakte (axiaal, armen en benen), orthopnoe en passagère pijn op de borst (ten gevolge van ademhalingszwakte en myocarditis), en Raynaud fenomenen. Premorbide waren er geen beperkingen, woonde zij met haar familie in een woning met een trap, ging zij naar de 2e klas van de middelbare school, en had zij als hobby’s gamen en afspreken met vriendinnen (rondlopen in het dorp). Thans had zij moeite met het sluiten van knoopjes/ritsen, hulp nodig voor het openen van doppen, steun van één arm nodig voor doorstappend traplopen en had zij zich ziekgemeld van school. Haar ouders vroegen zich af of hun dochter weer volledig conform premorbide niveau van functioneren zou kunnen gaan functioneren/ontwikkelen.
Vraag
Ik vroeg mij af of ik een functionele prognose zou kunnen geven op basis van wetenschappelijke evidence én of EvidenceHunt een door mij uitgevoerde CAT zou kunnen vervangen, vooral in termen van validiteit. Mis ik belangrijke artikelen (sensitiviteit) en zijn de gevonden artikelen daadwerkelijk relevant (specificiteit) als ik dat vergelijk met mijn CAT? Daarnaast was ik benieuwd naar de betrouwbaarheid van EvidenceHunt: kriig ik dezelfde antwoorden als ik de vraag (later) opnieuw stel?
PICO voor CAT
- populatie: kind met juveniele dermatomyositis.
- follow-up: ≥1 jaar.
- uitkomst: volledig herstel activiteiten en participatie.
- prognostische factor: aanwezigheid anti-RNP auto-antistoffen.
CAT
Met een search in (inter)nationale richtlijnen en PubMed , vond ik vier bruikbare studies.7-10 Deze vond ik bruikbaar, mede omdat het studies betroffen met gedeeltelijk prospectieve data,7 relatief grote patiëntenaantallen, gepubliceerd in tijdschriften met een relatief hoge impactfactor. Samengevat was de conclusie van mijn CAT dat er, vanwege de lage methodologische kwaliteit én toepasbaarheid van de gevonden studies, weinig vertrouwen was in de schatting van volledig functioneel herstel bij de bovengenoemde casus op basis van de gevonden wetenschappelijke evidence.
EvidenceHunt
Vraag
Wat is de functionele prognose van kinderen met juveniele dermatomyositis?
Antwoord
- Juveniele dermatomyositis veroorzaakt chronische beperkingen in kinderen.11
- Kinderen met juveniele dermatomyositis ervaren spierzwakte, spierpijn en huiduitslag.11
- De ziekte kan leiden tot proximale spierzwakte van de onderste extremiteiten, in sommige gevallen variërend van graad 3 t/m graad 4.11
- De impact op gezondheid en kwaliteit van leven blijft significant, ondanks behandeling met corticosteroïden en immuunsuppressiva.12
- Alle patiënten behaalden remissie, maar sommigen kunnen laag-gedoseerde corticosteroïdenbehandeling nodig blijven hebben om permanent remissie te behouden.13
- De ziekte kan leiden tot calcinosis cutis, dat niet kan reageren op behandeling.11,13
- Juveniele dermatomyositis kan substantiële fysieke beperkingen veroorzaken en significant de kwaliteit van leven van kinderen beïnvloeden.14
Beschouwing
EvidenceHunt lijkt adequaat antwoord te geven, maar ik miste de critical appraisal die het antwoord/de gevonden studies op waarde schat. Zo zouden de vier referenties niet door mij als bruikbaar zijn aangemerkt: twee niet-Engelstalige studies zonder beschikbaarheid van een full text die nodig is voor een critical appraisal,11,13 één overzichtsstudie (en dus zonder originele data)12 en één overzichtsstudie die niet relevant bleek omdat het over functionele uitkomstmaten ging.14 Als ik de vraag op een later moment herhaalde kreeg ik andere antwoorden en na twee weken een compleet ander antwoord.
Conclusie en beschouwing
EvidenceHunt kan qua accuratesse een CAT niet vervangen. Wel zou het als screenende, richtinggevende search als startpunt kunnen fungeren. Ons advies zou zijn om altijd de referenties te checken. Tot slot is onze indruk dat de betaalde versie (= EvidenceHunt Pro) iets beter zoekt, een overzichtelijker antwoord geeft en meer opties biedt om het zoeken te vergemakkelijken/verbeteren.
Deze versie lijkt qua search veel uitgebreider en iets accurater (nu kwam bij casus 2 één van de vier als bruikbaar aangemerkte studies naar boven, al was het niet de methodologisch beste/prospectieve studie van de vier), qua antwoord overzichtelijker (subkopjes) en qua extra opties beter. Deze extra opties betreffen: kiezen zoekmethode, filters (studietype, impactfactor en sample size) en exportfunctie naar een referentiemanagementprogramma. Overigens is EvidenceHunt ook in het Nederlands beschikbaar. Het is fijn dat EvidenceHunt referenties geeft waar het antwoord op lijkt te worden gebaseerd; dit maakt het minder een black box dan ChatGPT (waar EvidenceHunt op gebaseerd is).
Het beantwoorden van een klinische vraag met behulp van CAT en EvidenceHunt lijkt elkaar eerder aan te vullen dan te vervangen. Beide methoden kennen voor- en nadelen. In het gebruik van een CAT zijn we in de opleiding redelijk getraind, in het gebruik van EvidenceHunt nog niet. Hier is mogelijk nog veel te winnen. Dat EvidenceHunt veel inzicht lijkt te geven in het proces (welke vertalingen worden gemaakt, op welke termen wordt gezocht) en de gebruikte bronnen is daarbij helpend. Wij kunnen het ons voorstellen dat in de medische (vervolg)opleidingen steeds meer kennis over, en vaardigheden in het gebruik van vergelijkbare technologie verwerkt wordt. Daarmee zal het gebruik ervan ook gaan toenemen. Voor degenen die de opleidingstijd al achter de rug hebben kan het dus zinvol zijn om ervaring op te gaan doen met het gebruik van EvidenceHunt als hulpmiddel, om goed mee te kunnen komen met de ontwikkelingen. Immers, onze studenten gebruiken het al regelmatig!
Referenties
- Postma A, K. M. (2024). Exploring individual parent-to-parent support interventions for parents caring for children with brain-based developmental disabilities: A scoping review. Child Care Health Dev.
- Chakraborti M, G. M. (2021 ). Understanding the Implications of Peer Support for Families of Children With Neurodevelopmental and Intellectual Disabilities: A Scoping Review. . Front Public Health.
- Lancaster K, B. A. (2023). Effectiveness of peer support programmes for improving well-being and quality of life in parents/carers of children with disability or chronic illness: A systematic review. . Child Care Health Dev.
- Seliner B, L. B. (2016). Experiences and support needs of parents of hospitalized children with multiple disabilities: a qualitative study. Pflege.
- Mughal F, T. M.-G. (2022). The experiences and needs of supporting individuals of young people who self-harm: A systematic review and thematic synthesis. EClinicalMedicine.
- Shangbin Feng, C. Y. (2023). From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics,
- McCann LJ, Juggins AD, Maillard SM, Wedderburn LR, Davidson JE, Murray KJ, et al. The Juvenile Dermatomyositis National Registry and Repository (UK and Ireland)–clinical characteristics of children recruited within the first 5 yr. Rheumatology (Oxford) 2006;45(10):1255-60.
- Ravelli A, Trail L, Ferrari C, Ruperto N, Pistorio A, Pilkington C, et al. Long-term outcome and prognostic factors of juvenile dermatomyositis: a multinational, multicenter study of 490 patients. Arthritis Care Res (Hoboken) 2010;62(1):63-72.
- Robinson AB, Hoeltzel MF, Wahezi DM, Becker ML, Kessler EA, Schmeling H, et al. Clinical characteristics of children with juvenile dermatomyositis: the Childhood Arthritis and Rheumatology Research Alliance Registry. Arthritis Care Res (Hoboken) 2014;66(3):404-10.
- Varnier GC, Consolaro A, Maillard S, Pilkington C, Ravelli A. Comparison of treatments and outcomes of children with juvenile dermatomyositis followed at two European tertiary care referral centers. Rheumatology (Oxford) 2021;60(11):5419-23.
- Singalavanija S, Liamsuwan S, Limpongsanurak W, Raungsuwan S. Juvenile dermatomyositis in Thai children. J Med Assoc Thai 2001;84(11):1527-33.
- Zouagui A, Abourazzak S, Idrissi ML, Souilmi FZ, Chaouki S, Atmani S, et al. Actuality of juvenile dermatomyositis. Joint Bone Spine 2011;78(3):235-40.
- Constantin T, Ponyi A, Garami M, Gergely L, Fekete G, Danko K. [Clinical characteristics of juvenile dermatomyositis]. Orv Hetil 2003;144(25):1245-50.
- Moorthy LN, Peterson MG, Harrison MJ, Onel KB, Lehman TJ. Physical function assessment tools in pediatric rheumatology. Pediatr Rheumatol Online J 2008;6:9.
Bijlage Casus 1
Referenties
- Chakraborti M, G. M. (2021 ). Understanding the Implications of Peer Support for Families of Children With Neurodevelopmental and Intellectual Disabilities: A Scoping Review. . Front Public Health. , https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8649771/
- Lancaster K, B. A. (2023). Effectiveness of peer support programmes for improving well-being and quality of life in parents/carers of children with disability or chronic illness: A systematic review. . Child Care Health Dev., https://onlinelibrary.wiley.com/doi/10.1111/cch.13063.
- Mughal F, T. M.-G. (2022). The experiences and needs of supporting individuals of young people who self-harm: A systematic review and thematic synthesis. . EClinicalMedicine. , https://pubmed.ncbi.nlm.nih.gov/35783485/
- Postma A, K. M. (2024). Exploring individual parent-to-parent support interventions for parents caring for children with brain-based developmental disabilities: A scoping review. Child Care Health Dev, https://onlinelibrary.wiley.com/doi/10.1111/cch.13255.
- Seliner B, L. B. (2016). Experiences and support needs of parents of hospitalized children with multiple disabilities: a qualitative study. Pflege. , https://pubmed.ncbi.nlm.nih.gov/26974279/.
- Shangbin Feng, C. Y. (2023). From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models. Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics, https://aclanthology.org/2023.acl-long.656.pdf.
Bijlagen Casus 2
Search 1: nationale en internationale richtlijnen
Search: nationaal à richtlijnen database, internationaal à ACR/EULAR en BSR richtlijnen
Resultaten: 4 bruikbare resultaten (1-4)
Search 2 PubMed
Search:
- “Myositis”[Mesh] OR juvenile dermatomyositis[tiab] OR JDM[tiab] OR myositis[tiab]) AND,
- “Child”[Mesh] OR “Adolescent”[Mesh] OR juvenile[tiab] OR child*[tiab] AND,
- “Prognosis”[Mesh] OR “Outcome Assessment, Health Care”[Mesh] OR prognos*[tiab] OR outcome[tiab]
Resultaten: 1131 resultaten.
Search 3 – PubMed versmald m.b.v. filters
Search:
- Search 2 AND,
- Filter article type: Clinical Study, Clinical Trial, Comparative Study, Evaluation Study, Meta-Analysis, Multicenter Study, Observational Study, Systematic Review
- Filter language: English
Resultaten: 147. Op basis van screenen op titel vond ik 20 mogelijk bruikbare resultaten en op basis van screenen op abstract, vond ik uiteindelijk vier bruikbare studies die overeenkwamen met de gevonden bruikbare studies vanuit de richtlijnen (1-4).
Search 4: EvidenceHunt
Vraag: what is the functional prognosis of children with juvenile dermatomyositis?
Antwoord:
- Juvenile dermatomyositis causes chronic disability in children (5).
- Children with juvenile dermatomyositis experience muscle weakness, muscle pain, and skin rashes (5).
- The disease can lead to proximal muscle weakness of the lower extremities, with some cases varying from grade 3 to grade 4 (5).
- The impact on health and quality of life remains significant despite treatment with corticosteroids and immunosuppressors (6).
- All patients achieved remission, but some may require low-dose corticosteroid therapy permanently to maintain remission (7).
- The disease can lead to calcinosis cutis, which may not respond to treatment (5, 7).
- Juvenile dermatomyositis can cause considerable physical functional impairment and significantly affect the children’s quality of life (8).
Search 5 – herhalen search 4 twee weken later
Vraag: “what is the functional prognosis of children with juvenile dermatomyositis?”
Antwoord:
- Early treatment with high doses of prednisone is the best predictor of good functional recovery and minimal calcinosis in children with dermatomyositis [1].
- Low creatine kinase serum level at the time of diagnosis is also a predictor of good functional recovery and minimal calcinosis [2].
- Despite systemic corticosteroid therapy and immunosuppressor treatment, the impact on health and quality of life remains significant [3].
- A multidisciplinary approach involving experts in various fields is necessary for improving outcomes in children with dermatomyositis [4].
- New drug treatments have substantially improved the outcome and prognosis, but a multidisciplinary treatment is mandatory, especially in the first phases of the disease [5].
Referenties
- SL Bowyer et al. Childhood dermatomyositis: factors predicting functional outcome and development of dystrophic calcification. The Journal of pediatrics (1983). https://pubmed.ncbi.nlm.nih.gov/6644423/
- B Tabarki et al. Childhood dermatomyositis: clinical course of 36 patients treated with low doses of corticosteroids. European journal of paediatric neurology : EJPN : official journal of the European Paediatric Neurology Society (2000). https://pubmed.ncbi.nlm.nih.gov/10726593/
- A Zouagui et al. Actuality of juvenile dermatomyositis. Joint bone spine (2011). https://pubmed.ncbi.nlm.nih.gov/21276742/
- H Wakiguchi et al. Multispecialty approach for improving outcomes in juvenile dermatomyositis. Journal of multidisciplinary healthcare (2019). https://pubmed.ncbi.nlm.nih.gov/31213823/
- I Georgi et al. [Advances in the diagnostics and treatment of juvenile dermatomyositis]. Zeitschrift fur Rheumatologie (2024). https://pubmed.ncbi.nlm.nih.gov/38157051/
Search 6: herhalen search 5 direct aansluitend
Vraag: “what is the functional prognosis of children with juvenile dermatomyositis?” 2 weken later direct aansluitend nog een keer:
Antwoord:
- Early treatment with high doses of prednisone is the best predictor of good functional recovery and minimal calcinosis in children with dermatomyositis [1].
- Low creatine kinase serum level at the time of diagnosis is also a predictor of good functional recovery and minimal calcinosis [2].
- Multispecialty approach involving experts in various fields can potentially lead to improved outcomes in children with juvenile dermatomyositis [3].
- Despite medical progress, the impact on health and quality of life remains significant, and numerous predictors for favorable and pejorative evolution have been identified [4].
Referenties
- SL Bowyer et al. Childhood dermatomyositis: factors predicting functional outcome and development of dystrophic calcification. The Journal of pediatrics (1983). https://pubmed.ncbi.nlm.nih.gov/6644423/
- B Tabarki et al. Childhood dermatomyositis: clinical course of 36 patients treated with low doses of corticosteroids. European journal of paediatric neurology : EJPN : official journal of the European Paediatric Neurology Society (2000). https://pubmed.ncbi.nlm.nih.gov/10726593/
- H Wakiguchi et al. Multispecialty approach for improving outcomes in juvenile dermatomyositis. Journal of multidisciplinary healthcare (2019). https://pubmed.ncbi.nlm.nih.gov/31213823/
- A Zouagui et al. Actuality of juvenile dermatomyositis. Joint bone spine (2011). https://pubmed.ncbi.nlm.nih.gov/21276742/
Gerelateerde artikelen NTR
Stap voor stap en samen op weg naar passende AI in de revalidatiezorg
Dokter AI: Wie is er beter in het beantwoorden van klinische vragen, de arts of AI?
‘De belangrijkste vraag: is technologie überhaupt de oplossing voor het probleem?’
Thuis meten van dystonie bij kinderen
Gerelateerde artikelen Revalidatie Magazine
Een app en ondersteuning geven patiënt Rob (73) de regie over de behandeling van ALS
Revalideren in virtual reality? Ook met hersenletsel kan dat op een veilige manier
eHealth bij Adelante: onlosmakelijk onderdeel van de best mogelijke zorg
