Kunstmatige intelligentie voor bewegingsanalyse in de thuissituatie
Innovatie
Dystonie is een neurologische bewegingsstoornis, gekenmerkt door onwillekeurige spiersamentrekkingen, die forse impact heeft op het dagelijks functioneren. Beoordeling van dystonie op kinderleeftijd is uitdagend omdat symptomen gedurende de dag variëren en kunnen verergeren door stress, emoties of pijn. Om dystonie te objectiveren is de MODYS@home app ontwikkeld, die gegevens verzamelt van video’s en draagbare sensoren in de thuissituatie. Met op kunstmatige intelligentie gebaseerde analysetechnieken wordt de ernst van dystonie geclassificeerd.
Auteurs
DR. H. (HELGA) HABERFEHLNER
Postdoc onderzoeker, Amsterdam UMC, afdeling Revalidatiegeneeskunde en Amsterdam Movement Sciences
DR. L.A. (LAURA) VAN DE POL
Kinderneuroloog, Amsterdam UMC, afdeling Kinderneurologie en Emma Kinderziekenhuis, Amsterdam Neuroscience
DR. L.A. (LAURA) BONOUVRIÈ
Kinderrevalidatiearts, Amsterdam UMC, afdeling Revalidatiegeneeskunde
DR. M.M. (MARJOLEIN) VAN DER KROGT
Senior onderzoeker en hoofd Bewegingslab, Amsterdam UMC, afdeling Revalidatiegeneeskunde en Amsterdam Movement Sciences
PROF. DR. A.I. (ANNEMIEKE) BUIZER
Hoogleraar kinderrevalidatiegeneeskunde, Amsterdam UMC, afdeling Revalidatiegeneeskunde en Amsterdam Movement Sciences en Emma Kinderziekenhuis
Dystonie wordt gekenmerkt door onwillekeurige spiersamentrekkingen en/of abnormale houdingspatronen. Dystonie komt voor bij verschillende aangeboren en verworven aandoeningen van het zenuwstelsel, zoals dyskinetische Cerebrale Parese (CP)1 of specifieke monogenetische aandoeningen zoals het GNAO1, ADCY5 en THAP1 syndroom.2 Dyskinetische CP is de meest voorkomende oorzaak van dystonie op de kinderleeftijd en heeft een prevalentie van 0,12-0,3 op elke 1.000 levendgeborenen in Europa.1 Monogenetische vormen van dystonie zijn zeldzaam, waarbij voor elke diagnose slechts enkele gevallen in Nederland bekend zijn. Behandeling van dystonie bij kinderen is gericht op het verbeteren van functioneren en kwaliteit van leven.
In de huidige praktijk worden kinderen met dystonie voor geavanceerde diagnostiek en behandeling in een multidisciplinair team in een academische setting gezien.3 Het merendeel van de groep kinderen en jongeren met dyskinetische CP kan niet lopen en heeft een ernstig verminderde handvaardigheid (ongeveer 70%).4,5 Ondanks dat ze ernstig motorisch aangedaan zijn, hebben velen van hen echter goede cognitieve vaardigheden. Zij communiceren bijvoorbeeld via geavanceerde AAC (augmented and alternative communication) en/of maken gebruik van alternatief bestuurde rolstoelen (zoals een hoofd-voet sturing). Voor de inzet van deze technologie is een gecontroleerde motorische aansturing gunstig en daarom wordt voor de behandeling ingezet op verminderen van dystonie met behoud van optimale motorische controle.
De medische behandeling van dystonie is uitdagend. Eén mogelijkheid om gegeneraliseerde dystonie te behandelen, is het gebruik van orale medicatie. Indien orale medicatie niet het gewenste effect geeft, is er de mogelijkheid om over te gaan op geavanceerde therapieën, zoals neuromodulatie met diepe hersenstimulatie (Deep Brain Stimulation, DBS)6 of Intra-Thecale Baclofen (ITB).7 De gestelde indicatie voor deze behandelingen, evenals de stimulatieparameters (voor DBS) en dosering en hoogte van de katheter (voor ITB), is sterk afhankelijk van het klinisch beeld. Op dit moment worden beslissingen over behandelingen op basis van klinische beoordeling en observaties van ouders/verzorgers gemaakt. Adequate objectieve evaluatie van dystonie ontbreekt, omdat dystonie gedurende de dag en in verschillende omgevingen variabel kan zijn. Momenteel worden klinische schalen zoals de Dyskinesie Impairment Scale (DIS) en de Burke‐Fahn‐Marsden Dystonia Rating Scale (BFMDRS) gebruikt voor evaluatie.8 De activiteiten en posities in rust van de DIS zijn ontwikkeld specifiek voor kinderen met dyskinetische CP en gevalideerd voor genetische vormen van dystonie. Deze verschillende onderdelen van de schaal worden op video opgenomen en achteraf gescoord, wat zeer tijdrovend is en een hoge mate van expertise vereist. De BFMDRS is ontwikkeld voor volwassenen en niet gevalideerd voor kinderen. In de praktijk worden deze schalen vaak afgenomen in een academische ziekenhuisomgeving, terwijl bekend is dat door de stress en het ongemak in deze situatie de dystonie toe kan nemen. Daarom wijkt de beoordeling binnen het ziekenhuis vaak af van de observaties van ouders in de thuissituatie.
Om dit probleem aan te pakken zijn we begonnen met het ontwikkelen van een meetmethode voor dystonie die thuis door ouders/verzorgers kan worden toegepast, met behulp van een smartphone app: de MODYS@home app. Gecombineerd met kunstmatige intelligentie om de gemeten data te analyseren, kan de ernst van dystonie automatisch geclassificeerd worden.
Hoe werkt de MODYS@home app?
Binnen de MODYS@home app worden video’s opgenomen (afbeelding 1). Deze video’s worden frontaal gefilmd met de smartphone op een statief. Tegelijkertijd worden ook de bewegingen gemeten met draagbare sensoren, die met elastisch fixatiemateriaal worden bevestigd rond de enkels en polsen. De draagbare sensoren zijn inertiale meet-units (IMUs). De IMUs bevatten 3D-accelerometers, gyroscopen en magnetometers, waardoor versnelling, hoeksnelheid en oriëntatie kunnen worden berekend. Binnen de MODYS@home app zijn Xsens/Movella DOTs als IMUs gebruikt. Deze IMUs zijn kleiner dan een luciferdoosje (3,6cm lang / 3cm breed / 1cm dik), licht (11 gram) en hebben een batterijduur van ongeveer 8 uur. Voor de opslag en overdracht van de gemeten IMUs data en video’s zijn er binnen de app twee opties: 1) de data kunnen lokaal op de telefoon worden opgeslagen, of 2) via een samenwerking met het bedrijf Moveshelf opgeslagen in hun beveiligde cloud-oplossing, die vanuit de ziekenhuisomgeving kan worden benaderd.
Welke activiteiten worden opgenomen met de app?
In een proof-of-concept studie9 van de MODYS@home app zijn de activiteiten vrij gelaten die ouders/verzorgers gedurende een week opnamen. Voorbeelden van activiteiten gekozen door ouders zijn: eten/drinken, rolstoel rijden, gamen en een bordspel spelen. Naast de ‘vrije activiteiten’ werd aan ouders/verzorgers gevraagd om tenminste eenmaal per dag een rustmoment (bijvoorbeeld tijdens televisie kijken of muziek luisteren) op te nemen. Sommige ouders gaven echter aan dat ze het moeilijk vonden om zelf activiteiten te kiezen. Daarnaast bleek het moeilijk om de data van ‘vrije activiteiten’ te scoren voor dystonie en te vergelijken over dagen. Daarom is in het vervolg gekozen om een vaste set van (mogelijke) activiteiten op te stellen. Uit deze activiteiten kiezen clinici samen met ouders, afhankelijk van het functioneren van het kind. Deze activiteiten zijn: rustpositie in lig, rustpositie in zit, reiken en grijpen, hiel-teen tikken, been strekken en een (zelfgekozen) vaste activiteit door de ouders (afbeelding 1). De gekozen activiteiten worden gedurende een week eenmaal per dag uitgevoerd en opgenomen met de MODYS@home app.
‘De gekozen activiteiten
worden opgenomen met de
MODYS@home app’
Monitoring van dystonie met behulp van kunstmatige intelligentie
Video-gebaseerde analyse
De eerste stap in de video-gebaseerde analyse is markerless motion analyse. Hierbij worden in videobeelden anatomische punten gedetecteerd op basis van computer vision. Afbeelding 2 laat zien hoe punten kunnen worden geëxtraheerd vanuit een video tijdens een reik-grijp taak. Tegenwoordig zijn er hiervoor verschillende computerprogramma’s beschikbaar, zoals DeepLabCut of OpenPose.
De geëxtraheerde punten in de tijd worden vervolgens gebruikt om machine learning modellen te trainen met als uitkomst de ernst van dystonie op een bepaald moment binnen een bepaalde activiteit of tijdens rust. In onderzoek is er gekeken naar de resultaten van deze modellen voor het automatisch scoren van dystonie bij kinderen met dyskinetische CP tijdens zitten en liggen in rust10 en tijdens hiel-teen tikken.11 Binnen beide onderzoeken zijn handmatig door experts gescoorde video’s als standaard gebruikt. De resultaten zijn veelbelovend, echter moeten deze modellen op basis van geëxtraheerde punten uit video’s voor klinisch gebruik nog verder verbeterd worden door grotere en meer variabele datasets te gebruiken om de betrouwbaarheid en generaliseerbaarheid van modellen te vergroten.
‘Met computer vision worden
anatomische punten in
videobeelden gedetecteerd’
Sensor-gebaseerde analyse
Voor de sensor-gebaseerde analyse worden verschillende parameters berekend uit de data afkomstig uit de vier IMU sensoren in het tijd- en frequentiedomein. Met deze data zijn er vervolgens (net als bij de video-gebaseerde analyse) modellen getraind om de ernst van dystonie automatisch te kunnen bepalen. Het was mogelijk om met data gemeten met de MODYS@home app door ouders thuis in zelfgekozen activiteiten precieze individuele modellen (dat wil zeggen voor elke patiënt een eigen model) te trainen voor het monitoren van dystonie over een langere periode. Echter de precisie voor een gegeneraliseerd model (dat wil zeggen één model voor alle patiënten) was laag.9In de praktijk zou dat betekenen dat voor elke patiënt een aantal video’s gescoord moet worden, om het model te individualiseren voor deze persoon.
Toekomst
Een combinatie van de video- en sensor-gebaseerde modellen zou de precisie van de classificatie verder kunnen verbeteren en automatisch monitoren van dystonie in de thuissituatie in de toekomst voor klinisch gebruik mogelijk maken. Tevens zou het nuttig zijn om de variatie van dystonie en de interactie met fysiologische veranderingen, zoals reactie op emotie, pijn of stress, vast te leggen. Hiervoor zal in de toekomst in de MODYS@home app de optie toegevoegd worden om hartslag en respiratoire parameters te monitoren. Deze gecombineerde methode heeft het potentieel om bij te dragen aan een optimale behandeling van dystonie op kinderleeftijd.
Projectteam
Aan het MODYS@home project is gewerkt in een consortium van Amsterdam UMC, Moveshelf en de TU Delft. De uitwerking door middel van kunstmatige intelligentie is ondersteund door het Netherlands eScience Center. De volgende personen hebben, naast de auteurs van dit artikel, meegewerkt in de ontwikkeling: Larissa R. Heideman, Karen Stolk, Dylan den Hartog (Amsterdam UMC), Ignazio Aleo, Johannes Gijsbers, en Martin Schepers (MoveShelf), Jaap Harlaar (TU Delft) en Sonja Georgievska en Sven van der Burg (Netherlands eScience Center). De MODYS@home app is in opdracht van Amsterdam UMC geprogrammeerd door Rins Rutgers en doorontwikkeld door Federico Pregnolato.
Dankwoord
Het MODYS@home project is gefinancierd door het ZonMw programma Innovative medical device initative (IMDI), projectnummer 104022005 en ondersteund door de Small-Scale Initiatives in Machine Learning (OpenSSI 2021) van de Netherlands eScience Center.
Referenties
- Monbaliu E, Himmelmann K, Lin JP, Ortibus E, Bonouvrié L, Feys H, Vermeulen RJ, Dan B, Clinical presentation and management of dyskinetic cerebral palsy. Lancet Neurol 16, 741–749 (2017).
- Pérez-Dueñas B, Gorman K, Marcé-Grau A, Ortigoza-Escobar JD, Macaya A, Danti FR, Barwick K, Papandreou A, Ng J, Meyer E, Mohammad SS, Smith M, Muntoni F, Munot P, Uusimaa J, Vieira P, Sheridan E, Guerrini R, Cobben J, Yilmaz S, De Grandis E, Dale RC, Pons R, Peall KJ, Leuzzi V, Kurian MA. The Genetic Landscape of Complex Childhood-Onset Hyperkinetic Movement Disorders. Mov Disord. Nov;37(11):2197-2209. (2022)
- Van de Pol LA, Bonouvrié LA, Vermeulen RJ, de Koning-Tijssen MAJ, van Egmond ME, Willemsen MA, Buizer AI. Dystonie bij cerebrale parese [Dystonia in cerebral palsy; what are the treatment options?]. Ned Tijdschr Geneeskd. 2022 Feb 16;166:D5868. Dutch. PMID: 35499589.
- Préel M, Rackauskaite G, Larsen ML, Laursen B, Lorentzen J, Born AP, Langhoff-Roos J, Uldall P, Hoei-Hansen CE. Children with dyskinetic cerebral palsy are severely affected as compared to bilateral spastic cerebral palsy. Acta Paediatr. 2019 Oct;108(10):1850-1856..
- Carnahan KD, Arner M, Hägglund G. Association between gross motor function (GMFCS) and manual ability (MACS) in children with cerebral palsy. A population-based study of 359 children. BMC Musculoskelet Disord. 2007 Jun 21;8:50.
- Koy, A. et al. Long-Term Follow-Up of Pediatric Patients with Dyskinetic Cerebral Palsy and Deep Brain Stimulation. Mov Disord 38, 1736–1742 (2023).
- Bonouvrié LA, Becher JG, Vles JSH, Vermeulen RJ, Buizer AI; IDYS Study Group. The Effect of Intrathecal Baclofen in Dyskinetic Cerebral Palsy: The IDYS Trial. Ann Neurol. 2019 Jul;86(1):79-90. doi: 10.1002/ana.25498. Epub 2019 May 21. PMID:
- Stewart K, Harvey A, Johnston LM. A systematic review of scales to measure dystonia and choreoathetosis in children with dyskinetic cerebral palsy. Dev Med Child Neurol. 2017 Aug;59(8):786-795. doi: 10.1111/dmcn.13452. Epub 2017 May 9.
- Den Hartog D, van der Krogt MM, van der Burg S, Aleo I, Gijsbers J, Bonouvrié LA, Harlaar J, Buizer AI, Haberfehlner H. Home-Based Measurements of Dystonia in Cerebral Palsy Using Smartphone-Coupled Inertial Sensor Technology and Machine Learning: A Proof-of-Concept Study. Sensors (Basel). 2022 Jun 9;22(12):4386.
- Haberfehlner H, van de Ven SS, van der Burg SA, Huber F, Georgievska S, Aleo I, Harlaar J, Bonouvrié LA, van der Krogt MM, Buizer AI. Towards automated video-based assessment of dystonia in dyskinetic cerebral palsy: A novel approach using markerless motion tracking and machine learning. Front Robot AI. 2023 Mar 2;10:1108114..
- Haberfehlner H, Roth Z, Vanmechelen I, Buizer AI, Jeroen Vermeulen R, Koy A, Aerts JM, Hallez H, Monbaliu E. A Novel Video-Based Methodology for Automated Classification of Dystonia and Choreoathetosis in Dyskinetic Cerebral Palsy During a Lower Extremity Task. Neurorehabil Neural Repair. 2024 Jun 6:15459683241257522.
Trefwoorden: remote monitoring, E-health, dystonie, machine learning
Gerelateerde artikelen NTR
Stap voor stap en samen op weg naar passende AI in de revalidatiezorg
Dokter AI: Wie is er beter in het beantwoorden van klinische vragen, de arts of AI?
‘De belangrijkste vraag: is technologie überhaupt de oplossing voor het probleem?’
Thuis meten van dystonie bij kinderen
Gerelateerde artikelen Revalidatie Magazine
Een app en ondersteuning geven patiënt Rob (73) de regie over de behandeling van ALS
Revalideren in virtual reality? Ook met hersenletsel kan dat op een veilige manier
eHealth bij Adelante: onlosmakelijk onderdeel van de best mogelijke zorg
