Auteur: Bart-Jan Verhoeff

Op diverse plekken in Nederland wordt in ziekenhuizen en andere zorginstellingen gewerkt aan algoritmen die moeten helpen bij het verbeteren van de kwaliteit van zorg, zoals heropname na ontslag, infectierisico, etc. Als deze algoritmen worden ingezet, dan zullen de voorspellingen van deze algoritmen zonder twijfel van invloed zijn op het ziektebeloop van patiënten. Dat kan ten goede zijn maar het kan ook verkeerd uitpakken. Wat is er nodig om veilig gebruik te kunnen maken van algoritmen in het algemeen? En wat ben je als zorginstelling verplicht te doen als je zelf algoritmen ontwikkelt?

De nieuwe Europese regels voor medische hulpmiddelen en in vitro diagnostica (MDR/IVDR, verordeningen (EU) 2017/745&746), die respectievelijk mei 2020 en 2022 van kracht zijn, stellen dat software in in veel gevallen niet meer mag worden ingedeeld in de lichtste risicoklasse van medische hulpmiddelen (klasse 1). Dat betekent dat deze software – en dus ook algoritmen – niet meer door de leverancier van een CE-markering mag worden voorzien, voordat ze mag worden gebruikt voor patiëntenzorg maar dat geïnvesteerd moet worden in een toetsing door een aangemelde instantie (notified body). Het is natuurlijk de vraag of deze vernieuwing in MDR en IVDR op zich gaan zorgen voor veilige algoritmen, want de specifieke eigenschappen van algoritmen als medisch hulpmiddel zijn op veel punten anders dan die van de meeste andere medische hulpmiddelen. Dat neemt niet weg dat zelf ontwikkelende instellingen vaak met de vraag kampen wat nu precies nodig is voor het gebruik van hun algoritmen. Door middel van het schrijven van deze reeks artikelen probeer ik te begrijpen wat een instelling moet doen om een zelf ontwikkeld algoritme veilig te mogen gebruiken voor patiëntenzorg.

CONCLUSIE

Zorginstellingen hebben volgens de nieuwe medical device regulation (MDR) de mogelijkheid zelf medische hulpmiddelen te vervaardigen en gebruiken zonder dat een CE-markering nodig is. Dat mag alleen als er geen alternatief op de markt is met gelijkwaardige prestaties. De algoritmes moeten ook voldoen aan de algemene veiligheids- en prestatie-eisen zoals genoemd in bijlage 1 van de MDR en het hulpmiddel moet beter zijn dan de markt. De kans is reëel dat er de komende jaren steeds meer algoritmen te koop zijn die even goed worden als zelf vervaardigde algoritmen, zodat uiteindelijk alleen gebruik kan worden gemaakt van zelfgemaakte algoritmen als zij zijn voorzien van een CE-markering. Samenwerking tussen zorginstellingen biedt de mogelijkheid om zelf ontwikkelde algoritmen te voorzien van een CE-keurmerk terwijl de kosten hiervan worden gedeeld. De MDR houdt geen rekening met moderne vormen van machine learning zoals transferlearning en decentralized federated learning. Daarnaast is niet duidelijk omschreven of een algoritme een update mag krijgen zonder dat het hele CE-markeringsproces opnieuw mag worden doorlopen. In een volgend artikel wordt ingegaan op de eisen in bijlage 1 van de MDR en op het benodigde kwaliteitsmanagementsysteem.

inleiding

Tot de nieuwe MDR en IVDR van kracht zijn kunnen we als zorginstelling nog naar hartenlust onze eigen algoritmisering toepassen op de zorg. Algoritmen die door instellingen worden vervaardigd vallen ten hoogste onder risicoklasse I van de oude/huidige MDD, ofwel richtlijn 93/42/EEG, betreffende medische hulpmiddelen. We hebben ons natuurlijk te houden aan alle wetgeving die verantwoordelijkheden in de zorg beschrijven, zoals de WABG, de WKKGZ en de wet BIG. Data van een zorginstelling mag in die zorginstelling gebruikt worden voor kwaliteitsverbetering. Kwaliteitsverbeterprojecten kunnen op basis van deze data worden opgezet en uitgevoerd, eventueel met zelf vervaardigde algoritmen. De vraag is natuurlijk wat er gebeurt als het mis gaat.

Vernieuwing van MDR/IVDR

De huidige richtlijnen over medische hulpmiddelen werden nog in de EEG in 1990 en 1993 vastgelegd en sindsdien is op het gebied van techniek, digitalisering en organisatie natuurlijk veel veranderd. Voor 2007 viel software niet onder de MDD. In 2007 is daar verandering in gekomen met het vijfde amendement op de MDD. Vanwege de opkomst van medische software en de impact die deze software op klinische uitkomsten kon hebben, werd – na een uitgebreide principiële discussie over de juridische definitie van software – besloten medische software ook te beschouwen als medisch hulpmiddel of diagnosticum, als deze software impact heeft op patiëntenuitkomsten. Volgens de toenmalige classificatieregels viel software als niet-invasief hulpmiddel bijna altijd onder risico klasse I, wat inhoudt, dat de leverancier zelf de CE-markering mag aanbrengen na voldaan te hebben aan een beperkte set eisen. Sindsdien werd de MDD niet meer aangepast. Diverse schandalen met implantaten hebben vernieuwing van deze Europese regelgeving versneld. De nieuwe MDR en IVDR verplichten fabrikanten van medische hulpmiddelen en medische diagnostica veel dwingender dan voorheen de kwaliteit van nieuwe hulpmiddelen te evalueren en kwaliteitscontrole uit te voeren, ook nadat de hulpmiddelen op de markt zijn verschenen. Alle medische hulpmiddelen worden daarnaast geregistreerd in een nieuwe Europese hulpmiddelendatabase (Eudamed). Tenslotte worden de classificatieregels aangepast, zodat medische software veel minder dan voorheen in klasse I valt, maar eerder in klasse IIa of hoger. Dat betekent dat medische software moet worden goedgekeurd door een aangemelde instantie (‘notified body’). Deze veranderingen zullen grote impact hebben op de administratieve belasting van zowel leveranciers van medische software als instanties die controle uitoefenen. Er wordt dan ook gevreesd dat goedkeuringsprocessen zullen stagneren, zodra de verordeningen van kracht zijn. Aan de andere kant is iedereen het er over eens dat de vernieuwing noodzakelijk is. Hoewel software integraal onderdeel is van de MDR en nu ook een strengere keuring krijgt, reist wel de vraag of de verordening recht doet aan algoritmen. Hieronder wordt nader ingegaan op een aantal belangrijke aspecten van de MDR.

Uitgangspunten, artikelen en bijlagen

De MDR en IVDR hebben grofweg dezelfde opbouw. De MDR begint met 101 overwegingen. De overwegingen zijn de uitgangspunten die in de daaropvolgende wetteksten worden geformaliseerd. De overwegingen worden gevolgd door 123 artikelen – de daadwerkelijke regels – en sluit af met 17 bijlagen. De bijlagen bevatten aanvullingen, die eventueel in de loop der tijd gemakkelijker aangepast kunnen worden. Één en ander vult 175 pagina’s. Er wordt nauwgezet beschreven wat er allemaal nodig is voordat een medisch hulpmiddel vermarkt mag worden. De IVDR heeft een vergelijkbare opbouw en omvang en is natuurlijk meer toegespitst op in vitro diagnostica. De fabrikanten worden met deze verordeningen in een keurslijf gestopt, dat excessen uit het verleden moet voorkomen. Instellingen die zelf algoritmen vervaardigen zullen zich ook aan de verordeningen moeten houden. Het is – gelukkig – zo dat er voor instellingen onder sommige omstandigheden een lichtere wetgeving geldt, een MDR-light zeg maar. Daar kom ik later op terug. De individuele lidstaten hebben er daarnaast invloed op wat wel en wat niet een medisch hulpmiddel is (uitgangspunt 8 MDR/IVDR):

“Het dient aan de lidstaten te zijn om per geval te beslissen of een product al dan niet onder het toepassingsgebied van deze verordening valt.”

Overigens worden de lidstaten hierbij gecontroleerd door de Europese Unie, met hulp van een ‘Medical Device Coordination Group’ (MDCG), bestaande uit deskundigen uit alle lidstaten. Het is de bedoeling dat in de EU producten of productgroepen consequent worden beoordeeld, dus in de praktijk zullen de producten in Europa waarschijnlijk redelijk homogeen worden beoordeeld. Waar we in Nederland wel voor moeten uitkijken is dat we niet zoals bij de AVG de meest strikte lezing toepassen, omdat dit onnodig tot vertraging en extra kosten zal leiden.

Definitie medisch hulpmiddel

Er is een heldere definitie van medische hulpmiddelen. De definitie omvat onder andere software. Het doel van een medisch hulpmiddel is volgens de definitie in artikel 2, lid 1 van de MDR:

• diagnose, preventie, monitoring, voorspelling, prognose, behandeling of verlichting van ziekte,
• diagnose, monitoring, behandeling, verlichting of compensatie van een letsel of een beperking,
• onderzoek naar of vervanging of wijziging van de anatomie of van een fysiologisch of pathologisch proces of een fysiologische of pathologische toestand,
• informatieverstrekking via in vitro-onderzoek van specimens afkomstig van het menselijk lichaam, waaronder orgaan-, bloed- en weefseldonaties
• …

Belangrijk is verder nog dat er geen farmacologische werking is (dan valt het middel onder andere regels). De definitie van de IVDR onderscheidt zich doordat het hulpmiddel moet worden gebruikt voor “in-vitro-onderzoek van specimens die afkomstig zijn van het menselijk lichaam, met inbegrip van donorbloed en – weefsel“.

MDR of IVDR?

Een algoritme dat heropnames voorspelt, zoals beschreven in mijn vorige blog, kan van invloed zijn op het ziektebeloop en zou aldus onder de MDR vallen. Een algoritme dat CT-scans beoordeeld ook. Het is mij aan de andere kant niet duidelijk of een algoritme dat PA-cytologie classificeert nu onder de MDR of onder de IVDR valt, omdat beide definities hieraan refereren. In dit artikel beperk ik me tot de consequenties voor predictive analytics op basis van klinische patiëntengegevens. Die valt (indien van invloed op het ziektebeloop) in principe onder de MDR.

Kans voor zelf ontwikkelende instellingen

Het goede nieuws is dat de MDR onder bepaalde omstandigheden voorziet in een behoefte van zorginstellingen om zelf medische hulpmiddelen te ontwikkelen. Dat is te lezen in uitgangspunt 30 van de MDR en 29 van de IVDR:

“Zorginstellingen moeten de mogelijkheid hebben hulpmiddelen intern te vervaardigen, aan te passen en te gebruiken, om, weliswaar op niet-industriële schaal, tegemoet te komen aan de specifieke behoeften van patiëntendoelgroepen waaraan niet op een passend prestatieniveau kan worden voldaan door een gelijkwaardig hulpmiddel dat op de markt beschikbaar is.”

Let wel: het algoritme dat door een zorginstelling wordt vervaardigd mag pas gebruikt worden als het beter is dan een gelijkwaardig alternatief dat te koop is.

Eisen zelf vervaardigde algoritmen

Boven werd al genoemd dat de MDR voorziet in de behoefte van zorginstellingen om zelf medische hulpmiddelen te vervaardigen. Er wordt onderscheid gemaakt tussen de volledige MDR en de afgeslankte versie ervan – zeg maar de MDR-light. In artikel 5, lid 5 van de MDR wordt duidelijk en omvattend omschreven wanneer de lichtere variant van toepassing is en wat dat inhoudt:

Met uitzondering van de toepasselijke algemene veiligheids- en prestatie-eisen van bijlage I gelden de vereisten van deze verordening niet voor hulpmiddelen die uitsluitend binnen in de Unie gevestigde zorginstellingen worden vervaardigd en gebruikt, mits aan iedere onderstaande voorwaarde wordt voldaan:

1. de hulpmiddelen worden niet overgedragen aan een andere rechtspersoon;
2. de hulpmiddelen worden vervaardigd en gebruikt met inachtneming van een passend kwaliteitsmanagementsysteem;
3. de zorginstelling rechtvaardigt in haar documentatie dat aan de specifieke behoeften van de patiëntendoelgroep niet kan worden voldaan, of daaraan niet op een passend prestatieniveau kan worden voldaan, door een op de markt beschikbaar gelijkwaardig hulpmiddel;
4. de zorginstelling verstrekt haar bevoegde autoriteit op verzoek informatie over het gebruik van bedoelde hulpmiddelen, waaronder een rechtvaardiging voor de vervaardiging, de wijziging en het gebruik ervan;
5. de zorginstelling stelt een verklaring op, die ze openbaar maakt en die de volgende elementen bevat: i) naam en adres van de vervaardigende zorginstelling, ii) gegevens ter identificatie van de hulpmiddelen, iii) een verklaring waaruit blijkt dat de hulpmiddelen voldoen aan de algemene veiligheids- en prestatie-eisen van bijlage I bij deze verordening en, indien van toepassing, informatie over vereisten waaraan niet helemaal wordt voldaan, met een met redenen omklede rechtvaardiging daarvoor;
6. de zorginstelling stelt documentatie op met uitleg over de productiefaciliteit en het productieproces, het ontwerp en de prestatiegegevens van de hulpmiddelen, met inbegrip van het beoogde doeleind, die voldoende gedetailleerd is om de bevoegde autoriteit in staat te stellen te beoordelen of er wordt voldaan aan de algemene veiligheids- en prestatieeisen van bijlage I bij deze verordening;
7. de zorginstelling neemt alle maatregelen die nodig zijn om te garanderen dat alle hulpmiddelen in overeenstemming met de onder 6. bedoelde documentatie worden vervaardigd, en
8. de zorginstelling evalueert de ervaring die is opgedaan met het klinisch gebruik van de hulpmiddelen en onderneemt alle vereiste corrigerende acties.

Kortom, zorg voor een passend kwaliteitsmanagementsysteem en dat je ergens publiceert welke algoritmen je gebruikt, wat ze doen, dat er geen gelijkwaardig alternatief te koop is en een verklaring dat je aan de eisen van bijlage 1 voldoet. Dit laatste is nog wel een klus, maar op zich goed te doen. In een volgend artikel ga ik hier verder op in.

Overigens mogen lidstaten beperkingen opleggen aan ontwikkelmogelijkheden en daarnaast mogen lidstaten natuurlijk inspecties uitvoeren om te controleren of voldaan wordt aan eisen van de MDR. In iedere lidstaat wordt daartoe een bevoegde autoriteit aangewezen. In Nederland worden deze inspecties uitgevoerd door de Inspectie Gezondheid en Jeugd (IGJ).

CE-loos vervaardigen in de toekomst

Hoewel er op dit moment in Nederland nog wordt gediscussieerd over de interpretatie van de MDR, neigen de autoriteiten er naar om artikel 5, lid 5 dusdanig uit te leggen dat vooral de markt gestimuleerd wordt. Als een algoritme van een fabrikant even goed is als een zelfgemaakt algoritme zonder CE-keurmerk, dan mag het zelfgemaakte algoritme niet gebruikt worden voor patiëntenzorg. Het maakt daarbij niet uit, of de markt exorbitante bedragen vraagt. Dit heeft belangrijke consequenties. AI-experts gaan er namelijk van uit dat de prestaties van algoritmes beter zullen worden dan de prestaties van mensen maar dat ze nooit boven een bepaald niveau uit zullen stijgen:

Dat maximale niveau wordt de ‘Bayes optimale fout’ genoemd. Ruim voordat dit hoogste prestatieniveau wordt bereikt zal met de huidige statistische technieken geen significant verschil worden gevonden tussen algoritmen die hier in de buurt zitten. Als deze theorie wordt gevolgd, dan zal het in-huis vervaardigen en gebruiken van algoritmen als medisch hulpmiddel zonder CE-keurmerk in de loop der tijd afnemen, omdat er volgens de MDR steeds meer vergelijkbare alternatieven op de markt zullen zijn, die – tenminste statistisch gezien – even goed presteren. De markt zal vervolgens bepalen wat de kosten worden van algoritmen. Maar waarom wordt er dan gekozen voor een wetgeving die het uiteindelijk de zorginstellingen onmogelijk maakt zelfgemaakte medische algoritmen zonder CE-keurmerk te gebruiken? Ten eerste omdat dit de markt zou stimuleren om betere algoritmen te ontwikkelen. De redenering is, dat de marktpartijen het af zullen laten weten als medische hulpmiddelen gemakkelijk CE-loos door instellingen vervaardigd mogen worden, terwijl de leverancier moeten investeren in een prijzig CE-keurmerk. Dit zou juist tot stagneren van ontwikkeling kunnen leiden. Europa beschouwt de markt dus altijd als drijvende kracht van ontwikkeling, niet de professional in de zorginstelling. Ten tweede wordt er vanuit gegaan dat de veiligheid van een medisch hulpmiddel mét CE-keurmerk beter gewaarborgd is, dan de veiligheid van een medisch hulpmiddel zonder deze markering. Ofwel, als je het dan als zorginstelling zo belangrijk vindt om je eigen medische algoritme te gebruiken terwijl er vergelijkbare algoritmen op de markt zijn, betaal dan ook voor een CE-keurmerk.

Beter dan de markt: hoe dan?

Zoals boven besproken wordt de IGJ belast met het handhaven van de MDR. Maar hoe moet de IGJ dan bepalen of er een gelijkwaardig alternatief op de markt is voor een door een instelling vervaardigd algoritme? Een leverancier, die stelt dat de prestaties van zijn algoritme even goed zijn als die van de instelling vertelt namelijk niet het hele verhaal. In de meeste gevallen presteren algoritmen het beste op de trainingsdata en slechter op externe data. Het algoritme van een leverancier zal naar alle waarschijnlijkheid dus slechter presteren op de data van de instelling, dan op de eigen trainings- en testdata. Bijvoorbeeld, de vergelijking van ons heropname algoritme met een commercieel algoritme liet grote prestatieverschillen zien, tussen de oorspronkelijke testresultaten van het commerciële algoritme, de voorspellingen van dat algoritme op onze ziekenhuispopulatie en de voorspellingen van ons eigen algoritme op die populatie. Het commerciële algoritme bleek beduidend slechter te presteren op onze populatie dan op de testpopulatie van de leverancier. Met andere woorden, hoewel de leverancier kan stellen dat de prestaties even goed zijn, kan dat pas bewezen worden als de modellen rechtstreeks met elkaar vergeleken worden. In dit geval betekent dat, dat het commerciële algoritme geïnstalleerd moet worden in de instelling om vervolgens een representatief aantal voorspellingen te doen. Daarna kunnen de prestaties van het commerciële algoritme en het door de instelling vervaardigde algoritme statistisch met elkaar vergeleken worden. Een belangrijke keuze is dan de statistische test die gebruikt wordt, om de prestaties van de algoritmen met elkaar te vergelijken. Wie gaat de IGJ vertellen welke statistische test gebruikt moet worden. Wat wordt hier de norm?

de ene AUC is de andere niet

Er zijn nogal wat methoden om algoritmen met elkaar te vergelijken en de experts zijn het hier lang niet altijd met elkaar eens. Los daarvan zijn er nog methodologische hordes te nemen bij het de ontwikkelprocessen van machine learning algoritmen. Recent publiceerde een vooraanstaand AI-wetenschapper uit Stanford in JAMA een opiniestuk waarin bekritiseerd werd dat op dit moment de selectie van het optimale algoritme gedurende het trainingsproces plaatsvindt op basis van meetinstrumenten (zoals area under the curve, sensitiviteit, specificiteit), die weliswaar algemeen geaccepteerd zijn maar niet altijd representatief zijn voor de bruikbaarheid van het algoritme in de praktijk. In feite mag het juiste meetinstrument pas worden vastgesteld als bedacht is wat de consequenties voor de praktijk zijn. Als op basis van de kosten of personele inzet of misschien zelfs acceptatie door zorgverleners de ruimte voor interventies klein is dan heeft dat consequenties voor de selectie van het juiste model en dat zou kunnen betekenen dat de gangbare meetinstrumenten niet voldoen. Dat betekent impliciet dat er geen standaardmethoden zullen zijn waarmee algoritmen met elkaar vergeleken kunnen worden. Dat wordt nog een zware klus voor de toezichthouders!

Transferlearning? Updates?

De beperking, dat zelf gebouwde algoritmen niet mogen worden overgedragen heeft wel een belangrijke keerzijde. Het is de verwachting dat met verbeterende interoperabiliteit (die met VIPP-5 allicht al gerealiseerd kan zijn) de uitwisselbaarheid van algoritmen ook toeneemt. Hoewel uitwisseling van algoritmen zonder verdere maatregelen en validatie riskant is, moet wel worden nagedacht over de door interoperabiliteit gefaciliteerde transferlearning. Transferlearning is een methode waarbij een algoritme getraind wordt met data van instelling A om vervolgens nog kortdurend getraind te worden met data van instelling B waarna het model beter presteert omdat de kennis nu uit de data van zowel instelling A als B is geëxtraheerd. Dit fenomeen is uniek voor algoritmen en wordt niet besproken in de verordeningen. Het voordeel van dit soort trainingsmethodes is dat het model verplaatst wordt terwijl de data in de instelling kan blijven. Een vergelijkbare methode betreft decentralized federated learning, waarbij in verschillende centra een algoritme tegelijk steeds een stapje verder wordt getraind en tussen iedere stap de parameters van de resulterende algoritmen worden gemiddeld. Met deze methoden worden belangrijke AVG-hordes genomen. Daarnaast is natuurlijk de verwachting dat met uitbreiding van data de algoritmen na opnieuw trainen een update verdienen. Moet dan weer een nieuw CE-keurmerk behaald worden? Ik hoop dat de EU op tijd een oplossing vindt, die toepassing van deze methoden niet in een administratieve draak verandert.

Misschien zou Europa een voorbeeld kunnen nemen aan de regels die de FDA heeft opgesteld voor updates van algoritmen en software.

Algemene veiligheids- en prestatieeisen

Goed, als we er van uitgaan dat de markt ons niet kan voorzien van een acceptabel algoritme, dan kunnen we dus zelf aan de slag. Uit artikel 5, lid 5 volgt, dat het grootste deel van de 175 pagina’s tellende verordening niet van toepassing is op intern vervaardigde medische hulpmiddelen. We moeten alleen nog voldoen aan bovengenoemd artikel 5, lid 5 en aan de algemene veiligheids- en prestatie-eisen van bijlage 1. Deze bijlage telt 14 pagina’s in een klein lettertype. Het blijkt dat veel onderdelen van deze bijlage niet van toepassing lijken op algoritmen (het betreft dan opmerkingen over implantatie, straling en weefsels). Ik heb het mezelf makkelijker gemaakt door de onderdelen van deze bijlage die relevant zijn voor algoritmen die in een instelling gebruikt worden te groeperen in dit bestand. Het zijn nog altijd 7 pagina’s in lettertype 12 maar toch een stuk minder intimiderend dan de volledige bijlage.

In de algemene veiligheids- en prestatie-eisen worden enkele voor software belangrijke punten genoemd, zoals het verplicht opzetten van een kwaliteitsmanagementsysteem van het algoritme, waarbij kan worden uitgegaan van de norm NEN/ISO 13485:2016. In een volgend artikel ga ik daar verder op in.

normenstelsel: generieke exercitie

Er zijn daarnaast andere normen van belang die meer specifiek over software gaan (zoals o.a. IEC 62304 ) en er wordt op dit moment gewerkt aan een nieuwe norm over kunstmatige intelligentie in de zorg (uitgaande van het concept van ISO 24028:2019). Voor wat betreft de MDR lijkt uiteindelijk het leveren van de verplichte documentatie en het opzetten van de juiste werkwijzen (zoals het risicomanagementsysteem) een tamelijk generieke exercitie. Er zijn dan ook al de nodige cursussen over dit onderwerp te vinden. Het zou evenwel mooi zijn als er voor instellingen een generiek draaiboek zou zijn, dat gebruikt kan worden om intern vervaardigde algoritmen te laten voldoen aan de eisen van de MDR. Het lijkt me slim om hier nu niet per instelling het wiel opnieuw uitvinden maar – zeg maar – gezamenlijk te werken aan het verminderen van deze administratielast. Sterker nog; als over enkele jaren de commerciële algoritmen kwalitatief in de buurt komen van zelf vervaardigde algoritmen, dan loont het de moeite om als zorginstellingen gezamenlijk CE-keurmerken aan te vragen voor gezamenlijk vervaardigde algoritmen. Dit zou een belangrijk argument zijn voor een nationaal zorg-AI-platform: een platform waarin kennis en ervaring op het vlak van AI gebundeld wordt terwijl kosten worden beheerst.

Disclaimer: beschouw dit artikel als persoonlijke interpretatie, niet als gebruiksaanwijzing. Hoewel dit artikel met grote zorgvuldigheid werd samengesteld, kan noch de auteur, noch dokter.ai verantwoordelijkheid nemen voor eventueel geleden schade ten gevolge van beslissingen die genomen zijn op basis van de informatie op deze website. Mocht u op onjuistheden stuiten of anderszins opmerkingen hebben, laat het dan weten.

Nu de voorbeelden van potentieel bruikbare machine learning algoritmes voor de zorg zich beginnen op te stapelen, rijst ook de vraag hoe deze technologie zinvol en veilig kan worden gebruikt. Voordat een machine learning algoritme onderdeel wordt van het instrumentaal van de zorgverlener moet een aantal vragen worden beantwoord. De belangrijkste vragen hebben niet direct iets met de onderliggende techniek te maken. Het draait in eerste instantie vooral om de beleving en de organisatie van de zorg rondom AI, waarbij een goed model natuurlijk een voorwaarde is.

Is er wel behoefte aan het algoritme? 

Beantwoord het algoritme een vraag die zorgverleners stellen? Of kan een bekend probleem in de zorg misschien worden opgelost met behulp van het algoritme? Dit lijkt bij de meeste algoritmen die worden verkocht wel het geval te zijn. Beeldherkenning wordt op sommige plekken al met succes ingezet bij PA-analyse en bij retinafotografie. In de Verenigde Staten wordt in veel ziekenhuizen dankbaar gebruik gemaakt van de door EPD-leverancier Epic aangeboden 18 (!) algoritmes die onder andere klinische verslechtering, heropname en valneiging voorspellen. Het Nederlandse bedrijf Pacmed werkt met het Amsterdam UMC en het AvL hard aan modellen die heropname op IC voorspellen en die helpen bij de keuze van behandeling van prostaatcarcinoom. Quantib werkt aan radiologische beeldherkenning en heeft modellen die FDA-approved zijn en in het Erasmus MC getest worden. Diverse andere bedrijven werken samen met artsen om AI te ontwikkelen die de zorg kan helpen. Je kan ook zelf aan de slag gaan met AI, zoals ik in mijn vorige bericht beschreef. Er zijn veel AI-oplossingen waar een weldenkende zorgverlener het nut van in zal zien.

Is er draagvlak?

Spannender is de vraag of er draagvlak is in de zorginstelling bij alle betrokken zorgverleners. Wordt het te tackelen probleem in de dagelijkse praktijk ook door de zorgverleners als een probleem ervaren? Dat volgt niet vanzelfsprekend op voorgaande conclusie. Er is een reële kans, dat een algoritme wordt gezien als een bedreiging. Dit kan ook deels terecht zijn. Bij de invoering van een geïntegreerd EPD vallen altijd ontslagen. De kans is groot dat effectieve inzet van kunstmatige intelligentie er ook toe zal leiden dat er op sommige vlakken minder werk is in de zorg. Je mag dus niet verwachten dat zorgverleners op voorhand een positieve houding hebben ten opzichte van AI, ook al is de verwachting dat er vooral minder ondersteunende medewerkers nodig zijn terwijl de zorgverleners zelf minder snel vervangen zullen kunnen worden. 

Digitale strategie

Los van steun op de werkvloer moet er in de zorginstelling een klimaat zijn dat het gebruik van een technologie als AI faciliteert. Dat begint bij een breed gedragen strategie, die – onder andere – gericht is op zorg-innovatie met maximale inzet van IT. In een organisatie die doordrenkt is van het besef dat automatisering zal helpen bij het verbeteren van kwaliteit en efficiëntie, zal snel genoeg het besef rijzen dat hiervoor meer nodig is dan alleen ‘conventionele’ automatisering. Een ander punt is, dat een organisatie echt vruchten hiervan zal plukken als de zorgverlener de ruimte krijgt om het voortouw te nemen bij deze digitale transitie. Andersom durf ik te beweren dat het ontbreken van deze strategie en/of een top-down benadering van IT kan leiden tot een gevaarlijk achterstand op dit gebied.

Begrijpt men het algoritme voldoende?

Een belangrijke basis voor draagvlak is het begrip. Begrijpen de zorgverleners voldoende hoe het algoritme tot zijn voorspellingen komt? De zorgverlener die de verantwoordelijkheid neemt voor de medische beslissingen is terughoudend als het gaat om accepteren van een nieuwe techniek zoals kunstmatige intelligentie. En terecht. De zorgverlener staat immers voor het schavot als het mis gaat. Hij of zij moet op zijn minst een globaal begrip hebben van machine learning om te snappen hoe het model aan zijn voorspellingen komt. Daarnaast bestaat de behoefte om te begrijpen hoe de individuele input-variabelen van het algoritme bijdragen aan de voorspelling. Dit is niet noodzakelijk een makkelijke opgave als je bedenkt dat een model meer dan duizend input-variabelen kan hebben en een ruwe weergave hiervan snel onoverzichtelijk kan worden. Bij beeldherkenning is het op voorhand al moeilijk om het model te begrijpen, omdat de herkenpunten niet vanzelf te visualiseren zijn. Het begrijpelijk maken van uitkomsten van algoritmes is op dit moment een zeer actief onderzoeksonderwerp. Het goede nieuws is dat er steeds meer gereedschappen komen om de ‘black box’ van het machine learning algoritme interpretabel te maken. En dat moet ook, wil het algoritme vertrouwen winnen van de zorgverlener. Een voorbeeld is het Shap-algoritme, dat met behulp van simulaties de bijdrage van de individuele variabele berekent. Het is vervolgens de uitdaging om de variabelen te clusteren zodat er een betekenisvolle interpretatie kan worden gegeven. 

Is het algoritme goed gevalideerd?

Als er behoefte en draagvlak is en voldoende begrip van de materie, dan is een volgende vraag of het algoritme wel voldoende betrouwbaar is. Een diagnostisch algoritme verdient eenzelfde validatie als andere diagnostische middelen in de zorg. Ieder laboratorium valideert nieuwe meetmethoden alvorens deze in de praktijk in te zetten. Ik zou niet weten welk argument kan worden ingezet om dat niet met machine learning algoritmen te doen. Een algoritme van elders dat op ons EPD werd toegepast bleek een AUROC van 0.68 te hebben, terwijl de oorspronkelijke AUROC 0.74 bedroeg. Diagnostische algoritmen mogen wat mij betreft niet worden ingezet alvorens een lokale validatie te verrichten. De noodzaak hiervoor hangt natuurlijk samen met de variatie in data. De data, die werd gebruikt om het algoritme een taak te leren verschilt natuurlijk per instelling. Dat geldt niet alleen voor algoritmen die op het EPD triggeren maar ook op beeldherkenningsalgoritmen. De reden om een röntgenfoto te maken zou overal hetzelfde moeten zijn maar in de praktijk zijn er sterke verschillen die te maken hebben met de lokale diagnostische cultuur en verschillende opleiding of specialisme. De voorafkans op een aandoening kan dus per instelling verschillen. Voor PA-onderzoek is dat niet anders. Hoewel richtlijnen dicteren wanneer onderzoeken plaats dienen te vinden kan daar met goede redenen van afgeweken worden. Moeten we dan vaststellen hoe de data dient te worden verzameld voor dergelijke algoritmen? Volgens mij is dat ondoenlijk. Ten eerste omdat veel algoritmen gebruik maken van transferlearning. Hierbij wordt een bestaand goed getraind algoritme gebruikt dat met relatief weinig nieuwe data verder wordt getraind om de specifieke nieuwe taak te verrichten. Het oorspronkelijke algoritme werd met data getraind, die niets met medische zorg te maken heeft. Datzelfde geldt voor word-embeddings bij spraakherkenning, die ook vaak op willekeurige teksten worden getraind die van internet worden geplukt. De hierop gebaseerde algoritmen zijn niettemin zeer bruikbaar. Hoe wil je dan vaststellen wat wel en niet mag met data en waaraan die data dan moet voldoen? De enige objectieve methode om te controleren of een algoritme werkt blijft mijnsinziens validatie in de instelling waar het model gebruikt wordt. Laten we daar dan in Nederland afspraken over maken.

Is het algoritme handig ingebed?

Dit punt blijft vaak onderbelicht. Als de licentiekosten van een algoritme betaald zijn, blijkt nogal eens dat de zorgverleners veel onhandige stappen moeten zetten alvorens de uitkomst te hebben. Dit ongemak kan een dealbreaker zijn. De software rond het algoritme moet in staat zijn automatisch de gegevens uit Het EPD te halen en na de voorspelling deze automatisch weer in het EPD zetten. Het EPD moet in staat zijn de voorspelling op de meest handige plek te visualiseren voor de zorgverlener, binnen een relevant werkproces. Het moet zo zijn dat de zorgverlener hier niets voor hoeft te doen, omdat dat gewoon mogelijk is en omdat de zorgverlener al voldoende administratieve last heeft.

Plan van aanpak

Een volgend punt is de organisatie rondom de nieuwe technologie. Er is draagvlak, men weet wat er aankomt, het algoritme is gevalideerd en de techniek is op orde. Toch kan je natuurlijk niet zomaar een AI-algoritme ‘aanzetten’. Op zijn minst moet er een project gestart worden dat de invoering van het algoritme begeleidt. Er moeten werkafspraken gemaakt worden en misschien wel protocollen. Risico’s zullen moeten worden geïnventariseerd. En er moet worden nagedacht over het meten van het effect van gebruik van een AI-algoritme. De gebruikte middelen moeten achteraf kunnen worden verantwoord. Mogelijke baten of kwaliteitswinst moeten worden gemeten, maar ook verborgen kosten of derving van inkomsten, bijvoorbeeld door substitutie van zorg van de tweede naar de eerste lijn of door afname van zorgvraag (hoe wenselijk dat ook moge zijn). Onder de streep moeten alle partijen er natuurlijk beter van worden, zodat innovatie zal blijven worden gestimuleerd. Ten slotte moet worden nagedacht over risico’s, over hoe te handelen als het een keer mis gaat en de rol van de inspectie moet hierbij duidelijk zijn.

Maatschappelijke impact

Inmiddels wordt door het ministerie van VWS en andere partijen zoals het Europese BigMedilytics-consortium hard nagedacht over het veilig inzetten van AI in de zorg. Ondergetekende mocht zijn bijdrage aan beide partijen leveren. De eerste adviezen die hieruit zullen volgen kunnen in mijn ogen niet meer dan een tussenstand zijn. De ware impact van AI in de zorg moet immers nog blijken en wat wijsheid is dus ook. In mijn instelling zullen we in ieder geval met bovenstaande punten rekening houden en ik verwacht dat die lijst zal groeien.

Hoe fijn zou het zijn als je met behulp van artificiële intelligentie aan de hand van het EPD zonder verdere tussenkomst van een arts medische conclusies, voorspellingen en behandelopties zouden kunnen worden gegenereerd. Recent presenteerde Google een algoritme dat diagnoses destilleert uit het EPD en voorspellingen doet over mortaliteit, heropname en lange opnameduur. Het is terecht dat er aandacht is voor een model dat zulke prestaties neerzet, ook al is het niet het eerste model dat met dit doel ontwikkeld werd. Wat me wel verbaast is dat – ondanks de media-aandacht – niemand de moeite neemt om uit te leggen hoe het model precies werkt. Begrip van het model leidt immers tot een betere inschatting van de (on)mogelijkheden. In dit artikel volgt daarom een globale beschrijving van de werking van het model, aan de hand van de verschenen artikelen van Google (het Nature-artikel van mei jl. werd voorafgegaan door een arXiv.org-artikel in januari 2018).

De ontwikkeling van een A.I.-model
Machine learning suggereert dat het meeste werk in het trainen van het model zit. Als het aantal berekeningen als maat wordt genomen, dan is dat in feite ook zo. Het geluk is dat de computer dat deel voor zijn rekening neemt. Het meeste werk zit hem voor de data scientist in het ‘klaarzetten’ van alle data voor het rekenmodel. Er moet een mapping worden gemaakt van de gegevens zoals deze in het EPD staan naar de input-features van het model. Vaak moeten de EPD-gegevens nog een veranderslag ondergaan om door een model verwerkt te kunnen worden. Deze exercitie vormt het leeuwendeel van het werk. Om deze hoeveelheid werk te verminderen heeft google het model zó ingericht dat de data uit het EPD kunnen worden gelezen met behulp van de FHIR-standaard. In theorie kan het model op deze manier data uit ieder interoperabel EPD volgens de FHIR standaard gegevens trekken om te verwerken. Dus zodra ieder ziekenhuis op dit punt aan de VIPP-norm voldoet kunnen we het model hier toepassen. Dit onderdeel van het experiment is misschien wel de allerbelangrijkste bijdrage aan het onderzoeksveld! Er zijn al vele honderden predictive analytics tools maar ze worden slechts mondjesmaat gebruik, en dat heeft te maken met de moeizame technische implementatie, voor een groot deel vanwege gebrekkige interoperabiliteit. Complimenten voor Google!

Ensemble van 3 modellen
Google nam geen genoegen met een enkel model maar berekende de gemiddelde voorspelling van 3 modellen. Dit wordt vaker gedaan om de tekortkomingen van het ene model te verbloemen met een ander model. De drie modellen zijn fundamenteel verschillend. Het eerste model is het meest interessant omdat dit soort modellen steeds meer wordt ingezet voor natural language processing, waarover later meer. De drie modellen betreffen een recurrent neuraal netwerk, een ’time aware’ feedforward neuraal netwerk en een ‘boosted embedded time-series’-model. Over de laatste twee modellen kan ik kort zijn. In beide gevallen wordt de predictie uiteindelijk gedaan door een standaard feedforward neuraal netwerk. In het 2e model wordt de data ingedeeld in tijdintervallen, die als gewogen gemiddelde worden gevoed aan het neurale netwerk. Het 3e model is samengesteld uit een ‘beslisregel-generator’ en een standaard neuraal netwerk. De beslisregel-generator maakte eerst miljoenen binaire beslisregels zoals ‘is het Hb hoger dan 7’, gebaseerd op alle data-items en mogelijke waarden ervan. Met machine learning werden de meest belovende beslisregels geselecteerd en weer gevoed aan een standaard feedforward neuraal netwerk. Aan de hand van het eerste model, het recurrente neurale netwerk (RNN), zal het artikel verder beschreven worden.

Natural Language Processing
In een aantal nieuws-artikelen over dit onderzoek wordt geclaimd dat dit model in staat zou zijn om handgeschreven tekst te interpreteren. Er is zelfs een artikel dat eerst roept dat er veel indianenverhalen rondom het model zijn ontstaan om vervolgens ook deze onwaarheid te verkondigen. Het model verwerkt digitale vrije tekst, niet handgeschreven. Dit valt onder de noemer Natural Language Processing (NLP). Het is van belang te benoemen wat het model met de digitale tekst doet. Er is namelijk geen interpretatie-algoritme. Het model maakt geen gebruik van de argumentatie in de tekst. Wat wel gebeurt is dat de woorden uit de tekst worden omgezet in een rij getallen, een ‘embedding’, die verder wordt verwerkt. In de getallen van zo’n embedding zitten – in een voor het menselijk oog onleesbare code – de karakteristieken van het woord verwerkt, zoals ‘mannelijk/vrouwelijk’, ‘eetbaar’, ‘oud/jong’, etc. Normaal worden deze embeddings stuk voor stuk aan een model gevoed. Bij het RNN-model worden de embeddings van alle woorden van een notitie in één keer gemiddeld alvorens ze aan het model te voeden. Het kan niet anders dan dat daar informatie bij verloren gaat. Kennelijk is de data in het EPD redundant genoeg, want dit model is het best voorspellende model ooit.

Natural EPD Processing
Embeddings worden al langer gebruikt als representatie van woorden in getallen. Nieuw voor mij is dat niet alleen de vrije tekst, maar zelfs alle informatie in het EPD wordt omgezet in embeddings. Het is zo dat je voor een netwerkcel moet instellen of er wel of niet een embeddinglaag in zit. Omdat alle data aan de cel wordt gevoed, is dit allicht onontkoombaar. Aan de andere kant voorkomt dit eindeloze one-hot-vectors omdat de embedding eigenlijk de uiting is van het belang van de waarde van het dataitem, nog voor de weging van het dataitem. Deze embeddings werden door alle drie modellen gebruikt.

Recurrent neuraal netwerk
Het eerste model betreft een recurrent neuraal netwerk met ‘LSTM-cellen’. Wat houdt dat in? Hiervoor moeten we een beetje de diepte in. Ik zou iedere lezer aanraden dit filmpje te bekijken als dat nog niet werd gedaan. In het filmpje wordt heel intuïtief uitgelegd wat een (standaard) neuraal netwerk nu eigenlijk is. Het verschil met een recurrent of sequentieel neuraal netwerk is dat een recurrent neuraal netwerk per tijdseenheid data wordt gevoerd en aan het einde van deze data-ketting met een voorspelling komt. Voor gevorderden is een mooie en indrukwekkende blog door een vooraanstaand A.I.-wetenschapper geschreven over de werking van recurrente neurale netewerken. Het blijkt dat de simpele vorm van een neuraal netwerk na een aantal tijdstappen nog wel eens cruciale informatie gaat ‘vergeten’. Daarom is er een LSTM-vorm bedacht die ook een soort lange termijn geheugen heeft (LSTM staat voor long-short-term-memory). Dit klinkt complex, maar als je het rekenprincipe doorhebt dan snap je niet hoe zo’n simpel model uiteindelijk in staat is om in een andere setting bijvoorbeeld gesproken taal om te zetten in digitale tekst. In dit geval wordt dit model gebruikt door Google om de data van de patiënt per tijdsinterval te verwerken om aan het einde van de rit met een voorspelling te komen, zoals heropnamerisico of een diagnose. De diagnose uit de volledige ICD-9 kan met een micro-F1-score van 0,4 worden gesteld, wat een sterke verbetering is ten opzichte van eerdere modellen.

Black Box
We zullen niet te weten komen welke woorden in de tekst belangrijk zijn omdat er al gemiddelden van berekend zijn voordat ze het model in gaan. Dat geeft dan weer een nadeel van dit soort complexe modellen weer: het is moeilijk om te beoordelen hoe het model tot zijn voorspelling komt, welke factoren bij deze patient van belang zijn. Het is een Black Box model. Google heeft dat voor de Bühne opgelost door speciaal met dit doel een model te maken en dusdanig in te richten dat wel zichtbaar wordt hoe de voorspelling tot stand komt. Lastig is dat dit ’transparante’ model dan weer minder goed is dan het oorspronkelijke model. Ten slotte blijft de vraag open welk model van de drie het meest betrouwbaar is. De uiteindelijke predictie is het resultaat van een gemiddelde van drie modellen. Is het echt nodig om ieder model te implementeren? Onder welke omstandigheden presteerde welk model beter? Die vragen blijven onbeantwoord.

Conclusie
Google heeft indrukwekkend werk geleverd. Niet alleen werd een FHIR geadopteerd voor interoperabiliteit. Ook werden met alle beschikbare data goede voorspellingen gedaan van overlijdensrisico, heropname binnen 30 dagen en langere opname duur dan 7 dagen. Overigens is de voorspelling van heropname door Google maar nét beter dan een model van Epic (AUROC 0.75 vs 0.74), terwijl dat laatste model met een ouderwetse Lasso-analyse werd gecreëerd en in productiesetting de voorspellingen met lineaire regressie worden berekend. Dat is dus een hoop tijd en middelen voor 0.01 stijging van de AUROC. Mijn bedenkingen gaan overigens uit naar de voorspelling van overlijden. Die zou wel eens als een self fullfilling profecy kunnen werken, uitkijken dus of een andere naam geven. Voor het overige is de sky natuurlijk de limit! Ik zie de diagnosesuggesties al voor me op mijn beeldscherm, met benodigde orders en medicatie, terwijl de kwaliteit toeneemt omdat complicaties van tevoren worden herkend. Geneeskunde gaat exponentieel veranderen.

Daar zijn veel antwoorden op mogelijk. Bij machine learning draait het om een rekentruc waarmee betere voorspellingen kunnen worden gedaan naarmate er meer data wordt gebruikt. Het gaat dus om een rekentruc, voorspellingen en om data. Iedereen die meerdere keren per dag door een EPD bladert weet dat er een overvloed aan data in de geneeskunde is. Op de rekentruc kom ik later terug. De voorspellingen zijn in een aantal categorieën in te delen.

Beeldherkenning
Beeldherkenning is wat mij betreft de meest tot de verbeelding sprekende tak van machine learning in de geneeskunde. Op een CT-scan wordt automatisch een bloeding herkend, bij coloscopie wordt een poliep herkend, PA-cytologie van PAP-uitstrijkjes worden inmiddels beter beoordeeld door een algoritme dan door de mens. Huidafwijkingen worden herkend, ga zo maar door. Slim ingedeelde gelaagde systemen zorgen voor herkenning van structuren die per laag in complexiteit toenemen totdat classificatie kan plaatsvinden. Hieronder is een voorbeeld van gezichtsherkenning op basis van dit principe (Lee, Honglak, et al, 2009, ‘Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations’. Dit betreft trouwens een ‘deep belief network’, een bijzondere vorm van een neuraal netwerk, waarbij ook rekening wordt gehouden met het theorema van Bayes)

Spraakherkenning
Op dit moment wordt door in grote softwarehuizen hard gewerkt aan spraakherkenningssoftware die gesproken taal om kan zetten in discrete data, die direct in het EPD geplaatst wordt. Dit deelgebied van kunstmatige intelligentie heet natural language processing. Voor de Nederlandse markt is deze software nog niet beschikbaar maar hier zal naar verwachting op niet al te lange termijn verandering in komen. Herkenning van spraak is mogelijk met een neuraal netwerk, waarvan de knopen als een lange ketting aan elkaar worden geregen. Dit zogenoemde ‘recurrente’ neurale netwerk krijgt als input de gesproken tekst en heeft als output de tekst of discrete data, die verder verwerkt kan worden in het EPD. Om zo’n netwerk goed te laten werken is duizenden uren gesproken tekst nodig. Grotere betrouwbaarheid wordt bereikt als de tekst domeinspecifiek is. Dat betekent, dat dokters het beste zelf de tekst in kunnen spreken. Iemand zou de discrete uitkomsten hieraan kunnen koppelen. Dit vormt een aanzienlijke drempel voor de ontwikkeling van dit soort toepassingen.

Predictive analytics, klassiek
Predictive analytics is een containerbegrip voor algoritmes die op basis van een bepaalde input een voorspelling kunnen doen. Een voorbeeld is het voorspellen van ongeplande heropname binnen 30 dagen na ontslag. Hiertoe worden relevante gegevens uit het EPD, bijvoorbeeld met behulp van een regressieanalyse, gecombineerd tot een voorspelling op basis waarvan medisch beleid kan worden aangepast. Klassiek worden enkele tientallen gegevens gecombineerd zoals bloeddruk, medicatie, laboratoriumuitslagen en diagnoses. Er zijn de laatste tien jaar vele honderden bruikbare modellen beschikbaar gekomen. Toch blijkt de daadwerkelijke toepassing van dit soort modellen op praktische bezwaren te stuiten. Ten eerste beschikken de meeste ziekenhuizen niet over flexibele EPD’s waarmee de dokter snel in staat is om dit soort modellen te implementeren. Ten tweede wordt vaak onvoldoende discreet gedocumenteerd in EPD’s zodat de modellen niet met eenduidige patiëntendata gevoed kunnen worden. Een ander belangrijk probleem is dat dit soort modellen meestal worden getraind op basis van patiëntendata één of enkele ziekenhuizen in een bepaald regio. Patiënten zijn niet homogeen verdeeld. Modellen die in ziekenhuis A werken hoeven dus niet in ziekenhuis B te werken. Dit laatste blijkt trouwens geen enkele beperking te vormen voor de huidige wijd verbreide toepassing van simplistische modellen zoals de AMBU-65 score of de PSI score. Voor dit soort modellen gelden dezelfde beperkingen, hoewel ze beter gevalideerd zijn in meerdere centra/regio’s.

Predictive analytics met neurale netwerken
De laatste tijd worden ook modellen gebruikt die veel meer (of zelfs alle) medische data in het EPD combineren tot zo’n voorspelling. Hiervoor worden doorgaans neurale netwerken gebruikt, omdat deze goed in staat zijn niet-lineaire verbanden te herkennen in grote hoeveelheden data. Het blijkt dat dit soort modellen veelzijdig in te zetten zijn. Toch moeten hoopgevende publicaties met de nodige voorzichtigheid worden geïnterpreteerd, als de meeste data uit een EPD wordt gebruikt. EPD’s worden namelijk consequent verschillend geïmplementeerd in ziekenhuizen. Dokters maken ook nog eens anders gebruik van EPD’s, zowel individueel als per ziekenhuis. Dat betekent dat een model dat hierop gebaseerd is ook zal verschillen per ziekenhuis. De consequentie hiervan is dat ieder ziekenhuis zijn eigen lokaal getrainde model zal moeten hebben zo lang deze verschillen bestaan, zodat de kans op een goede voorspelling het grootst is. Je zou kunnen zeggen dat het gebruik van machine learning, in het bijzonder neurale netwerken, een vorm van toegepaste wetenschap is. Alle daarbij horende parafernalia moeten geborgd zijn, zoals goede validatie, kalibratie, redundantie van kennis, toetsing van kennis en verantwoording. Het is de vraag of transparantie voldoende geborgd is als al deze taken in handen van commerciële partijen liggen. Daarnaast is de verbinding met de medische staf niet geborgd. In mijn ogen moeten ziekenhuizen investeren in kennis op het vlak van neurale netwerken, mede gezien de ongekende mogelijkheden van deze vorm van kunstmatige intelligentie.

Gemengde modellen
Verschillende vormen van ‘pre-processing’ en machine learning kunnen ook worden samengevoegd tot een grote ‘pipe-line’ die een complexe taak kan uitvoeren, zoals vaak bij natural language processing gebeurt. Het signaal van gesproken taal wordt van tevoren bewerkt en gevoed aan een neuraal netwerk dat digitale tekst produceert, waarna het opnieuw aan een tweede neuraal netwerk wordt gevoed dat er discrete informatie van maakt. Als er grote hoeveelheden data beschikbaar zijn, dan kan ook gepoogd worden direct van de data naar de benodigde informatie te vertalen, worden zonder uitgebreide pipe-line.

Met de komst van predictive analytics in de geneeskunde, komt de vraag of het gebruik ervan zonder meer veilig is. Recent werd in JAMA een artikel geplubiceerd waarin drie methodologische experts hun zorgen uitten over het rücksichtlos implementeren van predictive analytics modellen in de kliniek. Ten eerste werd genoemd de ontbrekende kalibratie van de modellen. Daarnaast hebben de commerciële partijen een financiële stimulans om de performance van hun modellen beter voor te spiegelen dan de realiteit. Ten slotte werd gesproken over de heterogeniteit en incompleetheid van de EPD’s en de daarmee samenhangende onzekerheden. Bij dit alles werd benadrukt dat de gebruiker, de arts, niet beschikt over de kennis om voorspellende modellen op waarde te schatten.

Het is goed dat nu, temidden van de hype, met gezond verstand wordt nagedacht over de consequenties van het gebruik van predictive analytics. In handen van commerciële partijen zijn het in feite medische hulpmiddelen. Er wordt dan ook netjes een CE-keurmerk aangevraagd alvorens deze modellen worden aangeboden. Helaas is het zo dat het CE-keurmerk niet is toegespitst op het keuren van predictive analytics. Daarnaast zijn er voorbeelden van toekenning van het CE-keurmerk voor onzinproducten. Het CE-keurmerk heeft bij predictive analytics dus nauwelijks enige waarde, maar wordt wel als geruststelling ingezet.

Dat verzekeraars zijn begonnen met het ondersteunen van commerciële partijen die dit soort producten leveren en implementeren in ziekenhuizen is in ieder geval een compliment voor de verkopers van de modellen en geeft aan hoe hoog de verwachtingen zijn. En eerlijk is eerlijk, daar is ook alle reden voor. In vele bedrijfstakken heeft kunstmatige intelligentie zijn waarde bewezen. Maar het is juist dat bewijzen waar de auteurs van bovengenoemd artikel zich zorgen over maken. Dat heeft te maken met een bekend probleem bij het gebruik van voorspellende scores. De nadruk ligt vaak op de c-statistics, ofwel de AUROC (area under the receiver operator curve). Vrijwel alle modellen die enige waarde hebben blijken een AUROC te hebben waar de statisticus blij van wordt. Dat is alleen niet het hele verhaal. Aan de voorspellende score kleeft namelijk nog een onzekerheid die gekwantificeerd kan worden. Deze zogenoemde kalibratie krijgt veel minder aandacht en druppelt eigenlijk helemaal niet meer door naar de klinische praktijk, terwijl dat wel zou moeten. Een consequenties van matige is bijvoorbeeld de MEWS, die op de longafdelingen nauwelijks enige rol van betekenis speelt. Lage saturaties en oppervlakkige ademhaling van veel longpatiënten leveren bij voorbaat een hoge score op en maken de score voor longartsen minder bruikbaar. Het kalibratieprobleem is eigenlijk niet uniek voor de op machine learning gebaseerde predictive analytics, maar speelt bij alle scores die kunnen helpen met voorspellen van klinische verandering. De belangrijkste determinant voor goed gebruik is dan ook de statistische en methodologische kennis van het model.

Waar artsen vaker mee te maken krijgen, is een overmatig optimistische houding van producenten. Ik weet niet hoe het met u zit maar een belangrijk deel van mijn nekharen is gevoelig voor commercieel over-optimisme en dat draagt er aan bij dat ik commerciële partijen probeer te mijden bij mijn dagelijkse werk. De meeste artsen zullen een gesprek met een farmaceut niet leidend laten zijn als het gaat om hun medisch beleid. We zijn immers opgeleid voor het inschatten van de waarde van medicatie op basis van wetenschappelijke literatuur en richtlijnen. Er zal veel minder kennis paraat zijn over statistische en methodologische aspecten van predictive analytics, laat staan als deze met machine learning is ontwikkeld. In dat geval ben je eigenlijk aan de goden van Silicon Valley – en nationale equivalenten daarvan – overgeleverd.

De heterogeniteit en incompleetheid van onze patiëntendatabases – de EPD’s – is het derde belangrijke punt dat de auteurs maken. Ieder ziekenhuis heeft een iets ander EPD, ook al zijn ze van hetzelfde merk. Daarnaast wordt er in ieder ziekenhuis net iets anders gewerkt en gedocumenteerd. Dat is niet perse een gemiste kans of implementatiefout, maar veel meer een logisch gevolg van groepsdynamiek. Ik geloof ook niet dat het doel moet zijn dat we allemaal overal precies hetzelfde doen. Uniformiteit op zich garandeert geen kwaliteit. Dat neemt niet weg, dat we wel degelijk een Basis Gegevensset Zorg (BGZ) moeten hebben en dat interoperabiliteit een groot goed is. Dat zal alleen nooit een oplossing worden voor heterogeniteit omdat de BGZ maar een klein deel van onze medische documentatie vertegenwoordigd. Dat betekent dat een predictive analytics model dat getraind is in het ene ziekenhuis sowieso niet zonder meer gebruikt mag worden in een ander ziekenhuis. Er moet een gedegen validatie met bepaling van c-statistics en kalibratie plaatsvinden voordat zo’n model uit een ander ziekenhuis in het werkproces wordt opgenomen. Op voorhand is de kans groot dat het model niet zo goed zal werken, als in het andere ziekenhuis. Ik voorzie dat veel modellen het beste zullen werken als ze in ieder ziekenhuis opnieuw getraind worden. Dat speelt minder bij bijvoorbeeld herkennen van patronen in radiologische diagnostiek of bloeddrukgolven, hoewel de voorafkans daar doorgaans niet meegenomen wordt, terwijl die zoals bekend van invloed is op de uitkomst.

Uit alle voorbeelden blijkt dat succesvolle implementatie van predictive analytics staat of valt bij kennis over het model en de methode van predictive analytics. Moeten dan alle artsen zich nu storten op het ontwerpen en valideren van predictive analytics? Dat gaat volgens mij te ver. Maar als je het mij vraagt zou ieder ziekenhuis (en natuurlijk iedere huisartsenkoepel of andere deelverzameling van artsen) tenminste moeten beschikken over enkele artsen die bekend zijn met de materie. En snel ook, want volgens de AI-gemeenschap in Europa lopen we de boot mis als we niet opschieten.

Sinds enkele jaren worden we toenemend geconfronteerd met toepassingen van kunstmatige intelligentie in de gezondheidszorg. Cardiovasculaire events kunnen voorspeld worden met op machine learning gebaseerde algoritmes. PAP-uitstrijkjes worden door slimme algoritmes minstens zo goed beoordeeld als door de patholoog. Moderne EPD’s bieden inmiddels algoritmes aan die heropnames kunnen voorspellen. Voorbeelden stapelen zich op. Toen ik in november 2017 de abstracts van de ASN Kidney Week doornam, verbaasde het mij daarom, dat slechts 11 van de 4454 abstracts rapporteerden over onderzoek met behulp van machine learning. Ik woonde twee presentaties hiervan bij en constateerde dat de ene arts-onderzoeker eigenlijk nog steeds verbaasd was dat de techniek werkte bij zijn onderzoek, terwijl de andere arts een commerciële partij in de arm had genomen omdat hij eigenlijk niet wist hoe het werkte. Ik besefte dat we als beroepsgroep hard op weg zijn om een belangrijk diagnostisch arsenaal mis te lopen. Vanaf dat moment heb ik me gestort op machine learning. En het was natuurlijk zo dat ik het niet heel druk had tijdens het congresbezoek, zodat ik rond kon struinen op internet op zoek naar de ideale uitleg van machine learning.

Het is niet heel makkelijk om wegwijs te worden in dit onderwerp terwijl (maar ook omdat) er kilometers tekst en jaren Youtube films over te vinden zijn. Ik zal je besparen aan welke ebooks en filmpjes ik mijn tijd heb verspild en meteen to the point komen: op Coursera.org is de cursus Machine Learning van (oprichter) Andrew Ng te vinden. Ik heb niet eerder meegemaakt dat iemand iets zó duidelijk kan uitleggen. De cursus duurt drie maanden (in de vrije tijd), kost ongeveer 60 euro en dat is een schijntje. Daarna volgde de ‘Deep Learning Specialization’, ook van Andrew Ng. Kost ook niet veel en levert des te meer op. Na deze cursussen snap je echt waar het om draait en ben je al aardig in staat om na te denken over ontwikkeling en implementatie van predictive analytics in je eigen ziekenhuis. Een groot voordeel is bovendien dat je in staat bent om wetenschappelijke literatuur over machine learning te lezen en je verder te verdiepen in het onderwerp.

Gaat dit je allemaal te ver voor nu? Dan kom je ook een eindje als je af en toe dit blog leest.