Keer Diabetes 2 Om: niet 87% heeft resultaat maar 17%?

11 april 2018
Keer Diabetes 2 Om: niet 87% heeft resultaat maar 17%?

Ik ben zelf een groot voorstander van paprika in plaats van pillen maar laten we de realiteit niet uit het ook verliezen. Een korte samenvatting voor de snelle lezer:

 

 

 

 

87% geeft een vertekend beeld

Al weken wordt er door de stichting Voeding Leeft marketingteksten gedeeld alsof die over wetenschappelijke feiten gaan. De media vindt het sympathiek en deelt het daarom zonder kritische blik. Laat ik me beperken tot het project Keer Diabetes 2 Om. Dit is een leefstijlproject met het doel om mensen van hun diabetes af te helpen of in iedere geval het HbA1c te verminderen. Dat resulteert meestal ook vermindering van medicatie. Een aantal weken geleden stond in veel media ‘na 12 maanden is 87 procent van de deelnemers geheel of gedeeltelijk van de ziekte af bij het programma Keer Diabetes 2 Om.‘ Dat klinkt geweldig, maar waar komen die cijfers vandaan?

De groepen zijn verschillend

Om aan te tonen of iets werkt ga je van start met twee groepen mensen die willekeurig in een groep terecht komen zodat de groepen vergelijkbaar samengesteld zijn. Dat is belangrijk, want als de twee groepen verschillend samengesteld zijn, dan kun je na afloop van de testperiode nooit weten of eventuele uitkomstverschillen tussen de twee groepen zijn toe te schrijven aan het programma of aan die verschillen in samenstelling. Bij Keer Diabetes 2 Om verschilden de groepen echter wél duidelijk in samenstelling.

De groepen van dit project verschillen bij aanvang qua:
Gegevens bij start
Keer Diabetes 2 Om
Andere groep
Gewicht*
96 kilo
85,5 kilo
Taille
110 cm
105,5 cm
HbA1c
59 mmol/mol
55 mmol/mol
Medicatie**
1,9
1,6
*     Gewicht alleen als variabele geeft geen goed inzicht, BMI en vetpercentage zou relevanter zijn
**   Gemeten op een 3-punts schaal. 0=geen medicatie; 1=metformine; 2= metformine + andere orale medicatie; 
       3= metformine +   andere orale + insuline. 
       Deze schaal klopt niet: het lijkt een ordinale schaal maar dat kan niet bij medicatie. 
       Juist is in dit geval het gebruik van een nominale schaal. Statistisch is dan niet correct een gemiddelde te berekenen.
PS  het geslacht ontbreekt, terwijl de afkapwaarden bij mannen en vrouwen voor de tailleomtrek verschilt 
 

Een bestand in plaats van een controlegroep

Nu had het onderzoek naar Keer Diabetes 2 Om echter nog een ander probleem: de controlegroep (de groep die niet aan het programma meedoet) was geen werkelijk bestaande groep. Het was een geanonimiseerd referentiebestand van 11.000 mensen die in de huisartsenpraktijk bekend zijn met diabetes type 2. De groep van Keer Diabetes 2 Om start met 196 mensen. En dan ontstond nog een derde probleem: na 12 maanden zijn het nog maar 38 deelnemers. Dit is een grote uitval, zo’n 80% (1) heeft de eindstreep niet gehaald. Het is onduidelijk op basis van de beschikbare gegevens waar dit door veroorzaakt wordt, maar tevens weten we niet of er verschillen zaten tussen de mensen die uitvielen en degenen die de eindstreep haalden. Bijvoorbeeld, waren de doorzetters verhoudingsgewijs de gezondste mensen uit de testgroep of juist de minst gezonde? Dit is ons niet bekend, maar wat we wel weten is dat dit de eindresultaten flink kan hebben beïnvloed.
 

Het aantal mensen met minder medicatie zit tussen 17% en 87%

Elke persoon die minder medicatie gebruikt is fijn. Maar waar hebben we het over? Het gaat om 87% van 38 mensen. 87% is 33 personen. Er is gestart met 196 mensen. Dat betekent dat ca. minimaal 17% een verbeterd resultaat laat zien. Dat geeft toch een ander beeld dan de 87% die steeds wordt genoemd. Of het resultaat bij de andere groep (die geen groep is maar een verzameling data) beter of slechter is wordt niet toegelicht. Om die conclusie te kunnen trekken zou een gerandomiseerd onderzoek wenselijk zodat de twee groepen starten met dezelfde beginwaarden. Zolang dit onderzoek er niet is, is de vraag wat de daadwerkelijk toegevoegde waarde nu echt is van het programma Keer Diabetes 2 Om. 

Het aantal mensen zonder medicatie zit tussen 7% en 38%

Op de factsheet die 6 april door Keer Diabetes 2 Om is verspreid staan ook nog een ander aantal deelnemers genoemd voor de groep die definitief geen medicatie nodig heeft. Op deze flyer staat dat 38% van de resterende 47 personen na 12 maanden geen medicatie meer gebruikt. Dat zijn 18 mensen. Die groep van Keer Diabetes 2 Om is gestart met 263 mensen. Dat betekent dat minimaal 7% geen diabetesmedicatie meer gebruikt.
 
Aantal deelnemers 
Keer Diabetes 2 Om
Start
Na 6 maanden
Na 12 maanden
1e Grafiek/noot4***
196
196
38
2e Grafiek/noot7***
263
221
47
*** info van factsheet Keer Diabetes 2 Om uitgedeeld 6 april bij congres Arts en Voeding
 
Het is op de factsheet onduidelijk welke cijfers nu precies gelden, waar ze vandaan komen en vooral: waarom er verschillen zijn, zelfs in het grote verloop. Online lees ik dat de factsheet gebaseerd is op gecombineerde data van de pilotgroep en de groep deelnemers die is gestart vanaf 1 januari 2017. De vraag is of je op deze wijze uit gecombineerde data een relevante conclusie kunt trekken. 

Voeding Leeft reageert niet op vragen

Voeding Leeft noemt de resultaten van Keer Diabetes 2 Om ‘spectaculair’ en heeft dat zo ook in de media gekregen, maar we hebben gezien dat het onderzoek waarop dit enthousiasme is gebaseerd, behoorlijk rammelt. Bovendien is het merkwaardig dat de stichting aanvankelijk niet reageerde op verzoeken via twitter om toelichting over de opzet van het onderzoek. De enige reactie was al een week dat ze het openbaar gaan publiceren. Vandaag hebben ze iets gepubliceerd maar die informatie laat niet zien waarom ze ten onrechte steeds 87 % blijven communiceren. Verder is opmerkelijk dat factsheets worden uitgedeeld met vertekende resultaten terwijl het onderzoek nog niet eens is afgerond.
 

Disclaimer

Op basis van de beschikbare info heb ik de 17% en 7% berekent. Als Keer Diabetes 2 Om met andere goed onderbouwde cijfers komt neem ik die uiteraard graag op in deze post.

Update 14 april

(1) Er blijkt een stepped-wedgedesign gebruikt te zijn. Vreemd dat dit nergens op de factsheet wordt vermeld, zeker omdat dit een ongebruikelijk design is. Dit design betekent dus dat een deel van de groep korter dan 12 maanden deelneemt. De cijfers na 12 maanden zijn zo lastig te interpreteren en het is in ieder geval niet correct om de 87% en 38% te brengen als dat dit geldt voor de hele groep. ‘Het stepped-wedgedesign kan in sommige gevallen uitkomst bieden zoals wanneer een interventie op individueel niveau effectief is gebleken maar nog onderzocht moet worden of implementatie op populatieniveau werkzaam is. Binnen dit design krijgen uiteindelijk immers alle deelnemers de experimentele interventie. Empirische studies tonen aan dat in het merendeel van de studies met een stepped-wedgedesign de onderzochte interventie op individueel niveau al effectief is gebleken.’ Bron Deze opzet is dus een mogelijk manier om een interventie te onderbouwen als de interventie op individueel niveau al effectief is gebleken. Bij Keer Diabetes 2 Om is er tot nu toe (voor zover mij bekend) geen onderzoek gedaan waarbij er zoals gebruikelijk is met een interventiegroep en controlegroep is gewerkt. Daarom roept de keuze voor een stepped-wedgedesign grote vraagtekens op en lijkt het daarmee een oneigenlijke keuze.

14 april vroeg Mark Coumans per twitter
‘In de voetnoten 4 en 7 van de Facsheet worden 2 andere startgroep-aantallen én 2 verschillende 12-mnd groepen genoemd.Gaat genoemde 87% dan wel of niet over n=38 na 12mnd?
En de 38% gaat enkel over n=47 na 12mnd.
Sowieso niet over gesuggereerde n=196 of n=263’

Ondanks herhaaldelijk vragen komt daarop geen enkel antwoord. Het blijft gegoochel met cijfers in plaats van een degelijke wetenschappelijke onderbouwing. Onvoorstelbaar dat iedereen dit voor zoete koek slikt.

Ik wil Mark Coumans, Hans Koevoet en Carlo Kool bedanken voor het kritisch meelezen.

Tagged , ,