CBS Sterfterapportage en Plausibiliteitscontrole

Datum gesignaleerd

Link naar de gewraakte bron

Maatschappelijke/inhoudelijke context

De doodoorzakenstatistiek van CBS heeft extra gewicht gekregen door de actuele maatschappelijke relevantie. Redenen voor een nauwgezette analyse:

1. Het ministerie van VWS weigert transparant te werken. Ook geaggrereerde data worden niet gedeeld met de AVG als reden.
2. Het ministerie van VWS neemt de de unieke en ongekende oversterfte die gedurende de zomer van 2021 is ontstaan niet serieus. CBS-cijfers kunnen hier uitsluitsel bieden.
3. De doodsoorzakenstatistiek kan aanknopingspunten bieden voor een verklaring van deze oversterfte in Nederland. Nog steeds groeiende, dus urgent.
4. Het data management van het rivm is niet altijd even betrouwbaar gebleken, er is behoefte aan ijking en referentiemateriaal.
5. Het CBS heeft de maandelijkse voorlopige rapportages van doodsoorzaken per 1 juli beëindigd, hetgeen verbazing wekte.
6. De beloofde kwartaalrapportage liet drie weken op zich wachten. De toch al hooggespannen verwachtingen liepen daardoor verder op.
7. De gebruikelijke ‘plausibiliteitscontrole’, voorafgaand aan publicatie van cijfers, draagt deze keer het gevaar in zich dat cijfers worden bijgestuurd naar wenselijkheid. Een belangrijk onderdeel van ‘plausibiliteit’ is immers ‘aannemelijkheid’ of ‘waarschijnlijkheid’. Wat voor de ene partij onaannemelijk is, kan voor een andere partij een wetenschappelijk bewezen feit zijn. De cijfers zouden het gevoerde beleid kunnen bekrachtigen of ondermijnen.
8. De overheid is nu zelf partij in discussies van levensbelang. Er moet rekening mee worden gehouden dat dit de dataselectie en -presentatie van haar eigen datapublicaties kan beïnvloeden. In de wetenschap wordt er niet voor niets aangedrongen op dubbelblind uitgevoerd onderzoek.

Citaat en/of screenshot gewraakte passage

Op 5 november sloegen onze meters op rood vanwege inconsistenties in de data. Hieronder een eenvoudig voorbeeld.

We zien een minimale selectie uit een data-set: “Leeftijdsgegevens van overledenen” in de afgelopen twee weken naar leeftijdscategorie. De koppen boven de kolommen geven aan over welke leeftijdscategorie elke kolom gaat. De linkerkolom (Totaal aantal) geeft de optelling weer van de kolommen in de betreffende rij.

Screenshot dd. 5 november.

Logische inconsistenties en/of feitelijke onjuistheden

De systemen liepen vast op week 43*.

In de CBS tabel staat 3.661. Maar 456 + 1034 + 1871 = 3.361.
Dat scheelt in 1 week 300 sterfgevallen, ca. 8% van het totaal aantal overledenen in die week.

Dit achtten wij niet ‘plausibel’. Wat in elk geval blijkt: de kolom “Totaal aantal” berekent niet het totaal van de getoonde kolomcijfers. Waar dat ‘Totaal aantal’ dan wel vandaan komt, hoe dat wordt bepaald en wie het heeft ingetikt is niet transparant. De totalen staan kennelijk in een apart record. Dit was de oorspronkelijke aanleiding voor dit artikel.

* voorlopige cijfers: deze sterretjes staan achter alle weken in 2021.

STOP DE PERSEN

Bij de laatste kwaliteitscontrole van deze factcheck, in de nacht van 7 op 8 november bleek er achter de schermen bij CBS aan de cijfers gewerkt te zijn. Het totaal stemde weer overeen met de kolommen: Het ’totaal aantal’ ziet er inmiddels weer uit als een real-time optelling met het juiste totaal.

Screenshot dd. 8 november, ca. 6.00u.

Merk op dat de cijfers zijn aangepast en dat de datum laatste wijziging desondanks op 5 november is blijven staan.

Vragen die dit oproept:

• Hoe is zo’n optellingsfout mogelijk in een (verondersteld) geavanceerd statistisch systeem?
• Is het mooie ronde getal van 300 in week 43 bijgeplust in de totalen of is het afgemind in de kolommen, waarbij vergeten is om de separate kolom ’totaal aantal’ aan te passen?
• In geval van het laatste: zijn die 300 verdeeld over eerdere weken, bijvoorbeeld het eerste kwartaal, waar sprake was van ondersterfte?
• Het systeem geeft bij “Gewijzigd op” niet weer wanneer de laatste wijziging heeft plaatsgevonden want onder “Bijgewerkt op 5 november” werden verschillende data getoond. Het kan hier dus een eenvoudig tekstveldje betreffen dat naar wens wordt aangepast. Inmiddels is de datum van vandaag erin getypt:

Screenshot dd. 8 november, ca. 10.00u.

Broncontrole

Wij volstaan met een screenshot uit Excel. Er zijn geen decimalen of afrondingsfouten in het spel noch is sprake van de Pentium FDIV bug. Onze optelling klopt, ook op onze calculatoren.

Gegevens werden verkeerd weergegeven. De laatste aanpassingsdatum werd in eerste instantie niet vermeld. Gebrek aan onderlinge samenhang van status, totaal en subtotalen wekken weinig vertrouwen in het systeem en in de werkwijze van dit moment.

Motivering oordeel

Als feitencheckers zouden wij nooit zo zwaar op een rekenfoutje gaan zitten als het geen rode vlag was in een tijd van eenzijdige berichtgeving en (al dan niet vermeende) censuur – juist met betrekking tot het betreffende datasegment van bevolkingsstatistiek.

Ons oordeel is op dit moment dan ook: “Dubieus”. Van misleiding is geen sprake – of het zou wel erg onzorgvuldig gedaan moeten zijn. De optelling was “Incorrect” maar dat is gecorrigeerd.

Oordeel Onafhankelijke Factcheckers