Mye interessant i dagens sak i DN lørdag om kvalitetsindikatorer.
Noe jeg savner i kommentarene til tallene er diskusjon om hjerteinfarktkolonnen: Det er påfallende at alle sykehusene som har PCI-virksomhet kommer signifikant godt ut sammenliknet med de andre.
Feiring, Haukeland, Rikshospitalet, St. Olav og Tromsø er fem av de seks sykehusene som kommer signifikant bedre ut.
Hva er forklaringen?
En tolkning kan være følgende:
Mye av 30-dagersdødeligheten ved hjerteinfarkt kommer de første timene etter infarktets start.
De fleste pasienter med ST-elevasjonsinfarkt skal fraktes til et PCI-sykehus for angiografi og blokking, i utkantområder med kort sykehistorie gjerne etter trombolyse. Imidlertid finnes det en liten subgruppe av ST-elevasjonsinfarktene som er svært dårlige på diagnosetidspunktet, som ofte ikke sendes mange timer til PCI-sykehus. De er kanskje svært multisyke og svekkede fra før eller i langtkommet sirkulatorisk sjokk.
Disse pasientene blir sendt til det nærmeste sykehuset for stabilisering og smertestilling, ikke direkte til PCI-sykehus. Dødeligheten må være svært høy blant ST-elevasjonsinfarkter som ikke er friske nok til å bli fraktet til PCI.
Jeg antar et PCI-sykehus vil se relativt mindre av den aller sykeste pasientgruppen som kanskje har en 24-timers dødelighet på 75%. Storbysykehusene vil se de som hører til sitt eget lokale opptaksområde, men vil ikke se noen i denne pasientkategorien fra nabofylkene. Feiring vil antakelig ikke se noen av dem?
Disse pasientene vil imidlertid være en stor andel av de som dør av hjerteinfarkt, og gi store utslag på dødelighetsstatistikken.
Vil være svært interessert i å høre andre tolkninger eller nyanseringer av dette.
Innlegg
Lettet over å se at Espen Rostrup er enig i tolkningen av tallene.
SvarSlettMens Rune Isene oppsummerer i ett ord på Twitter: Seleksjonsbias.
SvarSlettDet samme ordet bruker forresten også Marit Halonen Chr
SvarSlettJeg brukte hele gårsdagen (var litt bortreist i helgen) på å irritere meg over denne rapporten. Eller som en medisinsk statistikker jeg kjenner sa det: "Dette er dritt, det er en tragedie at det blir publisert". Merk at vedkommende ikke er lege og ikke har noe revir å passe på. Det er rett og slett dårlig statistisk håndverk. Det er nesten vanskelig å vite hvor man skal begynne å kritisere, fordi det er så mye som er feil. Jeg skal la det prinsipielt viktigste ligge, at man slipper ut til media noe som gir inntrykk av å være vitenskaplig der man at det skal fagfellevurderes mhp senere vitenskaplig publisering. Det er ikke god skikk å populærpublisere resultatene sine før man har publisert vitenskaplig, av gode grunner. Kunnskapssenteret kan selvfølgelig også gi rapporter som ikke er publisert til sin oppdragsgiver, men i en så betent sak hadde de stått seg på å kvalitetssikre noe mer.
SvarSlettMen, så til saken:
5-åringen min og jeg står på motorvegbrua på Olavsgård og titter på trafikken. Vi ser på biler og ser på hvilke biler som kjører mest forbi de andre i venstre felt - hvem kjører fortest? Etter å ha talt en stund ser vi at det er klart flest røde biler som har høy fart. Resultatet er til og med signifikant. Røde biler går raskere, det er herved vitenskaplig bevist, vi har brukt en ROBUST statistisk metode, så slik er det med den saken.
Selvsagt er dette en konstruert historie. Femåringen min ville aldri finne på å hevde at fart og farge henger sammen, om det er aldri så mye statistisk signifikant. Han vet bedre enn som så. Det er ingen grunn til at biler skulle være raskere fordi de er røde, og sammenhengen vi finner må være resultat av en eller annen bias.
Det jeg vil frem til er at om man skal regne på noe, og komme frem til statistiske sammenhenger, må man vite hva tallene man regner på betyr. For 30 dagers dødlighet innebærer dette følgende:
1)Sykehusene som sammenlignes må ha samme funksjon og lik befolkningsprofil
2)Diagnosekriteriene må være like
3)Man må ha en forståelse av om tallet man regner på faktisk er en god indikator på det man ønsker å måle
Ingen av disse kan vi ta for gitt at er oppfylt i denne rapporten. Jeg har mailet med førsteforfatter for å få svar på spm som jeg satt igjen med etter å ha lest "notatet" første gang. JEg har fått svar på ett av 3 spm. Må derfor gjette litt og tar forbehold for det i det følgende.
Kunnskapssenteret har svart meg at man valgte en slik "mekanistisk tilnærming" fordi det ikke finnes noen offisiell funksjonsliste for norske sykehus. Det er bakgrunnen til at Hallingdal Sjukestugu og Hagavik (den ene en fremskutt medisinsk sengepost og den andre et elektivt ortopedisk spesialsykehus) scorer best på overlevelse på hofter. Ingen av de tar akutte hoftebrudd.
Feiring scorer best på "alle tilstander" til tross for at de bare tar hjerter med god prognose. Jeg spurte om hvorfor Feiring ikke var fjernet, og fikk til svar at det ville ødelagt alle de andre tallene, siden overlevelsen deles mellom alle sykehusene som har vært involvert i pasienten. Alle som har jobbet på et lite sykehus vet at man ikke sender en gammel, syk pasient som ligger på det siste til Feiring, det ville vært uetisk. Men man kan godt sende en gammel frisk pasient, det finnes endel av de, dersom de har gode utsikter til å klare seg videre.
...forts
forts:
SvarSlettNår det gjelder diagnosesetting er det mye som er uklart for meg i hvordan man har behandlet tallene. La oss si at Olga på 98 med lårhalsbrudd som har fått en lungebetennelse og ligger på det siste (noe skal man tross alt dø av) får troponinstigning. Hjerteinfarkt? Og kan man egentlig dø av et hoftebrudd? Jeg vet ikke hvordan man har behandlet tallene, men tenker at det må være et problem når noen av diagnosene er innleggelsesårsaker, andre er dødsårsaker. Problemet her er først og fremst at Kunnskapssenteret ikke gir oss noe på metode slik man forventer av en vitenskaplig publikasjon, det blir opp til oss å gjette hvordan de har behandlet disse uhyre kompliserte sammenhengene. Det er ikke god skikk og sammenstilt med den ukritiske fremstillingen av overlevelse på tvers av sykehus med vidt forskjellige funksjoner, er det god grunn til å være nysgjerrig på hvordan de egentlig har gått frem.
Og til sist, er det kvalitet vi måler? Kunnskapssenteret har tydeligvis lest VG og fått med seg at norske leger dreper pasienter. Det er helt klart et uttrykk for dårlig kvalitet. Men stort sett når pasienter dør, er det et uttrykk for at de er gamle, syke og mette av dage, dødsfallene er forventet ut i fra situasjonen. Da skal de også kunne forvente kvalitet. Noen av de mest gåsehud-kvalitetepisodene jeg har sett er de som får god pleie og en verdig avslutning, selv om de er på sykehus. Det er kvalitet. Satt på spissen: Å holde Olga i live i 30 dager for å øke kvalitetsindeksen er ikke noe vi burde ønske oss. Det er selvfølgelig folk som dør pga dårlig kvalitet på norske sykehus, men jeg tror at det vil være svært vanskelig å måle på den måten. Vi snakker om å måle uventede dødsfall og biasen vil nok for alle praktiske formål være større enn effekten man ønsker å måle. Eventuelt måtte man ha laget kompliserte systemer som tok med seg langt flere parametre enn død/levende. Vi har flere slike systemer i Norge allerede, blant annet for neonatalogi og barnediabetes. Dette er kompliserte og omfattende systemer som lagrer MYE informasjon.
Om man på død og liv skal sammenligne dødelighet ved norske sykehus og relatere det til diagnosekoder og kalle det en indikator på kvalitet, ville det være relevant å sammenligne like sykehus; hvor er dødeligheten høyest i gruppen småsykehus som Volda, Voss, Odda, Levanger, Kongsberg etc? Det må korrigeres for pasientgrunnlag, funksjon internt i helseforetaket, og man ville måtte gjøre en kvalitativ studie for å sikre at diagnoser settes på samme måte mellom sykehusene. Så kunne man sammenligne de tidl sentralsykehusene og deretter regionssykehusene på samme måte. Det ville sette søkelyset på evt forskjeller. Tallmaterialet ser ut til å skrike etter en slik stratifisering, og jeg ville ikke være forbauset om resultatene ble anderledes om man gjorde det. En slik fremgangsmåte ville kreve inngående kjennskap til praktisk medisin på grasrota i Norge. Det forundrer meg at Kunnskapssenteret ser det som utenfor sitt mandat.
Det er ikke til å stikke under en stol at mange sykehus sliter med å levere kvalitet i alle aspekter. På legesiden har mange småsykehus problemer med å skaffe folk, og må basere seg på vikarer som gir dårlig kontinuitet. På større sykehus har man gjerne større trøkk, dårligere oversikt og noen pasienter faller i mellom fordi man ikke klarer å fange opp alt. Dette er viktige ting som man må ta tak i. Rapporten fra Kunnskapssenteret gir ingen mulighet til dette slik de nå er presentert.
Tusen takk! Fantastisk kommentar. Gjenkjennelige poenger.
SvarSlettTror du finnes det en måte for å lokke et skikkelig metodeavsnitt ut av Kunnskapssenteret?
vi må nok vente på artikkelen, om den noen gang kommer. tror ikke vi skal undervurdere det politiske presset som ligger under her. mange små tegn som tilsier at Kunnskapssenteret ikke har stått helt fritt i utformingen og når det gjelder publiseringstidspunktet. Utfallet passer jo ekstremt godt med tidligere utspill bl.a. fra Helsedirektøren. Små sykehus er farlige og bør utryddes, quod erat demonstrandum
SvarSlettTror du virkelig at metoden kan være formet ut fra bestilt konklusjon?
SvarSlettJeg synes det høres litt voldsomt ut, men hvis det er noe sannhet i det er det i så fall svært spennende at vi har internett til den videre diskusjonen og kjenner folk som kan lese metodeavsnitt.
http://www.youtube.com/watch?v=eCNLiHmEUxA
SvarSlettViktig presisering: Jeg har IKKE sagt at rapportens resultat er bestilt og at metoden er utformet etter det. Det ville være slemt og nokså sikkert galt. Det jeg sier er at dårlig arbeid ofte aksepteres dersom konklusjonen er politisk korrekt. Dersom de hadde kommet frem til tall som ikke var i tråd med allmenn oppfatning og viste at regionsykehus hadde lavere overlevelse enn lokalsykehus ville media vært fullt av både byråkrater og eksperter som ville naglet rapporten til veggen faglig. Det skjer ikke nå, og det er nok fordi konklusjonen er veldig passende.
SvarSlettMed andre ord: skal du noensinne levere en utrolig svak doktorgradsavhandling, pass på å konkludere i tråd med de viktigste meningsbærerne. da vil det å underkjenne oppgaven din faglig føles som å skyte seg selv i foten.
Det er fullt mulig at konklusjonen er riktig (om vi hadde en fasit), det kan ingen vite, men det ville i så fall være flaks
Takk for presisering!
SvarSlettNoe som er interessant, og det er her jeg mener å lese et visst politisk press, er at man i Bakgrunns-delen av notatet egentlig argumenterer imot å bruke 30-dagers dødelighet som kvalitetsindikator og det fremheves at det er her snakk om et forskningsprosjekt for å se på egnetheten av denne indikatoren.
SvarSlettLikevel, når du publiserer en liste med konkrete tall for overlevelse på en rekke sykehus, blir det tolket som en rapport og som om tallene representerer virkelige kvalitetsforskjeller. Forfatterne har forsåvidt sitt på det tørre med alle mulige forbehold som er fremhevet gjennom rapporten. Da burde konklusjonen være at tallene ikke skulle publiseres, siden forfatterne overhodet ikke går god for dem til noen form for praktisk anvendelse.
Jeg liker egentlig godt DN-saken om rapporten. Håper den dukker opp på internett etter hvert.
SvarSlettHva tror du om publikasjon av krefttall? Min magefølelse er at dødelighet 30 dager etter sykehusinnleggelse er helt ubrukelig for kreft, fordi det relativt sett er betydelig flere palliative innleggelser på små sykehus?