All patient Refined-Diagnosis Related Group (APR-DRG) Severity of illness and risk of mortality as in-hospital mortality predictors

Abstract

ABSTRACT - Background: Predicting in-hospital mortality can be important for several purposes. Several countries relying on All-Patient Refined Diagnosis-Related Groups (APR-DRG) payment schemes calculate Severity of Illness (SOI) and Risk of Mortality (ROM) scores. Comorbidity measures such as the Charlson Comorbidity Index (CCI) or the Elixhauser Comorbidity Index (ECI) are commonly used. The aims of this thesis were (1) to assess the level of reliability and agreement between SOI and ROM, (2) to assess SOI and ROM as predictors of in-hospital mortality, (3) to compare SOI and ROM with Charlson Comorbidity and Elixhauser Comorbidity weighted scores as in-hospital mortality predictors; and (4) to identify the specific DRGs in which SOI and/or ROM perform better. Methods: A retrospective observational study was performed, using mainland Portuguese public hospitalizations of adult patients from 2011 to 2016. Reliability and agreement between SOI and ROM were assessed by means of quadratic weighted kappa and proportion of agreement, respectively, overall and by APR-DRG. For each APR-DRG, original and updated CCI and ECI were calculated and compared to SOI and ROM, each combined with age and sex. Model discrimination (C-statistic/ area under curve) and goodness-of-fit (R-squared) were calculated. Results: Considering 4,467,198 hospitalizations, overall reliability and agreement between SOI and ROM were high (weighted kappa: 0.717, 95%CI 0.717-0.718; proportion of agreement: 69.0%, 95%CI 69.0-69.0). However, there was high heterogeneity across APR-DRGs, ranging from 0.016 to 0.846 on reliability and from 23.1% to 94.8% on agreement. Most of APR-DRGs (263 out of 284) showed a higher proportion of episodes with ROM level above the SOI level than the contrary. Regarding the in-hospital mortality prediction, the results comprised 4,176,142 hospitalizations with 5.9% in-hospital deaths. Compared to the CCI and ECI models, the model that considered SOI, age and sex showed a statistically significantly higher discrimination in 49.6% (132 out of 266) of APR-DRGs, while this value was only 33.9% of APR-DRGs for the model with ROM. Between these two models, SOI was the best performer for nearly 20% of APR-DRGs. Some particular APR-DRGs have showed good discrimination such as those related to burns, viral meningitis or specific transplants. Conclusions: Severity of Illness and Risk of Mortality measures must be clearly distinguished and are “two scales of different concepts” rather than “two sides of the same coin”. However, this is more evident for some APR-DRGs than for others. As inhospital mortality predictors, SOI or ROM, combined with age and sex, perform better than more widely used comorbidity indices. While ROM is the only score specifically designed for in-hospital mortality prediction, SOI performed better than ROM. These findings can be helpful for hospital or organizational models benchmarking or epidemiological analysis.

RESUMO - Introdução: A predição de mortalidade intra-hospitalar é importante para diferentes fins. Vários países que utilizam financiamento hospitalar com base em Grupos de Diagnóstico Homogéneo (GDH) calculam scores de “Severity of Illness” (SOI) e “Risk of Mortality” (ROM). Para a predição de mortalidade intra-hospitalar, medidas de comorbilidades como o “Charlson Comorbidity Index” (CCI) ou “Elixhauser Comorbidity Index” (ECI) são frequentemente utilizadas. Os objetivos desta tese foram: (1) avaliar a “reliability” e “agreement” entre SOI e ROM, (2) avaliar SOI e ROM como preditores de mortalidade intra-hospitalar, (3) comparar SOI e ROM com CCI e ECI como preditores de mortalidade intra-hospitalar; e (4) identificar GDHs específicos em que SOI e/ou ROM tenham uma melhor performance. Métodos: Foi realizado um estudo retrospetivo observacional, utilizando hospitalizações de adultos em hospitais públicos de Portugal continental entre 2011 e 2016. O “reliability” e “agreement” entre SOI e ROM foram calculados através de “quadratic weighted kappa” e proporção de “agreement”, respetivamente, quer para todos os episódios quer para cada GDH em específico. Para cada GDH, foram calculados CCI e ECI originais e atualizados e comparados com SOI e ROM, combinados com idade e sexo. A discriminação dos modelos (“c-statistic” / área sob a curva) e “goodness-of-fit” (R quadrado) foram calculados. Resultados: Considerando 4.467.198 hospitalizações, o “reliability” e “agreement” gerais foram elevados (“weighted kappa”: 0,717, 95%CI 0,717-0,718; proporção de “agreement”: 69,0%, 95%CI 69,0-69,0). No entanto, foi encontrada uma elevada heterogeneidade em diferentes GDH, com um “reliability” mínimo e máximo de 0,016 e 0,846 e um “agreement” entre 23,1% e 94,8%. A maioria dos GDH (263 em 284) apresentou uma proporção de episódios com ROM superior a SOI maior do que o contrário. Em relação à predição de mortalidade intra-hospitalar, os resultados incluíam 4.176.142 hospitalizações com uma mortalidade intra-hospitalar de 5.9%. Comparado com os modelos de CCI e ECI, o modelo incluindo SOI, idade e sexo apresentou uma discriminação melhor, estatisticamente significativa, em 49,6% (132 em 266) dos GDH, enquanto que para o ROM este valor foi de 33,9% dos GDH. Entre estes dois modelos, o SOI teve uma melhor performance do que o ROM em 20% dos GDH. Alguns GDH em particular demonstraram uma boa discriminação tal como os relacionados com queimados, meningites virais ou transplantes. Conclusões: “Severity of Illness” e “Risk of Mortality” devem ser claramente distinguidos tratando-se de “duas escalas de diferentes conceitos” e não de “dois lados da mesma moeda”. No entanto, isto é mais evidente para alguns GDH do que para outros. Como preditores de mortalidade intra-hospitalar, o SOI e ROM combinados com idade e sexo, têm uma melhor performance do que índices de comorbilidade mais frequentemente utilizados. Apesar do ROM ser o único score especificamente desenhado para predição de mortalidade intra-hospitalar, o SOI apresentou uma melhor performance. Estes resultados podem ser úteis para o “benchmarking” hospitalar ou de modelos organizacionais, bem como para análise epidemiológica.