Aplicação da metodologia ROC na avaliação de desempenho de índices de gravidade clínica em unidades de neonatologia de Portugal

Abstract

Os cuidados intensivos pediátricos em Portugal são prestados por uma diversidade de Unidades de Cuidados Intensivos interessando neste estudo, em particular, as unidades que prestam cuidados a recém nascidos de muito baixo peso (<1500 g) e/ou com menos de 32 semanas de gestação. Atualmente, são usadas escalas/índices para medir a gravidade clínica de recém-nascidos, sendo as mais utilizadas no território nacional a Clinical Risk Index for Babies (CRIB) e a Score for Neonatal Acute Physiology II (SNAPPE II). Cada unidade procede a uma recolha individualizada dos dados referentes à sua atividade e que são enviados para o Registo Nacional de Recém-Nascidos de Muito Baixo Peso (RNMBP), que é a entidade responsável pelo armazenamento desta informação. Os dados que integram o presente estudo foram recolhidos pelas unidades de cuidados intensivos neonatais do território português (Continente e Ilhas) entre 2010 e 2012, e o objetivo passa pela avaliação e comparação do desempenho desses dois indicadores (CRIB e SNAPPE II), no que respeita à sua capacidade preditiva da mortalidade neonatal, com recurso à metodologia ROC (Receiver Operating Characteristic), quer a nível do território nacional (Continente e Ilhas) quer a nível diferenciado pela Nomenclatura das Unidades Territoriais para fins Estatísticos (NUTS II). Segundo essa Nomenclatura, consideram-se as regiões: Norte (Viana do Castelo, Braga, Porto, Vila Real e Bragança), Centro (Coimbra, Castelo Branco, Leiria, Viseu, Aveiro e Guarda), Lisboa/Vale do Tejo (Lisboa e Setúbal), Alentejo (Évora, Santarém, Beja e Portalegre), Algarve (Faro) e Ilhas (Açores e Madeira). É avaliada também a influência do sexo do recém-nascido e da idade materna, no poder discriminante das duas escalas, como possíveis covariáveis com expressão na previsão da mortalidade. Neste trabalho aplica-se a análise ROC como metodologia base, ajustando-se curvas ROC empíricas, alisadas (por aplicação do estimador de núcleo) e condicionadas a covariáveis, quer pelo método induzido quer aplicando modelos de regressão linear ROC-GLM, tendo sido obtidas as respetivas medidas de precisão (área abaixo da curva ROC e erro padrão). Para a amostra em estudo, quando considerado todo o território nacional, a escala CRIB provou ser melhor a predizer a mortalidade para recém-nascidos de muito baixo peso, e tem a seu favor um menor número de variáveis comparativamente ao SNAPPE II. A comparação entre a capacidade preditiva das duas escalas, quando utilizado o estimador do núcleo para a obtenção das curvas ROC e as correspondentes curvas ROC empíricas, mostram que as últimas apresentam melhor desempenho. A introdução das covariáveis, sexo do recém-nascido e idade materna, no modelo obtido pelo método induzido mostra que nem a escala CRIB nem a escala SNAPPE II, a nível global, apresentam um desempenho diferenciado na previsão da mortalidade (software R). Considerando que uma relação linear existe entre cada uma das escalas e as covariáveis sexo do recém-nascido, idade da mãe e combinando a informação das duas, utilizando o software STATA, verificou-se que a capacidade discriminante e preditiva da escala CRIB é influenciada pela idade da mãe enquanto a da escala SNAPPE II não se altera sob alguma das possibilidades. A combinação das duas covariáveis faz aumentar o poder discriminante dessa escala. Avaliou-se como contribuem as Unidades de Neonatologia que integram os centros hospitalares das regiões classificadas pela Nomenclatura NUTS II, na capacidade discriminante e preditiva das duas escalas. Na região Norte e na região Lisboa/Vale do Tejo a escala CRIB provou ser melhor na previsão da mortalidade. Para as restantes regiões, o desempenho das escalas é idêntico na previsão da mortalidade. Nas UCIN's das Ilhas, a escala CRIB, quando comparada com a SNAPPE II, provou ter um melhor desempenho na avaliação da mortalidade para recém-nascidos do sexo feminino, enquanto que a introdução da idade da mãe provou que, com base nos valores estimados, a CRIB, para recém-nascidos cujas mães têm idade igual ou superior a 35 anos, apresenta um melhor desempenho nas UCIN's da região Norte e do Algarve. A execução prática deste estudo foi suportada com auxílio a programas estatísticos próprios para a análise ROC, como o SPSS, ROCNPA, ROCR e STATA.

Pediatric intensive care in Portugal are provided by a variety of Intensive Care Units. In this study, in particular, the interest lies on units providing care to babies of very low birth weight (<1500 g) and/or less than 32 weeks gestation. Currently, scores/indexes are used to measure the clinical severity of newborns. The most used in Portugal are the Clinical Risk Index for Babies (CRIB) and the Score for Neonatal Acute Physiology II (SNAPPE II). Each unit carries out an individualized collection of data on its activity and that are sent to the National Register of Very Low Birth Weight Newborn (VLBWN), which is responsible for storing this information. The data that are part of the present study were collected by the neonatal intensive care units of the Portuguese territory (mainland and islands) between 2010 and 2012, and the goal involves the evaluation and comparison of the performance of these two indicators (CRIB and SNAPPE II) as regards its predictive ability of neonatal mortality, using the ROC (Receiver Operating Characteristic) methodology. This analysis was performed at the level of mainland Portugal and for the Nomenclature of Territorial Units for Statistics (NUTS II). According to this nomenclature, the regions considered are: Northern (Viana do Castelo, Braga, Porto, Vila Real and Bragança), Center (Coimbra, Castelo Branco, Leiria, Viseu, Aveiro and Guarda), Lisbon/Tejo's Valley (Lisbon and Setúbal), Alentejo (Évora, Santarém, Beja and Portalegre), Algarve (Faro) and Islands (Azores and Madeira). It is also evaluated the influence of the newborn sex and maternal age, on the discriminating power of the two scores as potential covariates with expression in predicting mortality. In this work, the ROC analysis is used as a base methodology, to adjust empirical ROC curves, smoothed ROC curves (using kernel estimator) and for adjusting conditioned ROC curves. For the latest, induced method and models of ROC-GLM regression were applied. For the sample under study, when considering the national territory, the CRIB scale proved better to predict mortality for newborns with very low weight, and has in its favor a smaller number of variables compared to SNAPPE II. Compared the smoothed estimator of the ROC curve with the empirical estimator, the latter shows up more predictive capacity, then better performance. The introduction of covariates (newborn sex and maternal age) when used induced method (software R), shows that neither the CRIB score nor the SNAPPE II, have a differentiated performance in predicting mortality. When a linear relationship between each scale and the covariates is considered (software STATA) it was found that the discriminatory and predictive capacity of the CRIB score is influenced by maternal age while the SNAPPE II scale does not change under any of the possibilities. The combination of the two covariates increases the discriminating power of CRIB score. It was evaluated as contributing the neonatology units that integrate the hospital centers of the regions classified by the nomenclature NUTS II, in discriminant and predictive capacity of the two scales. In North and Lisbon/Tejo's Valley regions the CRIB score proved to be better in predicting mortality. For all other regions, the performance of the two scales in predicting mortality is identical. In the NICU's Islands, the CRIB scale compared with SNAPPE II, proved to perform better in the evaluation of mortality for female newborns; the introduction of the mother's age proved that CRIB score, for newborns whose mothers are aged less than 35 years, presents a better performance in the NICU's of northern and Algarve regions. The practical implementation of this study was supported by statistical programs for ROC analysis, such as SPSS, ROCNPA, ROCR and STATA.