Automatic interpretation of point-of-care lung ultrasound

Abstract

A ultrassonografia pulmonar point-of-care (POCUS) é uma modalidade de imagem médica se gura, portátil e de baixo custo, útil em contextos de urgência para uma rápida examinação à cabeceira do paciente. Apesar de limitado pela presença de ar, o ultrassom pulmonar (LUS) tem demonstrado ser um recurso prestável na avaliação de doenças crónicas ou agudas, dependendo da interpretação de fenómenos de ultrassom, assim como de artefactos associados aos mesmos. Atual mente, com a situação pandémica criada pela COVID-19, a necessidade de uma interpretação de imagens médicas e correspondente diagnóstico célere tornou-se mais clara. Coincidentemente, a presença de soluções baseadas em métodos de deep learning (DL) na área da imagem médica têm aumentado, com resultados bastante promissores. Não obstante o seu potencial, a utilização destas metodologias em POCUS pulmonar permanece subexplorado. Este trabalho propõe uma framework de DL para a interpretação de vídeos de POCUS pulmonar, cujos resultados são os achados presentes num dado vídeo (tais como linhas A, linhas B, consolidações, entre outros). A metodologia, baseada numa arquitetura 3D, inicializa-se com uma rotina de pré-processamento para a padronização dos dados. Sendo que os dados são escassos mas essenciais para treinar um modelo de DL eficaz, duas abordagens são exploradas : aprendizagem super-visionada e semi-supervisionada. O trabalho culmina com a proposta de uma estratégia inovadora de ensemble de modelos, que combina os resultados de modelos treinados para prever anotações distintas, bem como uma rotina de pós-processamento opcional e específica para o dataset, ambas com o intuito de potencializar a hierarquia inerente à interpretação de LUS. A framework proposta e os seus módulos constituintes foram avaliados através de um conjunto extenso de testes, considerando tanto modelos multi-classe como multi-label, para contextos super-visionados e semi-supervisionados. Os resultados comprovam a versatilidade da framework, possibilitando uma combinação customizável dos diferentes elementos da proposta de acordo com a tarefa pretendida. Num conjunto independente de dados de teste, a proposta categórica, útil para uma triagem célere, obteve uma média de valores de F1 de 92.61%, enquanto a proposta multi-label, vantajosa para o acompanhamento e encaminhamento do paciente, obteve uma média de valores de F1 de 70.45% quando considerados cinco achados de LUS relevantes. De modo global, a proposta demonstra-se promissora numa área subexplorada, abrindo caminho para uma interpretação automática e precisa de ultrassom pulmonar em contexto clínico.

Point-of-care ultrasound (POCUS) is a safe, portable and low-cost imaging technique useful in emergency rooms for a rapid bedside patient examination. Although being limited by the presence of air, lung ultrasonography (LUS) has proven to be a helpful resource in the evaluation of acute and chronic conditions, relying on the interpretation of ultrasound phenomena and associated image artifacts. Currently, with the COVID-19 pandemic, the necessity for an expeditious image interpret ation and associated diagnosis has become clearer than ever. Coincidentally, deep learning-based solutions have increased their presence in the medical imaging field, with alluring results. Notwith standing their potential, the usage of these techniques in lung POCUS remains underexplored. This work proposes a flexible deep learning (DL) framework for the interpretation of lung POCUS videos, whose outputs are the finding(s) present in said video (such as A-lines, B-lines, consolidations, among others). The pipeline, based on a 3D architecture, is initialised with a pre-processing routine for video standardisation. Since data is scarce but a core necessity to train a successful DL model, two learning strategies are investigated: supervised and semi-supervised scenarios. The work culminates with the proposal of a novel model ensembling strategy, which aggregates the outputs of models trained to predict distinct label sets, and an optional dataset-specific post-processing routine, both aimed at leveraging of the hierarchy inherent to LUS interpretation. The proposed framework and its building blocks were evaluated in an extensive set of experiments, considering both multi-class and multi-label models, for both supervised and semi-supervised settings. The results show the framework’s versatility, allowing for a custom combination of the multiple pro posed blocks accordingly to the task in question. In a held-out test set, the categorical proposal, which is useful for an expedite triage, achieved an average F1-score of 92.61%, while the multi-label proposal, helpful for patient management and referral, achieved an average F1-score of 70.45% when considering five relevant LUS findings. Overall, the proposal shows promise in an underexplored field, paving the way for an accurate computer-assisted lung ultrasound interpretation in clinical practice.