Hyperspectral Imaging for Real-Time Unmanned Aerial Vehicle Maritime Target Detection

Abstract

The hyperspectral cameras use has been increasing over the past years, driven by the exponential growth of the computational systems power. The capability of acquiring multiple spectre wavelengths benefits the increase of the hyperspectral systems range of applications. However, until now, most hyperspectral systems are used in posprocessing and do not allow to take full advantage of the system capabilities. There is a recent trend to be able to use hyperspectral systems in real-time. Given the recent problems in European Union borders due to irregular immigration and drug smuggling, there is the need to develop novel autonomous surveillance systems that can work on these scenarios. This thesis addresses the scenario of using hyperspectral imaging systems for maritime target detection using unmanned aerial vehicles. Specifically, by working in the creation of a hyperspectral real-time data processing system pipeline. In our work, we develop a boresight calibration method that allows to calibrate the position of the navigation sensor related to the camera imaging sensor, and improve substantially the accuracy of the target geo-reference. We also develop a novel method of distinguish targets (boats) from their dominant background. With this application our system is able to only select relevant information to send to a remote station on the ground, thus making it suitable to be installed in an actual unmanned maritime surveillance system.

A utilização de câmaras hiperespectrais tem vindo a aumentar nos últimos anos, motivada pelo crescimento exponencial da capacidade de processamento dos mais recentes sistemas computacionais. A sua aptidão para observar múltiplos comprimentos de onda beneficia aplicações em diferentes campos de atividade. No entanto, a maior parte das aplicações com câmaras hiperespectrais são realizadas em pós-processamento, não aproveitando totalmente as capacidades destes sistemas. Existe uma necessidade emergente de detetar mais características sobre o cenário que está a ser observado, incentivando o desenvolvimento de sistemas hiperespectrais capazes de adquirir e processar informação em tempo-real. Face aos mais recentes problemas de emigração e contrabando ilegal na União Europeia, surge a necessidade da realização de vigilância autónoma capaz de adquirir o máximo de informação possível sobre os meios envolventes presentes num dado percurso. E neste contexto que se insere a dissertação que visa a criação é implementação de um sistema hiperespectral em tempo-real. Para construir o sistema, foi necessário dividir o problema em diferentes etapas. Iniciou-se por um estudo detalhado dos sistemas hiperespectrais, desenvolvendo um método de calibração dos ângulos de boresight, que permitiu calibrar a relação entre o sistema de posicionamento e navegação da câmara hiperespectral e o sensor imagem. Esta calibração, permite numa fase posterior geo-referenciar os alvos com maior precisão. Posteriormente, foi criada uma pipeline de processamento, que permite analisar os espectros obtidos, distinguindo os alvos do cenário onde estão inseridos. Após a deteção dos alvos, procede-se `a sua geo-referenciação, de forma a obter as coordenadas UTM do alvo. Toda a informação obtida sobre o alvo e a sua posição é enviada para uma estacão em terra, de forma a ser validada por um humano. Para tal, foi também desenvolvida a metodologia de envio, para selecionar a informação a enviar apenas à mais relevante.