Simplified 3D object detection for self-driving vehicles based on the removal of background points

Abstract

Road accidents are one of the leading causes of death, with drivers being responsible for 90 percent of these. The most viable solution to save lives is to move on to autonomous driving, which explains why such a technology has been intensively investigated. An autonomous vehicle must first be aware of its surroundings. At present, such is done entirely using vision sensors, which capture information both from the scene – the background – and from dynamic objects – the foreground. This thesis explores a different approach in which the background needs not be observed, as the vehicle already carries detailed maps describing the scene. Vision sensors thus have the sole purpose of reconning dynamic objects. Given that such an approach enables discarding background information from sensor data, only foreground data that really matters is processed, leading to higher precision in detecting objects as well as to increased computational efficiency. The vision sensor that best suits the proposed approach is the LiDAR. First, unlike camera images, the point clouds generated by a LiDAR are not projections. As a result, a point that exists both in the generated point cloud and in the detailed maps belongs to the background and may thus be discarded. Second, a point cloud has more dimensions than the image captured by a camera, making it harder to process. It is therefore important to reduce the number of points of points clouds before processing these. This thesis provides the first-ever demonstration of the proposed approach. For the sake of completeness, such a demonstration is done resorting to two datasets: a dataset comprising point clouds captured by a real LiDAR – a real dataset – and a dataset comprising synthetically generated point clouds – a synthetic dataset. All results confirm that removing background points from a point cloud decreases the computational effort involved in 3D object identification while increasing its average precision.

Os acidentes rodoviários são uma das principais causas de morte, sendo os condutores responsáveis por 90 por cento dos acidentes. A solução mais viável para salvar vidas será, portanto, evoluir para condução autónoma, o que explica a razão de tal tecnologia estar a ser intensamente investigada. Um veículo autónomo deve primeiro estar consciente do seu redor. Atualmente, tal é feito inteiramente com recurso a sensores de visão, que captam informação tanto da cena – o background – como de objetos dinâmicos – o foreground. Esta dissertação explora uma abordagem diferente na qual não é preciso observar o background, uma vez que o veículo já transporta mapas detalhados que o descrevem. Os sensores de visão têm assim o único propósito de reconhecer objetos dinâmicos. Dado que tal abordagem permite descartar a informação de background dos dados dos sensores, apenas os dados que realmente importam, os de foreground, são processados, levando a uma maior precisão na deteção de objetos e a uma maior eficiência computacional. O sensor de visão que melhor se adapta à abordagem proposta é o LiDAR, por duas razões. Primeiro, ao contrário das imagens capturadas por câmaras, as nuvens de pontos geradas por um LiDAR não são projeções. Como resultado, um ponto que existe tanto na nuvem de pontos capturada bem como no mapa detalhado que descreve o background é identificado como sendo um ponto de background, e pode assim ser descartado. Em segundo lugar, uma nuvem de pontos tem mais dimensões do que uma imagem captada pela câmara, tornando-a mais difícil de processar. É portanto essencial reduzir o número de pontos nas nuvens de pontos antes que estas sejam processadas. Este trabalho apresenta pela primeira vez uma demonstração da abordagem proposta. Por uma questão de completude, tal demonstração é feita recorrendo a dois datasets: um dataset constituído por nuvens de pontos capturadas por um LiDAR real – um dataset real – e um dataset constituído por nuvens de pontos geradas sinteticamente – um dataset sintético. Todos os resultados confirmam que remover pontos de background das nuvens de pontos capturadas diminui o esforço computacional envolvido na identificação de objetos 3D, ao mesmo tempo aumentando a sua precisão média.