Smart object exploration by robotic manipulator

Abstract

The end goal of this dissertation is to develop an autonomous exploration robot that is capable of choosing the Next Best View which reveals the most amount of information about a given volume. The exploration solution is based on a robotic manipulator, a RGB-D sensor and ROS. The manipulator provides movement while the sensor evaluates the scene in its Field of View. Using an OcTree implementation to reconstruct the environment, the portions of the de ned exploration volume where no information has been gathered yet are segmented. This segmentation (or clustering) will help on the pose sampling operation in the sense that all generated poses are plausible. Ray casting is performed, either based on the sensor's resolution or the characteristics of the unknown scene, to assess the pose quality. The pose that is estimated to provide the evaluation of the highest amount of unknown space is the one chosen to be visited next, i.e., the Next Best View. The exploration reaches its end when all the unknown voxels have been evaluated or, those who were not, are not possible to be measured by any reachable pose. Two case studies are presented to test the performance and adaptability of this work. The developed system is able to explore a given scene which, initially, it has no information about. The solution provided is, not only, adaptable to changes in the environment during the exploration, but also, portable to other manipualtors rather than the one used in the development.

O objetivo nal desta dissertação é desenvolver um robot de exploração autônomo capaz de escolher a Próxima Melhor Vista que revela a maior quantidade de informações sobre um determinado volume. A solução de exploração é baseada num manipulador robótico, num sensor RGB-D e em ROS. O manipulador proporciona movimento enquanto o sensor avalia a cena no seu campo de visão. Usando uma implementação Oc- Tree para reconstruir o ambiente, as partes do volume de exploração de nido onde nenhuma informação ainda foi recolhida são segmentadas. Esta segmenta ção (ou agrupamento) ajudará na operação de amostragem de poses no sentido em que todas as poses geradas são plausíveis. Ray casting é realizado, seja com base na resolução do sensor ou nas características da cena desconhecida, para avaliar a qualidade da pose. A pose que é estimado fornecer a avaliação da maior quantidade de espaço desconhecido é a escolhida para ser visitada em seguida, ou seja, a Próxima Melhor Vista. A exploração chega ao m quando todos os voxels desconhecidos tiverem sido avaliados ou, aqueles que não o foram, não sejam possíveis de serem medidos por qualquer pose alcançável. Dois casos de estudo são apresentados para testar o desempenho e adaptabilidade deste trabalho. O sistema desenvolvido é capaz de explorar uma determinada cena sobre a qual, inicialmente, não tem informação. A solução apresentada é, não só, adaptável às mudanças no ambiente durante a explora ção, mas também, portável para outros manipuladores que não o utilizado no desenvolvimento.