Aquisição e reconstrução de imagens 3D de faces usando imagens de campos de luz

Abstract

Light-field cameras are devices capable of acquiring a plenoptic function (light-field at4D), and are able through a single shot estimate the depth of a scene, this is possible thanksto the fact that a single 3D point is reprojected to several images. Besides the multi-focuscameras, get a higher quality and a higher resolution, in this dissertation was used the Illumcamera produced by Lytro, our choice was made because the rendering cost is smaller, andthe literature gives a bigger importance to this type of camera.First was used a toolbox that allow to decode a picture, get the matrix of intrinsicparameters, and use that to rectify the images.With the rectified light-field, was used a method to estimate the depth map, that isavailable online , so was compared this one with the ones obtained for Kinect v1 and thedepth map obtained by a par of stereo cameras. The depth map was obtained by usingmatlab functions for the Kinect v1 and for the Duo3d-MC the software available for thecompany Duo3D. For this efect the scene that was created, consisted in objects that thereal dimensions of them were known, like a cylinder with 7.5cm of radius and 20 cm of height,also a sphere which the radius is approximately 10 cm. As well, a Styrofoam bust was usedin order to realize a qualitative comparison, that approximates to a real face.At last, the Illum camera was used in order to perform the facial reconstruction, to verifyif the chosen method would produce satisfying results, in different environments and people.

Câmaras de campos de luz são dispositivos capazes de adquirir uma função de luz (campode luz a 4D), e através de uma imagem estimar a profundidade do cenário presente, isto épossível devido ao facto de ser criada redundância através de um ponto 3D ser projetado emdiferentes sub-imagens.Apesar de as câmaras multi-focus, possuírem uma qualidade superior e uma maior resolução, foi utilizada ao longo desta dissertação a câmara Illum produzida pela Lytro, devidoao facto de o custo de renderização de uma imagem ser substancialmente inferior, e tambémde na literatura existir uma maior atenção a estas.Começou-se por utilizar uma toolbox que se encontra presente online, que nos permitedescodificar uma imagem, como também estimar a matriz de parâmetros intrínsecos dacâmara, para posteriormente se poder retificar as imagens obtidas.A partir do campo de luz retificado, utilizou-se um método para a estimação do mapa deprofundidade, que se encontra disponível online. Com o mapa de profundidade, realiza-seuma comparação deste mapa, com os mapas obtidos de uma câmara Kinect V1 e com omapa obtido por um par de câmaras stereo. Para a obtenção dos mapas de profundidade decada uma destas foi utilizado, para o caso da Kinect v1 as funções presentes no matlab, e nocaso do par de câmaras stereo, o software disponibilizado pela empresa fabricante da mesma.Para o efeito utilizou-se um ambiente onde eram conhecidas as dimensões dos objetos, comoum cilindro de raio 7.5 cm e altura 20 cm e de uma esfera com raio aproximadamente de 10cm. Também se realizou uma comparação de modo qualitativo a algumas imagens retiradasa um busto de esferovite.Finalmente utilizou-se a câmara Illum para a reconstrução de imagens de faces reais,de modo a comprovar se o método escolhido produzia resultados satisfatórios em diferentescondições e diferentes pessoas.