Modelagem e síntese de aspectos faciais da Língua de Sinais Brasileira para avatares sinalizantes [recurso eletrônico]
Ackley Dias Will
TESE
Português
T/UNICAMP W66m
[Modeling and synthesis of facial aspects of Brazilian Sign Language for signing avatars]
Campinas, SP : [s.n.], 2021.
1 recurso online (128 p.) : il., digital, arquivo PDF.
Orientador: José Mario De Martino
Tese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de Computação
Resumo: Na disseminação de informação na Língua de Sinais Brasileira (Libras), muitas vezes, são utilizados vídeos de sinalizações realizadas por surdos e intérpretes. Contudo, esse tipo de abordagem apresenta, muitas vezes, problemas na recuperação e apresentação de vídeos em tempo real. Uma...
Ver mais
Resumo: Na disseminação de informação na Língua de Sinais Brasileira (Libras), muitas vezes, são utilizados vídeos de sinalizações realizadas por surdos e intérpretes. Contudo, esse tipo de abordagem apresenta, muitas vezes, problemas na recuperação e apresentação de vídeos em tempo real. Uma alternativa utilizada e que vem ganhando a atenção nos últimos anos é o desenvolvimento de avatares tridimensionais sinalizantes em sistemas de tradução. Contudo, apesar da vantagem dessa tecnologia assistiva, ainda existem críticas quanto a apresentação de parâmetros não-manuais, em particular as expressões faciais nos avatares sinalizantes atuais.O foco deste trabalho é a modelagem e síntese de expressões faciais da Libras para avatares tridimensionais sinalizantes desenvolvidos em estilo realista. Como resultado final, foi desenvolvida uma metodologia para a criação de animações faciais para serem incorporadas à avatares sinalizantes. Os trechos das expressões que compõem a animação facial, foram criados a partir de um processo de captura de movimentos faciais baseado em marcadores e para isso foram desenvolvidas abordagens específicas para a criação de layouts otimizados de marcadores faciais e de mapeamento dos dados capturados ao rosto do avatar. Foi criado e gravado também, um corpus de sinalizações com 270 sentenças nas modalidades afirmativa, interrogativa total e interrogativa parcial. As análises das anotações deste corpus apontaram as expressões faciais relacionadas as modalidades sinalizadas e serviu como base para o desenvolvimento de regras para a criação da animação facial final. As expressões faciais obtidas através de captura de movimentos são inseridas na animação final de acordo com os dados de entrada, com informações sobre a sentença a ser sinalizada, e as regras criadas. A aplicação dessa metodologia permite a criação e incorporação de animações faciais realistas para acompanhar as animações corporais e manuais em avatares sinalizantes
Ver menos
Abstract: In the dissemination of information in the Brazilian sign language (Libras), videos of signings made by deaf people and interpreters are often used. However, this type of approach has disadvantages such as the lack of dynamism in the presentation of videos. A commonly used alternative that...
Ver mais
Abstract: In the dissemination of information in the Brazilian sign language (Libras), videos of signings made by deaf people and interpreters are often used. However, this type of approach has disadvantages such as the lack of dynamism in the presentation of videos. A commonly used alternative that has been gaining attention in recent years is the development of three-dimensional signing avatars in translation systems. However, despite the advantage of this assistive technology, there are still criticisms regarding the deficiency in the presentation of non-manual parameters, in particular the facial expressions in current signing avatars. The focus of this work is the modeling and synthesis of Libras facial expressions for three-dimensional signing avatars developed in a realistic style. As a final objective, a methodology for creating facial animations to be incorporated into signing avatars was developed. The excerpts of the expressions that make up the facial animation were created from a process of facial motion capture based on markers, and for this, specific approaches were developed for the creation of optimized layouts of facial markers and mapping the captured data to the avatar's face. A corpus of signals with 270 sentences in the affirmative and interrogative modalities. The analysis of the annotations of this corpus pointed out the facial expressions related to the signaled modalities and served as a basis for the development of rules for the creation of the final facial animation. The facial expressions obtained through motion capture are inserted into the final animation according to the input data, with information about the sentence to be signaled, and the rules created. The application of this methodology allows the creation and incorporation of realistic facial animations to accompany the body and manual animations in signaling avatars
Ver menos
Requisitos do sistema: Software para leitura de arquivo em PDF
De Martino, José Mário, 1958-
Orientador
Magalhães, Léo Pini, 1952-
Avaliador
Martins, Antonielle Cantarelli
Avaliador
Silva, Emely Pujólli da, 1990-
Avaliador
Costa, Messias Ramos
Avaliador
Modelagem e síntese de aspectos faciais da Língua de Sinais Brasileira para avatares sinalizantes [recurso eletrônico]
Ackley Dias Will
Modelagem e síntese de aspectos faciais da Língua de Sinais Brasileira para avatares sinalizantes [recurso eletrônico]
Ackley Dias Will