Desenvolvimento de uma plataforma computacional fisiológica para avaliação emocional

Abstract

Emoção é um dos elementos-chave envolvidos no processo de aprendizagem e afeta a nossa tomada de decisão e comunicação. Posto o papel fundamental da emoção na nossa vida e interação social, este projeto toma todo o sentido, e ajuda-nos a compreender que a emoção não diz respeito apenas à dimensão social da nossa vivência, é muito mais que aquilo que se sente, é também o que podemos fazer, adquirir e compreender através das ações e atitudes tomadas emocionalmente. Neste presente trabalho desenvolveu-se uma plataforma que permite a avaliação emocional do seu utilizador face à visualização de diversos estímulos visuais, neste caso associados a uma determinada categoria emocional. O objetivo não passava apenas pela construção desta plataforma de avaliação emocional, mas também pela sua implementação e teste junto de um pequeno conjunto de participantes. No desenvolvimento desta interface fez-se uso do Software Development Kit (SDK) da Affectiva, e de uma outra tecnologia não tão utilizada no âmbito da área médica, a Game Engine Unity, usada comumente na programação de jogos de vídeo. Affectiva é uma aplicação de software que permite detectar expressões faciais e as suas emoções correspondentes a partir de imagens faciais, sendo que estas podem ser adquiridas por uma câmara: imagens de webcam ou até mesmo pela câmara frontal dos dispositivos móveis; por frames: uma sequência temporal de imagens; e por vídeo: um ficheiro de vídeo que se encontre alojado no dispositivo local. A plataforma avalia 7 emoções básicas ou fundamentais, Tristeza, Alegria, Surpresa, Nojo, Raiva, Medo e Desprezo, sendo que cada uma delas tem como característica um conjunto de micro-expressões, por exemplo, o franzir das sobrancelhas é uma expressão característica da emoção Raiva, e o sorriso expressão da Alegria. A emoção detectada é calculada a partir das probabilidades associadas à identificação de cada emoção individual. O mapeamento das expressões para emoções dá-se com base em preditores de emoção, que recorrem às expressões faciais enquanto input, de forma a calcular a probabilidade de presença da emoção de uma dada frame. Este mapeamento das expressões faciais em emoções assenta no FACS - Facial Action Coding System - desenvolvido por Ekman e Friesen, em que uma expressão facial pode ter um efeito positivo ou negativo na probabilidade de ocorrência de uma emoção, por exemplo, osorriso aumenta a probabilidade de estarmos na presença da emoção Alegria, enquanto o franzir das sobrancelhas diminui esta probabilidade, tanto que esta última expressão é característica da emoção Raiva, e portanto a sua ocorrência aumenta a probabilidade de presença desta ultima emoção. A plataforma oferece um ambiente interativo, na medida em que é composta por uma interface de mímica facial, que permite ao utilizador proceder à reprodução facial e expressiva de uma série de emoções, de forma a atingir um certo valor-objetivo; é composta ainda por uma interface de avaliação e análise emocional face a um conjunto de estímulos, onde o utilizador quando apresentado a um pequeno grupo de excertos filmográficos tem a sua expressão facial emocional analisada e gravada com recurso a webcam do computador, a cada instante. Cada um destes excertos filmográficos utilizados como estímulos pertence a uma determinada categoria emocional, tendo sido retirados de duas bases de dados para estudo de emoções (Bartolini 2011) (Schaefer , et al. 2010). Esta plataforma de avaliação emocional poderá ser bastante útil na comunidade médica, que possibilita o estudo da compreensão emocional por parte de pessoas autistas, portadoras de demência, ou até mesmo com alguma perturbação psiquiátrica, mas também na comunidade de marketing que permitirá entender a emoção que um determinado produto transmite ao público.

Emotion is one of the key elements involved in the learning and it affects our decision making process and communication. Given the fundamental role of the emotion in our life and social interaction, this project makes perfect sense, and help us understand that emotion doesn’t only concern the social dimension of our experience, it is much more that what we feel, it’s also what we can do, acquire and understand through the actions and attitudes taken emotionally. In this present work a platform has been developed that allows the emotional evaluation of its user vis-à-vis the visualization of several visual stimuli, in this case associated with a certain emotional category. The goal wasn’t just build this emotional evaluation platform, but also to implement and test it with a small set of participants. Through the development of this interface was used Affectiva SDK, and another technology not commonly used in the medical field, the Game Engine Unity, used in video games programming. Affectiva is a software application that allows you to detect facial expressions and their corresponding emotions from facial images, which can be acquired by a camera: webcam images or even the front camera of the mobile devices; by frames: a temporal sequence of images; and video: a video file that is hosted on the local device. The platform evaluates 7 emotions, Sadness, Joy, Surprise, Disgust, Anger, Fear and Contempt, each of which has as characteristic set of micro-expressions, for example, frowning is a characteristic expression of the emotion Anger, and the smile of Joy. The detected emotion is calculated from the probabilities associated with the identification of each individual emotion. The mapping of expressions to emotions is based on predictors of emotion, which use facial expressions as input, in order to calculate the probability of presence of the emotion of a given frame. This mapping of facial expressions in emotions is based on the FACS - Facial Action Coding System - developed by Ekman and Friesen, in which a facial expression can have a positive or negative effect on the probability of occurrence of an emotion, for example, smile increases the probability of being in the presence of the emotion Joy, while the frowning diminishes this probability, so much that this last expression is characteristic of the emotion Anger, and therefore its occurrence increases the probability of presence of this last emotion. The platform offers an interactive environment in that it is composed of a facial mimic interface that allows the user to perform facial and expressive reproduction of a series of emotions in order to reach a certain target value; is also composed by an interface of evaluation and emotional analysis in front of a set of stimuli, where the user when presented to a small group of filmographic excerpts has his emotional facial expression analyzed and recorded using the webcam of the computer, every moment. Each of these filmographic excerpts used as stimuli belongs to a certain emotional category, having been taken from two databases for the study of emotions – (Bartolini 2011) (Schaefer , et al. 2010). This emotional assessment platform will be very useful in the medical community, which enables the study of emotional understanding by people with autism, dementia, or even some psychiatric disorder, but also in the marketing community, given to the public.