Sonification of gaming experiences

Abstract

O uso de som em jogos tem-se vindo a tornar uma área de relevância para designers de jogos e jogadores. Com este novo interesse e novas tecnologias disponíveis, é pertinente criar ferramentas que facilitem e permitam estender as capacidades atuais de adicionar som a jogos. A criação de experiências através de áudio consiste na escolha do mesmo, de maneira contextualizada e considerando o seu significado a nível emocional. Este trabalho tem como objetivo a criação de uma ferramenta que permita adicionar áudio a jogos considerando estes aspetos. Contudo, esta abordagem requer poder avaliar áudio a nível emocional e o impacto deste, recorrendo a técnicas de aprendizagem automática (machine learning). A representação da carga emocional pode ser realizada utilizando o amplamente aceite modelo Circumplexo, que representa emoções através das dimensões Valence (quão positiva é a emoção) e Arousal (quão ativa é a emoção). Este trabalho fornece então quatro contribuições. A primeira consiste em modelos computacionais que apresentam um aumento significativo de performance na análise da dimensão de Valence, à custa de um ligeiro decréscimo na dimensão de Arousal. A segunda contribuição consiste numa interface que permite ao game designer e jogador efetuar escolhas de áudio baseadas em emoções alvo e informação contextual. A terceira reside na escolha da interação entre o jogo e seus componentes com o áudio escolhido e como este será influenciado. Finalmente, a quarta contribuição consiste na alteração de características psicométricas do áudio em tempo real para este se adaptar aos objetivos delineados pelo utilizador.

Sound in games has increasingly become an area of interest for game designers and players alike. With this renewed interest and new technologies available, it is of relevance to create tools that facilitate and extend current capabilities of adding sound in games. The creation of experiences through audio lies in its choice, through a contextualised way and considering its significance on an emotional level. The objective of this work was to create a tool that enables the addition of audio considering these aspects. However, such an approach requires the capacity of evaluating of audio on an emotion level and its impact, making use of machine learning techniques. The representation the emotional meaning carried by the audio can be achieved by using the widely accepted Circumplex model, presenting the results along the Valence (how positive the emotion is) and Arousal (how active the emotion is) dimensions. This work then provides four contributions. The first consists on computational models that reveal a significant increase in terms of performance in the analysis along the Valence dimension at the cost of a slight decrease along the Arousal dimension. The second consists on a tool that allows the game designer and player to choose audio based on target emotions and contextualised information. The third contribution lies on the interaction of the chosen audio and the game itself, its components and how it will respond to it. Finally, the fourth contribution consists on the alteration of audio psychometrical characteristics in real-time, allowing for a better adjustment of audio in face of the user’s objectives.