청각 자극과 시각 자극의 정서 일치 효과: 기분 상태의 영향을 중심으로

Abstract

본 연구는 수행해야 할 과제와 무관한 비언어적 소리의 정서가 암묵적으로 얼굴 표정의 정서 지각에 미치는 영향을 조사하고, 실험적으로 유도되지 않은 개인의 현재 기분이 이 영향과 어떻게 상호작용하는지 조사하기 위해 두 가지 실험을 진행하였다. 실험 1에서는 시청각 일치 효과(audio-visual congruency effect) 연구 분야에서 보편적으로 사용하는 교차 양상 패러다임(cross-modal paradigm)을 참고하여 시청각 정서의 일치 효과가 나타나는지, 이 효과가 개인의 현재 기분에 따라 다른 양상으로 나타나는지 살펴보았다. 실험 전 참가자는 개개인의 현재 기분 상태를 평정하였으며, 정서를 유발하는 청각 점화(prime)에 연이에 제시되는 한국판 얼굴 표정 자극의 정서를 행복 혹은 분노, 두 선택지 중 강제 선택을 해야 하는 2AFC(2 Alternative Forced Choice) 과제를 수행하였다. 그 결과, 시청각 정서의 일치 효과가 나타났다. 구체적으로, 행복 얼굴 표정과 분노 얼굴 표정 모두, 청각 점화의 정서와 일치했을 때, 불일치했을 때보다 반응 오류가 더 감소하였으며, 반응 속도는 더 빨라졌다. 다음으로 개인의 현재 기분 상태는 이러한 청각 정서 점화의 효과와 상호작용하였다. 기분이 긍정적일수록 시청각 정서의 일치 효과가 긍정 정서 조건과 부정 정서 조건 모두에서 고르게 나타났으며, 기분이 부정적일수록 시청각 정서 일치 효과는 부정 정서 조건에서만 현저하게 나타났고, 얼굴 정서 판단의 전반적인 수행 또한 느려졌다. 실험 2에서는 심리측정함수(psychometric function)를 통해 얼굴 표정 판단 반응의 주관적 동등점(Point of Subjective Estimation

PSE)을 계산할 수 있도록 실험 1에서 사용된 패러다임을 변형하여 시청각 정서의 일치 효과 및 이에 개인의 현재 기분이 미치는 영향을 살펴보았다. 실험 과정은 실험 1과 유사했으나 얼굴 표정 자극의 정서가 9수준(분노 80%, 분노 40%, 분노 20%, 분노 10%, 중립, 행복 10%, 행복 20%, 행복 40%, 행복 80%)으로 제시되었다. 그 결과, 실험 1과 마찬가지로 시청각 정서의 일치 효과가 나타났다. 구체적으로 행복 얼굴 표정이라고 응답한 반응을 정량화한 수치인 주관적 동등점(PSE)의 값이 청각 점화의 정서별로 유의미하게 차이가 났다. 청각 점화가 긍정적일수록 행복 얼굴 표정에 대한 민감도가 높아졌으며, 부정적일수록 그 민감도가 낮아졌다. 다음으로 개인의 현재 기분 상태에 따라 청각 정서 점화의 효과 및 얼굴 표정에서 행복 정서를 읽어내는 민감도가 달랐다. 얼굴 표정의 정서 판단에서, 기분이 긍정적일수록 긍정 정서 청각 점화의 영향이, 기분이 부정적일수록 부정 정서 청각 점화의 영향이, 상반된 정서가를 지닌 청각 점화의 영향보다 컸다. 또한, 기분이 긍정적일수록 행복 정서에 대한 주관적 동등점이 낮아졌다. 즉, 얼굴 표정에서 행복 정서를 더 민감하게 읽어내었다. 본 연구는 정서의 시청각 일치 효과에서 실험적으로 유도되지 않은 참가자 개인 내 기분의 중요성을 보여준다.