Decoding Higher-level Language Processing During Semantic Speech Perception

Abstract

High-level linguistic processing in the human brain remains incompletely understood and constitutes a challenging topic in speech neuroscience. While most studies focused on decoding low-level phonetic components using intracranial recordings of the human brain during speech perception, few studies have attempted to decode high-level syntactic or semantic features. If any, most of the research targeting semantic decoding is conducted with picture naming tasks, which only deal with visual language rather than spoken language. The presenting study is focused on better characterizing the neural representations of processing spoken language perception, namely speech perception. Especially not on the lower-level language components such as phonemes or phonetics, but the higher-level components such as syntax and semantics. Since it is widely accepted that the tripartite nature of language processing consists of phonology, syntax, and semantics, a strategical method for analyzing speech perception tasks that can reject the intervention of phonetic factors was mandatory. Therefore, we conducted a question-and-answer speech task containing four questions revolving around two semantic categories (alive, body parts) with phonetically controlled words. Intracranial neural signals were recorded during the question-and-answer speech task using electrocorticography (ECoG) electrodes for 14 epilepsy patients. Post hoc brain activity analysis was conducted for three subjects who answered correctly to every trial (144 trials in total) to ensure the analyzed data contained only brain signals collected during the correct semantic processing. The decoding results suggest that absolute and relative spectral neural feature trends occur across all participants in particular time windows. Furthermore, the spatial aspect of the neural features that yield the best decoding accuracy verifies the current biophysiological brain language model explaining the circular nature of word meaning comprehension in the left hemisphere language network.

인간의 고등 성분 언어 처리와 관련한 두뇌 활동을 해독하는 연구는 신경언어학 분야에서도 아직 깊이 연구되지 않은 분야 중 하나이다. 침습적 전극을 통해 얻은 뇌피질 뇌파를 이용한 대부분의 언어 디코딩 연구는 음소나 음절 수준의 하위 언어 성분에서 진행되어 왔고, 통사나 의미와 같은 고등 언어 성분에 대한 디코딩 연구는 드물다. 드물게 진행된 고등 언어 성분 디코딩 연구 또한 대다수가 시각적 언어 처리를 연구한 결과들이며, 소리 언어 디코딩 연구는 태동 단계에 머무르고 있다. 본 연구는 소리 언어 지각시의 두뇌 활성을 분석하여 그 처리 과정의 뇌파 신호 특성을 규명하고자 한다. 특히 인간 음성 언어의 하위 구성 성분보다는 통사와 의미 위주의 고등 구성 성분을 처리하는 데에 관여하는 뇌파의 시간적, 주파수적, 공간적 특성에 집중하여 분석을 진행하였다. 언어 처리의 주된 세 가지 요소는 음소 (phonetics), 통사 (syntactics), 의미 (semantics)라는 점을 고려하여, 음소 소준의 뇌파 활동을 통제할 수 있는 실험 패러다임을 구상하였으며, 구체적으로는 두개의 다른 의미 범주 (생명, 신체)에 대해서 묻는 음소적으로 동등한 단어가 포함된 질문을 들려준 후 의미를 파악해 대답하는 과정의 뇌파를 기록하는 실험을 진행하였다. 뇌파 신호는 경막하 전극 삽입술 (Electrocorticography, ECoG)을 통해 14명의 뇌전증 환자로부터 침습적 방식으로 측정되었다. 뇌파 디코딩 분석에는 피험자의 두뇌가 옳은 방식으로 처리한 고등 언어 성분이 반영된 실험만을 포함하기 위해서 모든 실험에서 옳은 대답을 한 세 명의 환자만을 대상으로 하여 분석을 진행하였다. 디코딩 분석 결과 세 명의 환자에 걸쳐 핵심 단어 (것은, 무엇입니까) 음성 지각 이후 특정 시간대에서 특정 주파수대의 뇌파가 양 극단의 의미를 높은 수준의 정확도(%)로 분류하는 데에 사용될 수 있다는 것을 밝혔다. 또한 이러한 높은 정확도를 기록한 뇌파의 특성에는 모든 환자에 걸쳐 절대적 혹은 상대적 트렌드가 관찰되며, 관찰되는 뇌파의 공간적 특성은 현재 통용되는 신경언어학적 언어 처리 모델이 설명하는 음성 언어 처리 방식과 일맥상통함을 밝혔다.