간단한 자연언어처리 기술을 활용한 시각적 질의 응답

Abstract

시각적 질의응답이란 기계학습 분야에 최근 등장한 과제로서, 이미지와

자연언어 질문이 주어졌을 때, 이미지에 있는 정보를 바탕으로 질문에 대한

정확한 답변을 하는 과제를 말한다.

이는 컴퓨터 비전과 자연언어처리(Natural Language Processing)이라는 큰

갈래로 나누어져서 진행이 되던 연구들의 교차로 기로에 있는 중요한 연구

주제이다. 위 과제를 해결하기 위해 최근 다양한 딥러닝 기반의 모델들이

쏟아져 나오고 있다. 이러한 다양한 모델들이 좋은 성능을 보이지만, 장소를

묻는 질문에 예(yes) 라고 대답하고, 비슷하지만 다른 질문에 똑같은 대답

을 하는 등의 자연어 질문에 대한 이해 부족으로 짐작되는 현상들이 두루

나타난다.

따라서 본 연구에서는 위에서 지적한 문제점을 해결하기 위해 문장 분류

와 품사 태깅을 이용하여, 좋은 성능을 유지하면서 기계의 자연어 질문에

대한 이해도를 높이는 새로운 시각적 질의응답 모델을 제안한다. 정확도를

포함한 다양한 실험 결과, 본 연구가 제시하는 자연어 질문에 대한 이해도

를 평가하는 척도에서 다른 모델보다 좋게 나왔으며, 성능 또한 기존의 최

고 성능을 보이는 모델[4]과 비슷한 것을 확인했다.