Simulating Problem Difficulty in Arithmetic Cognition Through Dynamic Connectionist Models

Abstract

The present study aims to investigate similarities between how humans and connectionist models experience difficulty in addition and subtraction problems. Problem difficulty was operationalized by the number of carries involved in solving a given problem. I aimed to simulate this human arithmetic cognition, performing either addition or subtraction, by using the Jordan network, which is a connectionist model dynamically computing outputs through time. The Jordan network is a recurrent neural network whose hidden layer gets its inputs from an input at the current step and from the output at the previous step. Problem difficulty was measured in humans by response time, and in models by computational steps. The present study found that both humans and connectionist models experience difficulty similarly when solving binary addition and subtraction. Specifically, both agents found difficulty to be strictly increasing with respect to the number of carries. Furthermore, the models mimicked the increasing standard deviation of response time seen in humans. Another notable similarity is that problem difficulty increases more steeply in subtraction than in addition, for both humans and connectionist models. Further investigation on two model hyperparameters — confidence threshold and hidden dimension — shows higher confidence thresholds cause the model to take more computational steps to arrive at the correct answer. Likewise, larger hidden dimensions cause the model to take more computational steps to correctly answer arithmetic problems; however, this effect by hidden dimensions is negligible.

본 연구는 산술 문제를 풀 때 사람과 연결주의 모형이 겪는 어려움이 유사한지를 조사하였다. 문제의 난이도는 주어진 문제를 해결하는데 수반되는 올림의 수에 영향을 받는다. 이 연구는 시간에 따라 동적으로 계산하는 연결주의 모형인 조단 신경망(Jordan network)을 통해, 덧셈 혹은 뺄셈을 푸는 사람의 응답 시간을 모사하고자 하였다. 조단 신경망은 은닉층이 현재 입력값과 이전 예측값을 입력으로 받는 순환 신경망이다. 이 연구에서 문제 난이도를 사람의 응답 시간으로, 모형의 계산 걸음 수로 측정하였다. 연구 결과, 사람과 연결주의 모형 모두가 이진 덧셈과 뺄셈을 풀 때, 올림 수가 증가할수록 어려움을 겪음을 발견하였다. 구체적으로, 두 실험 대상 모두는 올림 수에 따라 문제 난이도가 강한 증가(strictly increasing) 경향을 보였다. 게다가, 문제에 올림 수가 많아질수록 사람이 문제를 푸는데 걸리는 응답 시간의 표준편차가 증가하였는데, 제안한 모형은 그 현상을 모방하였다. 사람과 모형의 또 다른 유사점은 올림 수에 대한 문제 난이도가 덧셈보다 뺄셈에서 더 가파르게 증가했다는 점이었다. 모형의 두 가지 하이퍼 파라미터 — '신뢰 임계값'과 '은닉 차원' — 에 대한 추가 조사 결과, 신뢰 임계값이 커질수록 모형이 정답에 도달하기 위해 더 많은 계산 걸음 수를 가지었다. 한편, 은닉 차원이 커질수록 모형이 정답에 도달하기 위해 더 많은 계산 걸음 수를 취했지만, 증가율은 무시할 만한 정도이었다.