L’évaluation certificative par QCM à l’université. La pénalisation des mauvaises réponses est-elle associée à une meilleure discrimination des étudiants?

Ce mémoire s’intéresse à l’évaluation certificative par questionnaire à choix multiple (examen QCM). Il vise à comprendre les effets de la pénalisation des mauvaises réponses en lien avec la capacité de discrimination et le taux de réussite à un examen. Tout d’abord, la partie théorique s’intéresse à l’évaluation en posant la question de sa définition et de sa fonction. Le questionnaire à choix multiple, qui est une modalité particulière d’évaluation, est ensuite présenté: sa définition, sa place dans l’évaluation, ses avantages et ses inconvénients. Cette partie aborde ensuite des concepts issus de la théorie classique des tests et explicite les principaux indicateurs de la qualité d’un test: la validité, la fidélité, la sensibilité et l’indice de facilité (Laveault & Grégoire, 1997). Enfin, l’évolution des débats entre les auteurs permet d’approfondir la question de la pénalisation des mauvaises réponses. Les questions traitées dans la partie empirique ont pour origine un constat. Dans l’échantillon étudié, composé de 680 examens QCM (146.800 copies d’étudiants), 68,6% des examens font appel à un barème de pénalisation des mauvaises réponses. Pour ces examens, le taux de réussite est en moyenne inférieur de 10% à celui des examens qui ne pénalisent pas les réponses fausses. L’étude réalisée s’attache dès lors à apporter des éléments de réponse à la question suivante: la pénalisation des mauvaises réponses est-elle associée à un indice de discrimination plus élevé? Les analyses menées ont permis de faire un certain nombre de constats quant à la capacité de discrimination d’un test et au degré de pénalité. Les conclusions principales sont les suivantes. Tout d’abord, les examens avec pénalité ne discriminent pas davantage les étudiants que les examens sans pénalité. Ensuite, les examens comportant une faible pénalité de -0,20 point pour mauvaise réponse possèdent une capacité de discrimination plus élevée que les autres examens. La question de la pénalité a également été analysée sous l’angle de l’espérance de gain par item. Elle consiste en une estimation du score que produirait une réponse au hasard en prenant en compte le nombre d’options et la valeur du score attribué pour chaque option. L’analyse de l’espérance de gain par item montre que les examens où cette valeur est modérée (entre 0,04 et 0,11) discriminent davantage que les autres examens. Enfin, en ce qui concerne le taux de réussite, il tend à augmenter lorsque la qualité de l’examen diminue (capacité de discrimination ou de fidélité).