An evaluation of the internal validity of specific learning outcomes in phase II of a revised undergraduate medical curriculum
Date
2001-03
Authors
Cilliers, Francois Jakobus
Journal Title
Journal ISSN
Volume Title
Publisher
Stellenbosch : Stellenbosch University
Abstract
ENGLISH ABSTRACT: The Faculty of Medicine at the University of Stellenbosch has implemented an
extensively revised undergraduate medical curriculum. Exit outcomes, that
have been entitled the Profile of the Stellenbosch Doctor, have been
formulated for the programme. The revised curriculum is presented in three
phases. Phase I involves the study of non-clinical subjects under the guidance
of the Faculties of Natural Sciences and Economic & Management Sciences.
Phase II involves the study of subjects that lay the groundwork for the third
phase. Phase III involves the study of pre-clinical and clinical subjects in an
integrated fashion. The intended outcomes of phases II and III were
elaborated by the formulation of specific learning outcomes.
Determining whether the specific outcomes formulated for each module are
achieved will be one aspect of quality assurance in the revised curriculum.
This could be done by investigating the relationship between assessment and
the specific outcomes. If, however, specific outcomes for the various modules
are not congruent with the exit outcomes for the programme, then student
assessment will be invalid as regards the programme outcomes.
This study therefore entailed a formative evaluation of part of phase II of the
revised curriculum. The aims of the study were, firstly, to determine the
degree of congruence between the specific outcomes formulated for phase II
and the exit outcomes for the programme and, secondly, to explore why the
observed degree of congruence exists.
The research strategy employed was a case study. The research techniques
used were a document analysis and two questionnaire surveys.
The study found that most specific outcomes formulated for phase II of the
curriculum are congruent with one or more exit outcomes for the programme.
However, few of the exit outcomes are addressed to any great extent by
specific outcomes. This raises the concern that assessment of students based
on the specific outcomes as presently formulated might not demonstrate
development of students towards achievement of the exit outcomes. There are indications that this lack of congruence could be due to i) a large
number of competing demands on lecturers' time; ii) lecturers not wanting to
spend time doing work prioritised by others as important; iii) perceptions that
work related to the revised curriculum is being forced on staff without
necessarily consulting them; iv) a lack of reward for good teaching; v) the
perception that the strategies adopted for the revised curriculum will not
necessarily benefit students.
Recommendations are made as to how these findings could be confirmed and
strategies developed that could be utilised to ensure a greater degree of
congruence between the specific and exit outcomes in future.
AFRIKAANSE OPSOMMING: Die Fakulteit Geneeskunde van die Universiteit Stellenbosch het 'n omvangryke hersiening van hul voorgraadse geneeskundige kurrikulum geïmplementeer. Uitgangsuitkomste, getiteld die Profiel van die Stellenbosch Dokter, is vir die program geformuleer. Die hersiene kurrikulum word in drie fases aangebied. Fase I behels die studie van nie-kliniese vakke onder leiding van die Fakulteite van Natuurwetenskappe en Ekonomiese- & Bestuurswetenskappe. Fase II behels die studie van vakke wat die grondwerk lê vir die derde fase. Fase III behels die studie van prekliniese en kliniese vakke op 'n geïntegreerde wyse. Die beoogde uitkomste van fases II en III is uitgespel deur die formulering van spesifieke leeruitkomste. Die bepaling van of die spesifieke uitkomste wat vir elke module geformuleer is, bereik word, sal een aspek uitmaak van gehalteversekering in die hersiene kurrikulum. Dit sou gedoen kon word deur die verwantskap tussen assessering en die spesifieke uitkomste te ondersoek. Indien die spesifieke uitkomste vir die verskeie modules egter nie met die uitgangsuitkomste vir die program kongruent is nie, dan sal studentassessering ongeldig wees wat betref die uitkomste van die program. Hierdie studie het dus 'n formatiewe evaluering van deel van fase II van die hersiene kurrikulum behels. Die doelstellings van die studie was om, eerstens, die graad van kongruensie tussen die spesifieke uitkomste wat vir fase II geformuleer is en die uitgangsuitkomste vir die program te bepaal en, tweedens, om ondersoek in te stel na waarom die waargenome graad van kongruensie bestaan. Die navorsingsstrategie wat gebruik is, is 'n gevallestudie. Die navorsingstegnieke wat gebruik is, is 'n dokument analise en twee vraelys ondersoeke. Die studie het vasgestel dat die meeste spesifieke uitkomste vir fase II van die kurrikulum geformuleer wel met een of meer uitgangsuitkomste kongruent was. Min van die uitgangsuitkomste is egter in enige groot mate deur spesifieke uitkomste aangespreek. Die wek besorgdheid dat assessering van studente gebaseer op spesifieke uitkomste soos dit tans daar uitsien, nie noodwendig die ontwikkeling van studente in die rigting van bereiking van die uitgangsuitkomste sal demonstreer nie. Daar is aanduidings dat hierdie gebrek aan kongruensie die gevolg mag wees van: i) 'n groot aantal kompeterende eise op dosente se tyd; ii) dat dosente nie tyd wil wy aan werk wat deur ander as belangrik bepaal is nie; iii) persepsies dat werk wat met die hersiene kurrikulum verband hou op personeel afgedwing word sonder om hulle te raadpleeg; iv) 'n gebrek aan beloning vir goeie onderrig; v) die persepsie dat strategieë wat gebruik word vir die hersiene kurrikulum nie noodwendig tot voordeel van studente sal strek nie. Aanbevelings word aan die hand gedoen oor hoe hierdie bevindinge bevestig kan word en hoe strategieë ontwikkel kan word wat benut sal kan word om in die toekoms 'n groter mate van kongruensie tussen spesifieke en uitgangsuitkomste te verseker.
AFRIKAANSE OPSOMMING: Die Fakulteit Geneeskunde van die Universiteit Stellenbosch het 'n omvangryke hersiening van hul voorgraadse geneeskundige kurrikulum geïmplementeer. Uitgangsuitkomste, getiteld die Profiel van die Stellenbosch Dokter, is vir die program geformuleer. Die hersiene kurrikulum word in drie fases aangebied. Fase I behels die studie van nie-kliniese vakke onder leiding van die Fakulteite van Natuurwetenskappe en Ekonomiese- & Bestuurswetenskappe. Fase II behels die studie van vakke wat die grondwerk lê vir die derde fase. Fase III behels die studie van prekliniese en kliniese vakke op 'n geïntegreerde wyse. Die beoogde uitkomste van fases II en III is uitgespel deur die formulering van spesifieke leeruitkomste. Die bepaling van of die spesifieke uitkomste wat vir elke module geformuleer is, bereik word, sal een aspek uitmaak van gehalteversekering in die hersiene kurrikulum. Dit sou gedoen kon word deur die verwantskap tussen assessering en die spesifieke uitkomste te ondersoek. Indien die spesifieke uitkomste vir die verskeie modules egter nie met die uitgangsuitkomste vir die program kongruent is nie, dan sal studentassessering ongeldig wees wat betref die uitkomste van die program. Hierdie studie het dus 'n formatiewe evaluering van deel van fase II van die hersiene kurrikulum behels. Die doelstellings van die studie was om, eerstens, die graad van kongruensie tussen die spesifieke uitkomste wat vir fase II geformuleer is en die uitgangsuitkomste vir die program te bepaal en, tweedens, om ondersoek in te stel na waarom die waargenome graad van kongruensie bestaan. Die navorsingsstrategie wat gebruik is, is 'n gevallestudie. Die navorsingstegnieke wat gebruik is, is 'n dokument analise en twee vraelys ondersoeke. Die studie het vasgestel dat die meeste spesifieke uitkomste vir fase II van die kurrikulum geformuleer wel met een of meer uitgangsuitkomste kongruent was. Min van die uitgangsuitkomste is egter in enige groot mate deur spesifieke uitkomste aangespreek. Die wek besorgdheid dat assessering van studente gebaseer op spesifieke uitkomste soos dit tans daar uitsien, nie noodwendig die ontwikkeling van studente in die rigting van bereiking van die uitgangsuitkomste sal demonstreer nie. Daar is aanduidings dat hierdie gebrek aan kongruensie die gevolg mag wees van: i) 'n groot aantal kompeterende eise op dosente se tyd; ii) dat dosente nie tyd wil wy aan werk wat deur ander as belangrik bepaal is nie; iii) persepsies dat werk wat met die hersiene kurrikulum verband hou op personeel afgedwing word sonder om hulle te raadpleeg; iv) 'n gebrek aan beloning vir goeie onderrig; v) die persepsie dat strategieë wat gebruik word vir die hersiene kurrikulum nie noodwendig tot voordeel van studente sal strek nie. Aanbevelings word aan die hand gedoen oor hoe hierdie bevindinge bevestig kan word en hoe strategieë ontwikkel kan word wat benut sal kan word om in die toekoms 'n groter mate van kongruensie tussen spesifieke en uitgangsuitkomste te verseker.
Description
Thesis (MPhil)--University of Stellenbosch, 2001.
Keywords
Education, Higher -- South Africa -- Evaluation, Education, Higher -- Curricula -- Standards -- South Africa, Dissertations -- Education