This Article Abstract Full Text Full Text (PDF) Submit a scholarly reply Alert me when this article is cited Alert me when eLetters are posted Alert me if a correction is posted Services Similar articles in this journal Similar articles in PubMed Alert me to new issues of the journal Download to citation manager Citing Articles Citing Articles via HighWire Citing Articles via Google Scholar Google Scholar Articles by Kearney, R. A. Articles by Skakun, E. N. Search for Related Content PubMed PubMed Citation Articles by Kearney, R. A. Articles by Skakun, E. N.

The inter-rater and intra-rater reliability of a new Canadian oral examination format in anesthesia is fair to good

[La fiabilité interexaminateurs et intra-examinateurs d'un nouveau modèle d'examen oral canadien en anesthésie est de moyenne à bonne]

Ramona A. Kearney, MD FRCPC^*, Stephen A. Puchalski, MD FRCPC, Homer Y.H. Yang, MD FRCPC and Ernest N. Skakun, PhD^*

^* From the Departments of Anesthesia University of Alberta, Edmonton, Alberta, and
McMaster University, The Division of Studies in Medical Education, Hamilton, Ontario, Canada.

Dr. Ramona A. Kearney, Department of Anesthesiology and Pain Medicine, University of Alberta, Clinical Sciences Building, Room 8-120G, Edmonton, Alberta T6G 2B7, Canada. Phone: 780-407-2689; Fax: 780-407-7461; E-mail: rkearney{at}ualberta.ca

Objectif : C'est à la demande du Collège royal, d'améliorer la validité et la fiabilité des examens oraux, que le Bureau des examinateurs en anesthésie a proposé un modèle d'examen oral structuré. Avant sa mise en application, nous l'avons testé dans deux programmes de résidence afin de déterminer la fiabilité des examinateurs.

Méthode : Vingt facultés et 26 résidents de deux programmes canadiens ont participé à l'étude (Sites A et B). Des paires d'examinateurs ont utilisé une échelle de notation globale comportant des critères de rendement définis pour évaluer cinq ou six résidents appelés à répondre consécutivement à deux questions normalisées. Les résultats des résidents ont été cotés séparément pendant l'examen (Temps 1) puis, à partir d'un enregistrement vidéo (Temps 2). Les corrélations entre les scores des paires d'examinateurs et entre les scores de chaque examinateur ont été établies.

Résultats : Les corrélations démontrant une concordance interexaminateurs au Site A sont de -0,324 à 0,915 (moyenne de 0,506) au Temps 1. Au Temps 2, de 0,64 à 0,887 (moyenne de 0,791). Au Site B, elles sont de 0,279 à 0,989 (moyenne 0,707) au Temps 1, et au Temps 2 de -0,271 à 0,924 (moyenne de 0,477). Les corrélations sur la l'accord intra-examinateurs au Site A sont de 0,054 à 0,983 (moyenne de 0,723) et au Site B de -0,055 à 0,974 (moyenne de 0,662). Les corrélations étaient > 0,4 dans 80 % des scores et > 0,7 dans 50 %; la fiabilité intra-examinateurs et interexaminateurs ainsi indiquée est de moyenne à bonne avec ce modèle.

Conclusion : Malgré les limites de notre étude, nos résultats se comparent favorablement avec ceux qui ont déjà été signalés en anesthésie. Nous recommandons l'adoption du modèle par le Bureau des examinateurs du Collège royal des médecins et chirurgiens du Canada.

This article has been cited by other articles:

				P. Houston, R. A. Kearney, and G. Savoldelli The oral examination process - gold standard or fool's gold/Le processus d'examen oral - un vrai ou un faux etalon-or ? Can J Anesth, July 1, 2006; 53(7): 639 - 642. [Full Text] [PDF]

				E. Jacobsohn, P. A. Klock, M. Avidan, and the Oral Examinations Group Poor inter-rater reliability on mock anesthesia oral examinations: [Le pauvre coefficient d'objectivite d'examens oraux en anesthesie simules]. Can J Anesth, July 1, 2006; 53(7): 659 - 668. [Abstract] [Full Text] [PDF]

This Article Abstract Full Text Full Text (PDF) Submit a scholarly reply Alert me when this article is cited Alert me when eLetters are posted Alert me if a correction is posted Services Similar articles in this journal Similar articles in PubMed Alert me to new issues of the journal Download to citation manager Citing Articles Citing Articles via HighWire Citing Articles via Google Scholar Google Scholar Articles by Kearney, R. A. Articles by Skakun, E. N. Search for Related Content PubMed PubMed Citation Articles by Kearney, R. A. Articles by Skakun, E. N.