| HOME | HELP | FEEDBACK | SUBSCRIPTIONS | ARCHIVE | SEARCH | TABLE OF CONTENTS |
Editorial |
From the Department of Anesthesia, Hôpital Maisonneuve-Rosemont, Montréal, Québec, Canada.
Address correspondence to: Dr. Michel Girard, Department of Anesthesia, Hôpital Maisonneuve-Rosemont, Montréal, Québec, Canada. Phone: 514-252-3426; Fax: 514-252-3542; E-mail: girardmi{at}videotron.ca
 |
Anesthesiology simulators: networking is the key |
|---|
 TOP Anesthesiology simulators:... Les simulateurs...References |
|---|
Amongst the proposed uses for simulators in anesthesiology, we find training and education at the pregraduate and postgraduate levels, assessment of these students, high-stakes certification, Advanced Cardiac Life Support certification, remedial training, anesthetic crisis management training and its assessment and research.1–4
From Morgan and Cleave-Hogg’s data (Table II),1 it appears that simulators are used much more for educational purposes (undergraduate: 77%, postgraduate: 85%) than for evaluation purposes (undergraduate: 14%, postgraduate: 7%). This is somewhat surprising since current educational trends suggest incorporating a mechanism to ascertain if students have attained the level of competency required after an educational activity. Obviously, the simulation session might be featured in a larger educational continuum. However, the purported advantages on training ascribed to simulators are difficult to verify by other types of evaluation tools. Why is it so? Basically a simulator is an artificial environment where segments of reality are reproduced in a hopefully realistic manner. We say hopefully, because when a simulator is acquired, aside form the physical environment, a number of programs or building blocks are available to the buyer. These programs represent physiological events, some of them directly related to anesthesia, which must be integrated in a clinical simulation or script. The complexity of the undertaking will depend on the events simulated and the level of training of the student or user. The higher the level of training, the higher the number of iterations that must be developed. In an evaluation process where measurement instruments are developed, evidence of their psychometric properties must be demonstrated in term of validity, reliability and practicability. Validity is the relation between what we measure and what we wish to measure. The four main types of validity of an evaluation tool that, where appropriate, must be present are content, construct, concurrent and predictive validity. They represent, respectively, the degree of congruence between the test items and what we wish to measure (does the test measure acquisition of the competencies described in the objectives?), the relation between the test and the theoretical framework that represents the characteristics under study (does a simulator assessment assess "anesthetic competence"?),5 the relation between the test results and that of an other validated test measuring the same attribute and the degree of correlation between the test results and future behaviour in the same area of expertise. Reliability describes how reproducible test results will be upon repetition of the test (test-retest) or how raters agree on the evaluation of the performance of the individuals being tested (inter-rater reliability).
In a recent literature review, Byrne and Greaves5 found only four studies on the validity and reliability of simulators as an assessment tool. While major aspects of validity, such as content or predictive validity, have not been tested, there is little evidence to support the other dimensions of validity that have been tested. Studies on inter-rater reliability showed good results when scoring technical actions.5 However, when it comes to anesthetic crisis resource management or high-stake situations, "the rating system needs more refinement".6
Even when the validity, in a given situation, will be demonstrated, the generalizability of the findings will not be demonstrated because scripts or scenarios vary from one simulation centre to the other and because a study made on a number of simple scenarios, aimed at pregraduate students, might not reflect the complexity of scenarios aimed at advanced postgraduate students.
Practicability reflects how generally applicable a test is. Will it be easily accessible to students before an assessment? When it comes to certification examinations, this characteristic becomes extremely important. It has been argued that a major advantage of the use of a simulator is that it allows "deliberate practice" which is a major determinant of expertise.4 The argument can be used the other way around. If an examination is based on the use of a simulator, those students who do not have access to this instrument will be at a disadvantage. Simulation centres require important financial and human resources, that may not be available for most training programs in the years to come. This problem may be compounded by the reluctance of university departments of anesthesiology to invest in simulation centres for training purposes if other less costly and just as effective means of training are developed.7,8
Should we come to the conclusion that no money should be invested in simulation centres? It is too early to answer this question, there have been too few centres active in research on simulation in anesthesiology to accept such a conclusion. However, it is our opinion that the mere transposition of the usefulness of simulation in industry to establish its role in anesthesiology is insufficient. And, as the scenarios become more complex, it will be difficult for small groups, of however dedicated teachers, to validate them. We believe that the intention expressed by the authors of the study to "encourage communication and collaboration among centres involved in similar simulator programs" is of paramount importance to the future of this technology.
|
Les simulateurs d’anesthésiologie : le travail en réseau est la clé |
|---|
|
TOPAnesthesiology simulators:...Les simulateurs...References |
|---|
Parmi les usages proposés des simulateurs en anesthésiologie, nous retrouvons la formation et l’éducation aux niveaux prédoctoral et postdoctoral, l’évaluation des étudiants de ces groupes, la reconnaissance en formation professionnelle avancée, l’accréditation en technique spécialisée de réanimation cardio-respiratoire (ACLS), la rééducation thérapeutique spécialisée, la formation en gestion des crises en anesthésie, et son évaluation, de même que la recherche.1–4
Selon les données de Morgan et Cleave-Hogg (Tableau II),1 il semble que les simulateurs soient plus utilisés pour la formation (prédoctorat : 77 %, postdoctorat : 85 %) que pour l’évaluation (prédoctorat : 14 %, postdoctorat : 7 %). C’est plutôt surprenant, étant donné que l’orientation pédagogique actuelle propose d’intégrer un mécanisme permettant de s’assurer que les étudiants ont atteint le niveau de compétence nécessaire à la suite d’une activité de formation. De toute évidence, la session de simulation pourrait faire l’objet d’un plus vaste continuum pédagogique. Cependant, les avantages présumés sur la formation, attribués aux simulateurs, sont difficiles à vérifier avec d’autres types d’outils d’évaluation. Pourquoi? Un simulateur est fondamentalement un environnement artificiel où des segments de la réalité sont reproduits de manière que nous voulons réaliste. Nous disons bien "voulons", car lorsqu’on a acquis un simulateur, mis à part l’environnement physique, un nombre de programmes ou de blocs fonctionnels sont offerts à l’acheteur. Ces programmes représentent des événements physiologiques, dont certains sont directement reliés à l’anesthésie, qui peuvent être intégrés dans une simulation clinique ou un scénario. La complexité de l’entreprise dépend des événements simulés et du niveau de formation de l’étudiant ou de l’utilisateur. Plus le niveau de formation est élevé, plus il faut réaliser un nombre élevé de répétitions. Dans un processus d’évaluation où des instruments de mesure sont mis au point, la mise en évidence de leurs propriétés psychométriques doit être démontrée en termes de validité, fidélité et praticabilité. La validité est la relation entre ce que nous mesurons et ce que nous souhaitons mesurer. Les quatre principaux types de validité d’un outil d’évaluation qui doivent être présents, si c’est indiqué, sont les validités de contenu, de construit, concourante et prédictive. Ils représentent, respectivement, le degré de congruence entre les éléments testés et ce que nous souhaitons mesurer (le test mesure-t-il l’acquisition des compétences décrites dans les objectifs?), la relation entre le test et le cadre théorique qui représente les caractéristiques à l’étude (une évaluation de simulateur estime-t-elle la "compétence anesthésique"?),5 la relation entre les résultats du test et ceux d’un autre test validé mesurant le même attribut et le degré de corrélation entre les résultats du test et le comportement futur dans le même domaine de compétences particulières. La fidélité décrit la reproductibilité des résultats du test au cours des répétitions du test (test-retest) ou la qualité de l’agrément des juges sur l’évaluation de la performance des étudiants testés (fidélité inter-juges).
Dans une récente revue documentaire, Byrne et Greaves5 n’ont trouvé que quatre études sur la validité et la fiabilité des simulateurs comme outil d’évaluation. Alors que des aspects importants de la validité, comme le contenu ou la validité prédictive, n’ont pas été testés, il n’existe que peu de preuve à l’appui des autres dimensions de la validité qui ont été testées. Les études sur le coefficient d’objectivité ont fait état de bons résultats aux test d’actions techniques.5 Toutefois, quand il s’agit de la gestion des ressources en cas de crise en anesthésie ou des situations aux enjeux importants, "le système de notation doit être raffiné davantage".6
Même quand la validité est démontrée, dans une situation donnée, la généralisabilité des résultats ne sera pas nécessairement prouvée, car les scripts ou les scénarios varient d’un centre de simulation à l’autre. En outre, une étude réalisée selon un certain nombre de scénarios simples pour des étudiants de médecine pourrait ne pas rendre compte de la complexité des scénarios conçus pour des étudiants au postdoctorat.
La praticabilité indique comment un test est généralement applicable. Sera-t-il facilement accessible aux étudiants avant une évaluation? Quand il s’agit des examens d’agrément, cette caractéristique devient extrêmement importante. On a dit que’un avantage important de l’usage d’un simulateur est qu’il permet une "pratique délibérée", de la compétence.4 L’argument peut être utilisé à l’inverse. Si un examen est fondé sur l’usage d’un simulateur, les étudiants qui n’ont pas accès à cet instrument seront désavantagés. Les centres de simulation nécessitent d’importantes ressources financières et humaines qui ne seront peut-être pas accessibles dans la plupart des programmes de formation dans le futur. Ce problème peut être aggravé par la réticence des services d’anesthésiologie universitaires à investir dans des centres de simulation à des fins pédagogiques si d’autres moyens de formation efficaces et moins chers sont mis au point.7,8
Devons-nous conclure qu’il ne faut pas investir dans des centres de simulation? Il est trop tôt pour répondre à cette question. Il y a trop peu de centres de recherche actifs sur la simulation en anesthésiologie pour accepter une telle conclusion. Cependant, nous croyons que, pour établir son rôle en anesthésiologie, la simple transposition de l’utilité de la simulation dans l’industrie est insuffisante. De plus, comme les scénarios se complexifient, il deviendra difficile pour des petits groupes de professeurs, néanmoins intéressés, de les valider. Nous pensons que l’intention exprimée par les auteurs de l’étude "d’encourager la communication et la collaboration entre les centres impliqués dans des programmes de simulateurs semblables" est d’une importance capitale pour le devenir de cette technologie.
|
References |
|---|
|
TOPAnesthesiology simulators:...Les simulateurs...References |
|---|
2 Kapur PA, Steadman RH. Patient simulator competency testing: ready for takeoff? Anesth Analg 1998; 86: 1157–9.[Medline]
3 Rosenblatt MA, Abrams KJ. The use of a human patient simulator in the evaluation of and development of a remedial prescription for an anesthesiologist with lapsed medical skills. Anesth Analg 2002; 94: 149–53.
4 Issenberg SB, McGaghie WC, Hart IR, et al. Simulation technology for health care professional skills training and assessment. JAMA 1999; 282: 861–6.
5 Byrne AJ, Greaves JD. Assessment instruments used during anaesthetic simulation: review of published studies. Br J Anaesth 2001; 86: 445–50.
6 Gaba DM, Howard SK, Flanagan B, Smith BE, Fish KJ, Botney R. Assessment of clinical performance during simulated crises using both technical and behavioral ratings. Anesthesiology 1998; 89: 8–18.[Medline]
7 Birnbach DJ, Santos AC, Bourlier RA, et al. The effectiveness of video technology as an adjunct to teach and evaluate epidural anesthesia performance skills. Anesthesiology 2002; 96: 5–9.[Medline]
8 Morgan PJ, Cleave-Hogg D, McIlroy J, Devitt JH. Simulation technology: a comparison of experiential and visual learning for undergraduate medical students. Anesthesiology 2002; 96: 10–6.[Medline]
This article has been cited by other articles:
 |
|
 |
|
  H. Berkenstadt, G. S. Kantor, Y. Yusim, N. Gafni, A. Perel, T. Ezri, and A. Ziv The Feasibility of Sharing Simulation-Based Evaluation Scenarios in Anesthesiology Anesth. Analg., October 1, 2005; 101(4): 1068 - 1074. [Abstract] [Full Text] [PDF]
|
|
|
|
 |
|
 A. K. Wong Full scale computer simulators in anesthesia training and evaluation: [Des simulateurs informatises grandeur nature pour la formation et l'evaluation en anesthesie] Can J Anesth, May 1, 2004; 51(5): 455 - 464. [Abstract] [Full Text] [PDF]
|
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| HOME | HELP | FEEDBACK | SUBSCRIPTIONS | ARCHIVE | SEARCH | TABLE OF CONTENTS |
