CJA
HOME HELP FEEDBACK SUBSCRIPTIONS ARCHIVE SEARCH TABLE OF CONTENTS

This Article
Right arrow Full Text (PDF)
Right arrow Submit a scholarly reply
Right arrow Alert me when this article is cited
Right arrow Alert me when eLetters are posted
Right arrow Alert me if a correction is posted
Services
Right arrow Similar articles in this journal
Right arrow Alert me to new issues of the journal
Right arrow Download to citation manager
Right arrow reprints & permissions
Citing Articles
Right arrow Citing Articles via HighWire
Right arrow Citing Articles via Google Scholar
Google Scholar
Right arrow Articles by Cheng, D. C.H.
Right arrow Articles by Choi, P. T.
Right arrow Search for Related Content
PubMed
Right arrow Articles by Cheng, D. C.H.
Right arrow Articles by Choi, P. T.
Canadian Journal of Anesthesia 53:6-10 (2006)
© Canadian Anesthesiologists' Society, 2006


Editorial

Evidence-based decision making: current challenges and a new feature in the Canadian Journal of Anesthesia/La prise de décision fondée sur les preuves : les défis actuels et une nouvelle chronique dans le Journal canadien d’anesthésie

Davy C.H. Cheng, MD MSc FRCPC* and Peter T. Choi, MD FRCPC{dagger}

* From the Department of Anesthesia and Perioperative Medicine, University of Western Ontario, London, Ontario; and the Vancouver Coastal Health Research Institute and
{dagger} the Department of Anesthesiology, Pharmacology and Therapeutics, University of British Columbia, Vancouver, British Columbia, Canada.

Address correspondence to: Dr. Davy C.H. Cheng, Department of Anesthesia and Perioperative Medicine, London Health Sciences Centre, 339 Windermere Road, London, Ontario N6A 5A5, Canada. Phone: 519-663-3031; Fax: 519-663-3161; E-mail: davy.cheng{at}lhsc.on.ca


    Evidence-based decision making: current challenges and a new feature in the Canadian Journal of Anesthesia
 TOP
 Evidence-based decision making:...
 La prise de decision...
 References
 
THE implicit challenge of Archie Cochrane’s 1979 statement, "it is surely a great criticism of our profession that we have not organized a critical summary, by specialty or subspecialty, adapted periodically, of all relevant randomized controlled trials",1 has resulted in the advancement of the systematic review and meta-analysis in evidence-based medicine (EBM). The adoption of EBM has spurred an unprecedented growth in an approach to decision-making based on clinical epidemiology in the belief that this will translate into improved outcomes for patients, improved quality of care and decision-making for clinicians, and improved cost-effectiveness for health services. Although EBM has led to gains in the quantitative evidence on which to base clinical decisions, the uptake and translation of evidence into day-to-day decision-making remains a challenge. All too often clinicians are unaware of the available evidence or are uncertain of how to apply it.2

Evidence-based medicine is "the integration of best research evidence with clinical expertise and patient values".3 At the crux of this definition is the application of "best evidence", which is often classified hierarchically (FigureGo).4,5 As one moves down the levels of evidence, from multicentre randomized controlled trials (RCTs) to non-randomized controlled clinical trials, to observational studies, and finally to anecdotal evidence, the certainty of the results and their validity becomes subject to greater limitations inherent in the study design. But, just as one does not dismiss a hotel if it is not "four stars" (especially if it is the only one in town), one does not discount evidence that is not a systematic review or a RCT. Best evidence is the best clinically relevant research evidence available. The challenge is: how do we provide up-to-date information, rated by the quality of the evidence, in a format that is easy to interpret? We believe that publications such as clinical practice guidelines, which systematically review the evidence and translate the results into clinical recommendations, coupled with a simple grading system on the evidence and the strength of recommendations would assist the busy clinician attempting to practice in an evidence-based fashion.


Figure 1
View larger version (21K):
[in this window]
[in a new window]
 
FIGURE Hierarchy of evidence based on the evidence-based medicine framework (adapted with permission from reference 4).

 
Ensuring high quality clinical practice guidelines
Numerous individuals and organizations have promulgated clinical practice guidelines and consensus statements. It is important though to be clear that consensus development is a process for making policy decisions, not a scientific method for creating new knowledge. Translation of knowledge into practice guidelines may improve the quality, appropriateness, and cost-effectiveness of health care, as well as being a valuable educational tool. However, an evaluation of 279 guidelines published in the peer-reviewed medical literature during the past decade found that guidelines did not adhere well to established methodological standards, particularly on the identification, evaluation, and synthesis of the scientific evidence.6 A recent study also suggests the process of guideline development has regressed substantially since the publication of the US Agency for Health Care Policy and Research guidelines.7 Such decline does not bode well for patients or clinicians, both of whom increasingly rely upon clinical practice guidelines to obtain information about proper treatment.7 But, the requirement for clinical trial registration by the International Committee of Medical Journal Editors8 and funding agencies will help identify RCT evidence, hopefully reduce publication bias, and improve the evidence base upon which practice guidelines are based. Other recommendations, such as standardized reporting for clinical practice guidelines will hopefully improve the quality of practice guidelines again.9

Simplifying the grading system
In general, three categories of coding systems are used to communicate grades of evidence and strengths of recommendations: letters, numbers, and composites of letters and numbers.10 None of the systems is highly reproducible nor are they universally usable by all relevant audiences (patients, health care providers, and policy makers).11 When examined critically, there was poor agreement on the sensibility of the six most commonly used grading systems.11 To improve the reliability, sensibility, and utility of grades of evidence and strengths of recommendations, the Grades of Recommendation, Assessment, Development and Evaluation Working Group has developed a grading system that encapsulates the dimensions of study design, study quality, consistency of results, and directness of evidence into universal summary symbols.12 Unlike other systems, the Grades of Recommendation, Assessment, Development and Evaluation system is undergoing evaluation of its reliability, sensibility, and understandability.12 When finalized, hopefully the system will provide a reliable, valid, and standardized method for grading evidence and strength of recommendations.

Ongoing challenges to evidence-based decision making
Clinical practice guidelines will help to integrate the best clinical research evidence into our practice. But there remain limitations. To date, EBM has focused mainly on quantitative evaluation of the effectiveness of interventions.13 For the most part, contributions from biomedical fields such as physiology and pharmacology are underemphasized. The challenges of integrating clinical expertise and patient values, areas better suited to qualitative research, are addressed infrequently.

Nevertheless, EBM has made great strides in increasing the scientific basis of clinical care. The merits, and now the mandate, of an evidence-based approach are increasingly acknowledged in anesthesiology. Recognizing that much evidence does exist, and accepting that the evidence base will never be complete, we should aim toward systematically incorporating best available evidence into our decisions for patient care. Key gaps in the evidence will only be recognized and minimized when we frequently consult the evidence base for answers and make efforts toward targeting future research to narrow the gaps using the most feasible, high-quality research design and clinically relevant outcomes.

Evidence-based clinical updates in the Canadian Journal of Anesthesia
Five years ago, the Journal introduced the "Best Evidence" feature to highlight high-quality studies of relevance to our fellow clinicians.14 To assist the reader again, the Journal is introducing a new feature, "Evidence-Based Clinical Updates", to provide current information on clinically relevant topics in anesthesia, perioperative medicine, pain medicine, or critical care medicine, while weighing the strength of evidence either for or against given diagnostic or therapeutic options. For the present, the Journal has adopted the grading system of the Oxford Centre for Evidence Based Medicine (http://www.cebm.net/levels_of_evidence.asp), which uses numerical levels (1–5) of evidence and letter grades (A–D) for the strength of recommendations. We hope that this feature will be a useful aid in the anesthesiologist’s efforts to transfer clinical research evidence to the bedside.


    La prise de décision fondée sur les preuves : les défis actuels et une nouvelle chronique dans le Journal canadien d’anesthésie
 TOP
 Evidence-based decision making:...
 La prise de decision...
 References
 
Le défi implicite de la déclaration d’Archie Cochrane en 1979 voulant que «c’est sûrement une critique justifiée à notre profession que de reconnaître que nous n’avons pas élaboré de résumé critique, par spécialité ou sous-spécialité, adapté périodiquement, de toutes les études randomisées et contrôlées, valables»1 a suscité l’avènement de la revue systématique et de la méta-analyse en médecine fondée sur les preuves (MFP). L’adoption de la MFP a stimulé la croissance sans précédent d’une approche de la prise de décision fondée sur l’épidémiologie clinique en croyant que cette approche allait se traduire par une meilleure évolution des patients, une plus grande qualité de soins et de prise de décisions pour les cliniciens et une rentabilité améliorée des services de santé. Bien que la MFP ait fait progresser la preuve quantitative sur laquelle fonder les décisions cliniques, l’intégration et l’adaptation de la preuve dans la prise de décision quotidienne sont toujours un défi. Trop souvent, les cliniciens ne connaissent pas la preuve existante ou ne savent pas comment l’appliquer.2

La médecine fondée sur les preuves est «l’intégration de la meilleure preuve expérimentale avec l’expertise clinique et les données des patients».3 Au coeur de cette définition se trouve l’application de la «meilleure preuve», qui est souvent hiérarchisée (voir la FigureGo).4,5 À mesure qu’on va vers un niveau inférieur de preuve, des études randomisées et contrôlées multicentriques (ERC) vers les études cliniques non randomisées contrôlées, puis les études observationnelles et finalement la preuve anecdotique, la certitude des résultats et leur validité sont sujettes aux limites inhérentes liées au modèle de recherche. Mais, de même qu’on ne refuse pas d’aller dans un hôtel s’il n’est pas un «quatre étoiles», surtout si c’est le seul en ville, on n’écarte pas une preuve qui n’est pas issue d’une revue systématique ou d’une ERC. La meilleure preuve est la meilleure recherche disponible qui soit cliniquement pertinente. Le défi est : comment transmettonsnous des informations récentes, cotées par la qualité de la preuve, dans un format facile à interpréter ? Nous croyons que des publications, comme les directives cliniques, qui revoient systématiquement la preuve et traduisent les résultats en recommandations cliniques, associées à un système de classification simple sur la preuve et la puissance des recommandations pourraient aider les cliniciens surchargés qui tentent de pratiquer leur métier en s’appuyant sur les preuves.


Figure 2
View larger version (24K):
[in this window]
[in a new window]
 
FIGURE La hiérarchie dans le cadre de la médecine fondée sur les preuves (adaptation autorisée par les auteurs de la référence 4).

 
Assurer la grande qualité des directives cliniques
De nombreux individus et organisations ont formulé des directives cliniques et des protocoles d’accord. Il est clair que l’élaboration d’un consensus amène des décisions de principe et n’est pas une méthode scientifique de création de nouvelles connaissances. La transposition du savoir en directives cliniques peut améliorer la qualité, le caractère adéquat et la rentabilité des soins de santé, et être aussi un outil pédagogique précieux. Cependant, une évaluation de 279 guides cliniques, publiés dans des revues médicales révisées par des pairs pendant la dernière décennie, a montré que les directives ne se conformaient pas très bien aux normes méthodologiques établies, en particulier sur la désignation, l’évaluation et la synthèse de la preuve scientifique.6 Une récente étude suggère aussi que l’élaboration de directives a substantiellement régressé depuis la publication des US Agency for Health Care Policy and Research guidelines.7 Un déclin semblable est de mauvais augure pour les patients ou les cliniciens, les deux se fiant de plus en plus aux directives cliniques pour obtenir de l’information sur un traitement approprié.7 Mais, la nécessité d’enregistrer les études cliniques, commandée par l’International Committee of Medical Journal Editors8 et les agences de financement, contribuera à identifier les preuves des ERC, à réduire d’une manière encourageante le biais de publication et à améliorer la preuve sur laquelle reposent les directives cliniques. Nous espérons que d’autres recommandations, comme la présentation normalisée des directives cliniques, améliorera encore la qualité des directives cliniques.9

Simplifier la classification
En général, trois catégories de systèmes de codage sont utilisées pour communiquer les degrés de preuve et de puissance des recommandations : des lettres, des nombres et des composés des deux.10 Aucun système n’est hautement reproductible, ni universellement utilisable par tous les destinataires (patients, professionnels de la santé et décideurs).11 Un examen critique révèle qu’il y a peu de concordance sur la sensibilité des six systèmes de codage les plus couramment utilisés.11 Pour améliorer la fiabilité, la sensibilité et l’utilité des degrés de preuve et de puissance des recommandations, le Grades of Recommendation, Assessment, Development and Evaluation Working Group a élaboré un système de codage qui résume les dimensions du modèle d’étude, la qualité de l’étude, la cohérence des résultats et le caractère direct de la preuve en brefs symboles universels.12 Contrairement à d’autres systèmes, le Grades of Recommendation, Assessment, Development and Evaluations system procède à l’évaluation de sa fiabilité, sa sensibilité et son intelligibilité.12 Quand il sera définitif, nous espérons que le système fournira une méthode fiable, valide et normalisée de coder la preuve et la puissance des recommandations.

Les défis constants de la prise de décision fondée sur les preuves
Les directives cliniques vont favoriser l’intégration dans notre pratique de la meilleure preuve de recherche clinique. Mais il y a toujours des limites. Jusqu’à maintenant, la MFP s’est principalement concentrée sur l’évaluation quantitative de l’efficacité des interventions.13 En grande partie, les articles portant sur la physiologie et la pharmacologie sont moins mis en évidence. La réussite de l’intégration de l’expertise clinique et les valeurs du patient, qui servent plutôt à la recherche qualitative, sont des aspects abordés rarement.

Néanmoins, la MFP a enrichi la base scientifique des soins cliniques. Les mérites, et maintenant l’obligation, d’une approche fondée sur les preuves sont de plus en plus reconnus en anesthésiologie. Il y a toujours une meilleure preuve possible et le fondement de la preuve ne sera jamais complet, mais sachant cela, nous devrions viser à intégrer systématiquement la meilleure preuve existante dans nos décisions sur les soins au patient. Les principales lacunes de la preuve seront reconnues et réduites seulement quand nous consulterons fréquemment la banque de preuves pour obtenir des réponses et quand nous ferons des efforts pour viser, lors de futures recherches, à combler les lacunes en utilisant les modèles de recherche de haute qualité les plus pratiques et les paramètres les plus pertinents cliniquement.

Les mises à jour fondées sur les preuves dans le Journal canadien d’anesthésie
Il y a cinq ans, le Journal a introduit la chronique sur la «Meilleure preuve» pour mettre en relief des études de haute qualité pertinentes pour les cliniciens.14 Le Journal crée maintenant une nouvelle chronique, les «Mises à jour cliniques fondées sur les preuves», pour communiquer au lecteur les informations récentes sur des sujets utiles en anesthésie clinique, sur la médecine périopératoire, la douleur ou les soins intensifs, tout en mesurant la puissance de la preuve pour ou contre les choix diagnostiques ou thérapeutiques exprimés. Le Journal a adopté le système de codage du Oxford Centre for Evidence Based Medicine (http://www.cebm.net/levels_of_evidence.asp), qui utilise des niveaux numériques (1–5) de preuve et des codes graphiques (A– D) pour la puissance des recommandations. Nous souhaitons que cette chronique participe aux efforts des anesthésiologistes pour transférer la preuve de la recherche clinique au chevet du malade.


    References
 TOP
 Evidence-based decision making:...
 La prise de decision...
 References
 
1 Cochrane AL. 1931–1971: a critical review, with particular reference to the medical profession. In: Medicines for the Year 2000. London: Office of Health Economics; 1979: 1–11.

2 Guyatt G, Cook D, Haynes B. Evidence based medicine has come a long way. BMJ 2004; 329: 990–1.[Free Full Text]

3 Sackett DL, Strauss SE, Richardson WS, Rosenberg W, Haynes RB. Evidence-Based Medicine. How to Practice and Teach EBM, 2nd ed. Edinburgh: Churchill-Livingstone; 2000.

4 Cheng DC, Martin JE. Raising the bar: a primer on evidence-based decision-making. Semin Cardiothorac Vasc Anesth 2005; 9: 1–4.[Free Full Text]

5 Norris SL, Atkins D. Challenges in using nonrandomized studies in systematic reviews of treatment interventions. Ann Intern Med 2005; 142: 1112–9.[Abstract/Free Full Text]

6 Shaneyfelt TM, Mayo-Smith MF, Rothwangl J. Are guidelines following guidelines? The methodological quality of clinical practice guidelines in the peer-reviewed medical literature. JAMA 1999; 281: 1900–5.[Abstract/Free Full Text]

7 Hasenfeld R, Shekelle PG. Is the methodological quality of guidelines declining in the US? Comparison of the quality of US Agency for Health Care Policy and Research (AHCPR) guidelines with those published subsequently. Qual Saf Health Care 2003; 12: 428–34.[Abstract/Free Full Text]

8 De Angelis C, Drazen JM, Frizelle FA, et al.; International Committee of Medical Journal Editors. Clinical trial registration: a statement from the International Committee of Medical Journal Editors. CMAJ 2004; 171: 606–7.[Free Full Text]

9 Shiffman RN, Shekelle P, Overhage JM, Slutsky J, Grimshaw J, Deshpande AM. Standardized reporting of clinical practice guidelines: a proposal from the Conference on Guideline Standardization. Ann Intern Med 2003; 139: 493–8.[Abstract/Free Full Text]

10 Schünemann HJ, Best D, Vist G, Oxman AD, for the GRADE Working Group. Letters, numbers, symbols and words: how to communicate grades of evidence and recommendations. CMAJ 2003; 169: 677–80.[Abstract/Free Full Text]

11 Atkins D, Eccles M, Flottorp S, et al. and The GRADE Working Group. Systems for grading the quality of evidence and the strength of recommendations I: critical appraisal of existing approaches. The GRADE Working Group. BMC Health Serv Res [serial online] 2004 [cited 2005 October 10]; 4: 38. Available from URL; http://www.biomedcentral.com/1472-6963/4/38.

12 Atkins D, Briss PA, Eccles M, et al. and The GRADE Working Group. Systems for grading the quality of evidence and the strength of recommendations II: pilot study of a new system. BMC Health Serv Res [serial online] 2005 [cited 2005 October 10]; 5: 25. Available from URL; http://www.biomedcentral.com/1472-6963/5/25.

13 Daly J. Evidence-Based Medicine and the Search for a Science of Clinical Care. Berkeley: University of California Press; 2005.

14 Choi PT. Best evidence in anesthetic practice: introducing a new feature in the Canadian Journal of Anesthesia (Editorial). Can J Anesth 2001; 48: 835–9.[Free Full Text]




This article has been cited by other articles:


Home page
Canadian J. AnesthesiaHome page
D. R. Miller and Members of the Canadian Journal of Anesthesia Edit
Canadian Journal of Anesthesia: 2006 and beyond/Le Journal canadien d'anesthesie : 2006 et au dela
Can J Anesth, January 1, 2006; 53(1): 1 - 5.
[Full Text] [PDF]


This Article
Right arrow Full Text (PDF)
Right arrow Submit a scholarly reply
Right arrow Alert me when this article is cited
Right arrow Alert me when eLetters are posted
Right arrow Alert me if a correction is posted
Services
Right arrow Similar articles in this journal
Right arrow Alert me to new issues of the journal
Right arrow Download to citation manager
Right arrow reprints & permissions
Citing Articles
Right arrow Citing Articles via HighWire
Right arrow Citing Articles via Google Scholar
Google Scholar
Right arrow Articles by Cheng, D. C.H.
Right arrow Articles by Choi, P. T.
Right arrow Search for Related Content
PubMed
Right arrow Articles by Cheng, D. C.H.
Right arrow Articles by Choi, P. T.


HOME HELP FEEDBACK SUBSCRIPTIONS ARCHIVE SEARCH TABLE OF CONTENTS