| HOME | HELP | FEEDBACK | SUBSCRIPTIONS | ARCHIVE | SEARCH | TABLE OF CONTENTS |
Editorial |
From the Department of Epidemiology and Community Medicine, Faculty of Medicine, University of Ottawa, Ottawa, Ontario, Canada.
Address correspondence to: Dr. David Moher, Chalmers Research Group, Rm 210, CHEO Research Institute, 401 Smyth Road, Ottawa, Ontario K1H 8L1, Canada. E-mail: dmoher{at}uottawa.ca
 |
Reporting research results: a moral obligation for all researchers |
|---|
 TOP Reporting research results: a... Presenter les resultants de...References |
|---|
"the whole of medicine depends on the transparent reporting of clinical trials"1
SOCIETY often holds in high esteem individuals who present themselves, and their interests, in the most positive and optimistic light even at the expense of deception.2 And it appears that such behaviours are similarly rewarded in the healthcare research community. Statistically positive results, namely, those passing a critical value, arbitrarily set, typically at 5%, enter the holy grail. Statistically negative results, those not passing the arbitrarily set critical value, are important and should be considered equally and reported alongside statistically positive results. Statistically negative results can, and often do, provide important clinical information about the intervention under investigation.
People volunteering to participate in research, particularly those agreeing to be allocated to an intervention, by chance (i.e., randomized), often with potential of substantial health risks, expect that the information gleaned from their involvement will have one of several possible outcomes. Most immediately it might improve their health; and it might provide accumulating information about the benefits and harms of the intervention under consideration. While such expectations are a minimum they can only be realized if the data is actually reported. As we enter a new millennium such minimally reasonable expectations, sadly, do not always happen.
More than 40 years ago a researcher at a Canadian university reviewing the results from 294 reports, published in four leading psychology journals, in 1958, observed that the vast majority of them – 97.3% - reported statistically positive results.3 Extending the study to include 456 reports of research published in three leading healthcare journals, in 1986, provided almost identical results.3 This propensity to report statistically significant results is known as publication bias. The existence of publication bias has been found, repeatedly, for a variety of research designs, including randomized controlled trials, (RCTs) considered an important form of evidence to help healthcare providers and consumers make more informed decision making. We can now say with confidence that this bias is almost ubiquitous across many jurisdictions. In this issue of the Journal, Hall and colleagues provide further evidence of the existence of publication bias, from a large Eastern Canadian region.4
Publication bias has many ways of expressing itself. Approximately 40% of reports initially presented at scientific meetings are not reported as full publications with the biggest publication predictor being whether the conference abstract reports a statistically significant result;5 authors are less likely to write-up for publication the results of statistically negative results;6 such results are less likely to be accepted for publication by journals;6 and journal peer reviewers are more likely to recommend publication of reports with statistically positive results.7 Even when publication is sought, reports with statistically negative results take considerably longer to be published compared to reports with statistically positive results;8 and pharmaceutical companies, who fund a substantial number of RCTs, are more likely to seek publication of results with statistically positive outcomes.9
The dire consequences of publication bias were demonstrated more than 20 years ago. Using a clinical trials registry, containing both published and unpublished reports, Simes10 analyzed trials of alkylating agents compared to multiple agent chemotherapy for the treatment of ovarian cancer. Statistically synthesizing the results of published trials yielded a result in favour of multi-agent therapy. When the statistical synthesis included both published and unpublished trial reports the benefits of multi-agent therapy were no longer apparent, providing healthcare providers with differing and opposing estimates of the purported effectiveness of a cancer treatment.
While this form of publication bias is concerned with issues pertaining to the publication of full reports, an equally sinister form of this bias – outcome reporting bias – appears rampant. Outcome reporting bias (i.e., within study) occurs when authors select specific outcomes to include in the report of their research; such selection is associated with those outcomes that appear to reach statistical significance.
Using a database of funded research within the Canadian Institutes of Health Research Chan and colleagues identified 48 RCT protocols and 68 associated publications.11 After comparing the protocols and full publications they reported that 40% (19/48) contained major discrepancies between the stated primary outcome in the protocol and that of the full publication. While there are legitimate reasons for some differences between protocols and full publications these authors were unable to identify mention of any modification of the primary outcome. These disturbing results have been reported in other jurisdictions.12,13
The most obvious implication of publication bias is that important information, particularly concerning less effective treatments, and harms, are kept hidden from public view. Selective reporting, regardless of whether it is a full report or selective outcomes within a report, will provide bias estimates of an intervention’s effectiveness. Systematic reviewers, whose motus operandi is to synthesize all available data, will produce biased estimates should their review only include statistically positive results. And they are not the only ones who will run into problems because of publication bias. Clinical practice guideline developers often use the results of a systematic review as a starting point to develop evidence-based practice guidelines. If the systematic review is biased it might invalidate the clinical practice guideline. At the other end of the research spectrum granting agencies are starting to ask clinical trialists for a systematic review as evidence for the rationale for a proposed trial. A biased systematic review – only including reports of trials with statistically positive results – might invalidate the rationale for conducting RCTs.
Reporting research results has little to do with science and everything to do with upholding a moral obligation. In some ways a researcher’s most important role is to be an intermediary between participants who provide the data about benefits and harms of an intervention, and interested readers wanting to know about all the study results and not just the statistically positive results. Failing to meet this obligation is a failure to honour research participants and everybody interested in results of research. It should not be tolerated. All researchers should transparently report all results, both statistically positive and negative; all research undertaken must be written up and made publicly available to interested groups.
There are several steps to help achieve the goal of full reporting of all research results. All research training programs should be required to review the data on publication bias and its consequences. Students should be exposed to the moral obligation of reporting all research results.
Despite calls10 for and considerable efforts to register RCTs14 over the last 20 years, this initiative has only recently started to gain more global support and traction. Much of this success has to do with a lawyer outraged by the bad behaviour of a pharmaceutical company. Selective serotonin reuptake inhibitors (SSRI) are a commonly used class of antidepressants to treat major depression in children. Yet there was concern that use of these drugs was associated with increases in the risk of suicide. In a systematic review published in 2004 Whittington and colleagues showed15 that limiting the evaluation to published reports provided support for the use of Paxil, a commonly prescribed SSRI. However, when unpublished data were included in the review, it tipped the harm/benefit balance and did not support the use of the drug. Eliot Spitzer, at the time, New York State’s attorney general stated16 that the makers of Paxil, GlaxoSmithKline, "deprived physicians of the information needed to evaluate the risks and benefits or prescribing Paxil for children and adolescents with moderate depressive disorder".
In 2004 the International Committee of Medical Journal Editors indicated that as of July 2005 their respective journals would not consider publishing reports of RCTs unless they were registered, including a trial registration number, at inception.17 There are likely hundreds of clinical trial registries in existence and the World Health Organization is spearheading an initiative to bring some standardization to what registers might consider pertinent information to ask for during the registration process.18 A recent editorial in the New England Journal of Medicine suggests that their journal is serious about enforcing the requirement of trial registration.19 It is hoped that by having a trial registration number interested readers will be able to access the results of all randomized trials and thus minimize or avoid full report publication bias.
Researchers are largely responsible for all forms of publication bias. They are also uniquely positioned to help resolve the problem. It requires a moral obligation to honour volunteer participation in acquiring data by ensuring that all research is published, not simply statistically positive results.
|
Présenter les resultants de recherche : une obligation morale pour tous les chercheurs |
|---|
|
TOPReporting research results: a...Presenter les resultants de...References |
|---|
"the whole of medicine depends on the transparent reporting of clinical trials"1
La société accorde en général une haute estime aux individus qui se présentent eux-mêmes, et leurs intérêts, sous un jour très positif et optimiste, même si cela implique de la tromperie.2 Il semble que de tels comportements soient également valorisés dans le milieu de la recherche en santé. Des résultats statistiquement positifs, nommément ceux qui dépassent une valeur critique arbitrairement établie, typiquement à 5 %, entrent dans le saint graal. Des résultats statistiquement négatifs, c’est-à-dire ceux qui ne dépassent pas la valeur critique arbitrairement établie, sont importants et méritent la même considération que des résultats statistiquement positifs, et devraient dès lors être rapportés à leurs côtés. Les résultats statistiquement négatifs peuvent, comme c’est souvent le cas, fournir des informations cliniques importantes au sujet de l’intervention en question dans la recherche.
Les patients se portant volontaires pour la recherche, et plus particulièrement ceux qui consentent à être répartis, au hasard (c.-à-d. randomisés), pour une intervention impliquant souvent des risques potentiellement substantiels pour la santé, s’attendent à ce que les informations glanées grâce à leur participation aient l’un de plusieurs effets possibles. En premier lieu, cela pourrait améliorer leur santé ; puis cela pourrait fournir des informations s’accumulant sur les bienfaits et méfaits de l’intervention en question. Bien que de telles attentes soient un minimum, elles ne peuvent être comblées que si les données sont effectivement rapportées. Malheureusement, alors que nous entrons dans un nouveau millénaire, de telles attentes raisonnables et si minimales ne sont pas toujours satisfaites.
Il y a plus de quarante ans, en 1958, un chercheur d’une université canadienne, passant en revue les résultats de 294 rapports publiés dans quatre des plus importantes revues de psychologie, a observé que la vaste majorité de ces études – 97,3 % – rendaient compte de résultats statistiquement positifs.3 En 1986, une étude incluant 456 rapports de recherche publiés dans trois des principales revues de médecine est parvenue à des résultats quasiment identiques.3 Cette tendance à rapporter des résultats statistiquement significatifs est connue sous le nom de biais de publication. L’existence du biais de publication a été observée à maintes reprises dans une diversité de devis de recherche, y compris dans les études randomisées et contrôlées (RCT), considérées une importante source de données probantes afin d’aider les professionnels de la santé ainsi que les consommateurs à prendre des décisions plus informées. Nous pouvons désormais affirmer en toute confiance que ce biais est quasiment omniprésent dans de nombreuses juridictions. Dans ce numéro du Journal, Hall et coll. fournissent des preuves supplémentaires de l’existence du biais de publication dans une vaste région de l’Est canadien.4
Le biais de publication s’exprime de nombreuses façons. Environ 40 % des comptes rendus présentés en premier lieu lors de réunions scientifiques ne font pas l’objet d’une publication complète, le plus grand indicateur de publication reposant sur le fait que le résumé de la conférence fait état de résultats statistiquement significatifs;5 les auteurs ont moins tendance à rédiger un compte rendu de résultats statistiquement négatifs pour fins de publication ;6 de tels résultats ont moins de chance d’être acceptés et publiés par les revues ;6 et les comités de lecture des revues recommanderont plus facilement la publication de comptes rendus de résultats statistiquement positifs.7 Même lorsque l’on persiste à publier, les comptes rendus de résultats statistiquement négatifs prennent bien plus longtemps à être publiés que ceux contenant des résultats statistiquement positifs ;8 enfin, les sociétés pharmaceutiques, qui subventionnent un nombre important de RCT, ont davantage tendance à vouloir voir publiés des résultats statistiquement positifs.9
Les conséquences désastreuses du biais de publication ont été démontrées il y a plus de vingt ans. Se basant sur un registre des études cliniques incluant les comptes rendus publiés et non publiés, Simes10 a analysé les études portant sur l’utilisation d’alkylants ou de chimiothérapie à agents multiples dans le traitement du cancer des ovaires. La synthèse statistique des résultats des études publiées a abouti à un résultat en faveur de la thérapie à agents multiples. Lorsque la synthèse a inclus les études publiées et non publiées, les bienfaits de la thérapie à agents multiples n’étaient plus apparents, procurant au personnel soignant des estimations divergentes et contradictoires sur la prétendue efficacité d’un traitement contre le cancer.
Alors que cette forme de biais de publication porte sur des questions se rattachant à la publication de comptes rendus complets, une autre forme tout aussi désastreuse de ce biais – le rapport incomplet de résultats importants – semble endémique. Le rapport incomplet de résultats importants (c.-à-d. au sein même d’une étude) a lieu lorsque les auteurs choisissent des résultats spécifiques à inclure dans le compte rendu de leurs recherches ; une telle sélection se fait en faveur de résultats semblant atteindre une importance statistique.
S’appuyant sur une base de données des recherches subventionnées au sein des Instituts de recherche en santé du Canada, Chan et coll. ont identifié 48 protocoles de RCT et 68 publications associées.11 Après avoir comparé les protocoles et les publications complètes, ils ont rapporté que dans 40 % (19/48) des cas, des divergences majeures entre la mesure primaire prévue dans le protocole et celle de l’article final étaient apparentes. Bien que certaines raisons légitiment quelques différences entre les protocoles et l’article qui en résulte, ces auteurs n’ont su identifier aucune mention de modification de la mesure primaire. Ces résultats troublants ont également été rapportés dans d’autres juridictions.12,13
L’implication la plus évidente découlant du biais de publication est le fait que d’importantes informations concernant en particulier des traitements moins efficaces et les complications sont cachées du public. Le fait de rapporter des résultats de manière sélective, que ce soit dans un compte rendu complet ou dans des résultats sélectifs dans un compte rendu, fournira des données approximatives et biaisées quant à l’efficacité d’une intervention. Les évaluations systématiques, dont le but est de synthétiser toutes les données disponibles, fourniront des estimations biaisées si elles ne contiennent que des résultats statistiquement positifs. Et ce n’est pas le seul problème à survenir à cause du biais de publication. Les personnes développant les directives pour la pratique clinique se servent fréquemment des résultats d’une révision systématique comme point de départ pour le développement de directives pour la pratique basées sur des données probantes. Si l’évaluation systématique est biaisée, cela peut invalider une directive pour la pratique clinique. A l’autre extrémité du spectre de la recherche, les organismes subventionnaires commencent à demander aux personnes effectuant des études cliniques une évaluation systématique comme preuve du bien fondé de l’étude proposée. Une évaluation systématique biaisée – incluant seulement des comptes rendus d’études aux résultats statistiquement positifs – pourrait invalider le bien fondé de mener des RCT.
Le fait de rapporter des résultats de recherche n’a pas grand-chose à voir avec la science, mais beaucoup à voir avec le maintien d’une obligation morale. D’une certaine manière, le rôle le plus important du chercheur est de servir d’intermédiaire entre les personnes participant à une étude, qui fournissent des données quant aux bienfaits ou méfaits d’une intervention, et les lecteurs intéressés, désireux de tout connaître des résultats de l’étude, pas uniquement les résultats statistiquement positifs. Ne pas respecter cette obligation est un manque de respect à l’égard des participants à la recherche ainsi qu’envers chaque personne s’intéressant aux résultats de la recherche ; ceci ne devrait pas être toléré. Tous les chercheurs devraient rendre compte de tous leurs résultats de façon transparente, qu’ils soient statistiquement positifs ou négatifs ; toute recherche entreprise devrait faire l’objet d’un compte rendu écrit et publiquement disponible pour tout groupe intéressé.
De nombreuses étapes sont nécessaires pour atteindre l’objectif de transparence complète des résultats de recherche. Tous les programmes de formation en recherche devraient examiner les données concernant le biais de publication et ses conséquences. Les étudiants devraient être sensibilisés à l’obligation morale de rapporter tous les résultats de recherche.
Malgré des appels10 et de nombreux efforts pour l’enregistrement des RCT14 durant ces vingt dernières années, cette initiative n’a que récemment commencé à provoquer un soutien et une mobilisation à l’échelle mondiale. Ce succès doit beaucoup à un avocat indigné par le mauvais comportement d’une société pharmaceutique. Les inhibiteurs sélectifs de la recapture de la sérotonine (ISRS) sont une classe d’antidépresseurs communément utilisés pour le traitement de la dépression majeure chez les enfants. Toutefois, il existait une inquiétude quant à la relation possible entre l’utilisation de ces médicaments et l’augmentation des risques de suicide. Dans une évaluation systématique publiée en 2004, Whittington et coll.15 ont démontré que, si l’évaluation se limitait aux comptes rendus publiés, l’utilisation de Paxil, un ISRS communément prescrit, était recommandée. Toutefois, si l’évaluation incluait les données non publiées, l’équilibre entre bénéfices et risques était rompu et l’utilisation de ce médicament n’était pas recommandée. Eliot Spitzer, alors Procureur Général pour l’État de New York, a déclaré16 que le fabricant du Paxil, GlaxoSmithKline, « privait les médecins de l’information nécessaire à l’évaluation des risques et bienfaits de la prescription de Paxil aux enfants et adolescents souffrant de troubles dépressifs modérés ».
En 2004, le Comité international des rédacteurs de revues médicales (ICMJE) a annoncé que, dès juillet 2005, leurs revues respectives ne publieraient pas de comptes rendus de RCT non enregistrés, comprenant un numéro d’enregistrement de l’étude obtenu à son début.17 Il existe probablement des centaines de registres d’études cliniques et l’Organisation mondiale de la Santé est le fer de lance d’une initiative visant à standardiser les informations considérées pertinentes à exiger pendant le processus d’enregistrement.18 Un éditorial récent du New England Journal of Medicine suggère que leur journal prend très au sérieux l’exigence d’enregistrement des études.19 Il est à espérer que le fait d’avoir un numéro d’enregistrement des études permettra aux lecteurs intéressés d’avoir accès aux résultats de toutes les études randomisées, minimisant ou évitant ainsi le biais de publication pour les comptes rendus complets.
Les chercheurs sont en grande partie responsables de toutes les formes de biais de publication. Ils occupent également une position privilégiée dans la résolution du problème. Une obligation morale est nécessaire afin d’honorer la participation de volontaires pour l’acquisition de données en s’assurant que toutes les recherches sont publiées, et non pas uniquement les résultats statistiquement positifs.
|
Footnotes |
|---|
|
References |
|---|
|
TOPReporting research results: a...Presenter les resultants de...References |
|---|
2 Enron. Available from URL; http://en.wikipedia.org/wiki/Enron (accessed, 31st January 2007).
3 Sterling TD, Rosenbaum WL, Weinkam JJ. Publication decisions revisited: the effect of the outcome of statistical tests on the decision to publish and vice versa. Am Stat 1995; 49: 108–12.
4 Hall R, de Antueno C, Webber A. Publication bias in the medical literature: a review by a Canadian Research Ethics Board. Can J Anesth 2007; 54: 380–8.
5 Scherer RW, Dickersin K, Langenberg P. Full publication of results initially presented in abstracts. A meta-analysis. JAMA 1994; 272: 158–62.[Abstract]
6 Dickersin K. Publication bias: recognizing the problem, understanding its origins and scope, and preventing harm. In: Rothstein H, Sutton AJ, Borenstein M (Eds). Publication Bias in Meta-Analysis – Prevention, Assessment and Adjustments. Chichester, England: John Wiley & Sons; 2005: 11–33.
7 Mahoney MJ. Publication prejudices: an experimental study of confirmatory bias in the peer review system. Cognit Ther Res 1977; 1: 161–75.
8 Stern JM, Simes RJ. Publication bias: evidence of delayed publication in a cohort study of clinical research projects. BMJ 1997; 315: 640–5.
9 Lexchin J, Bero LA, Djulbegovic B, Clark O. Pharmaceutical industry sponsorship and research outcome and quality: systematic review. BMJ 2003; 326: 1167–70.
10 Simes RJ. Publication bias: the case for an international registry of clinical trials. J Clin Oncol 1986; 4: 1529– 41.
11 Chan AW, Krleza-Jeric K, Schmid I, Altman DG. Outcome reporting bias in randomized trials funded by the Canadian Institutes of Health Research. CMAJ 2004; 171: 735–40.
12 Chan AW, Hrobjartsson A, Haahr MT, Gotzsche PC, Altman DG. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA 2004; 291: 2457–65.
13 Pildal J, Chan AW, Hrobjartsson A, Forfang E, Altman DG, Gotzsche PC. Comparison of descriptions of allocation concealment in trial protocols and the published reports: cohort study. BMJ 2005; 330: 1049.
14 Easterbrook PJ. Directory of registries of clinical trials. Stat Med 1992; 11: 345–59.[Medline]
15 Whittington CJ, Kendall T, Fonagy P, Cottrell D, Cotgrove A, Boddington E. Selective serotonin reuptake inhibitors in childhood depression: systematic review of published versus unpublished data. Lancet 2004; 363: 1341–5.[Medline]
16 New York State. Press releases. Available from URL; http://www.oag.state.ny.us/press/2004/aug/aug26a_04.html (accessed, January 31st 2007).
17 Deangelis CD, Drazen JM, Frizelle FA, et al.; International Committee of Medical Journal Editors. Is this clinical trial fully registered? A statement from the International Committee of Medical Journal Editors. JAMA 2005; 293: 2927–9.
18 World Health Organization. International Clinical Trials Registry Platform. Available from URL; http://www.who.int/ictrp/en/ (accessed 31st January 2007).
19 Drazen JM, Zarin DA. Salvation by registration. N Engl J Med 2007; 356: 184–5.
Related articles in CJA:
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| HOME | HELP | FEEDBACK | SUBSCRIPTIONS | ARCHIVE | SEARCH | TABLE OF CONTENTS |
