| HOME | HELP | FEEDBACK | SUBSCRIPTIONS | ARCHIVE | SEARCH | TABLE OF CONTENTS |
Editorial |
From the Department of Journalism, Texas A&M University, Texas, USA.
Dr. Barbara Gastel, Associate Professor of Journalism and of Humanities in Medicine, Department of Journalism, Texas A&M University, 4111 TAMU College Station, Texas 77843-4111, USA. Phone: 979-845-6887; Fax: 979-845-5408; E-mail: b-gastel{at}tamu.edu
 |
Introduction |
|---|
 TOP Introduction References |
|---|
As noted by Eugene Garfield, who in the early 1960s with Irving H. Sher developed the journal impact factor,2 the impact factor of a journal is obtained by "dividing citations received in one year by papers published in the two previous years".3 In other words, the impact factor of a journal reflects how frequently, on average, items in the journal are cited in print over the relatively short term. In a self-reinforcing pattern, journals with high impact factors tend to be prestigious, selective, and widely available in libraries. English-language journals dominate the high-impact ranks.
Investigators in some countries with native languages other than English seem to attach particular value to publishing in journals with high impact factors. Such publication may be seen as establishing that the investigator's work is indeed "world class". It also promotes international visibility of the work. One set of authors has speculated that the relative objectivity of the impact factor may especially appeal to European researchers because of the "history of favoritism, nepotism, and social-rank privileges" in deciding on academic appointments, promotions, and research funding in Europe.4
The impact factor also has other appeals. As noted by some respondents to the survey reported in this issue,1 the impact factor is easy to use. Indeed, obtaining the impact factors of journals in which a candidate has published, like counting the candidate's publications, is much easier than actually reading and evaluating the publications. Also, although in fact the dynamics of citation vary among disciplines,2 use of the impact factor, or of rankings of journals by impact factors, may seem to allow the quality of work by researchers in different fields to be compared.
However, the impact factor has substantial limitations as a means of estimating quality and influence of an investigator's work. Within a given journal with a high impact factor, citation rates of individual articles can vary widely, with some articles being cited very heavily and others hardly at all;5 a much more valid, although much more demanding, approach is to count the citations of the investigator's articles and ideally also to ascertain the nature of those citations. Also, impact factor is a relatively short-term measure. Various other limitations, methodologic and otherwise, have been noted.1–6
The impact factor gauges only a limited type of impact: that reflected by citation in the scientific literature. It does not, for example, indicate how much, if at all, an article has influenced clinical practice. To prevent construing the "impact" in "impact factor" too broadly, some authors have suggested replacing "impact factor" with more specific terms, such as "bibliographic impact factor"6 or "citation rate index".4
Ironically, sometimes publication in a journal with a higher impact factor might decrease the impact, in an everyday sense, of an investigator's work. For example, publication in a research journal with a higher impact factor but lower readership among clinicians might affect practice less than would publication in a well-targeted clinical journal. Also, in many countries including some European countries represented in the survey reported in this issue1 papers relating to medicine in that country might affect practice and policy more if published in that country, in the native language of most of that country's practitioners. As stated by the scientific editor of the Nederlands Tijdschrift voor Geneeskunde (Dutch Journal of Medicine), "Research of a national scope, with national consequences, and financed with community funds should be published in the national native language".7
Perhaps especially in clinical fields, assessment of an investigator's body of work requires venturing beyond publication counts and impact factors to consider other indicators of visibility and influence. Even Garfield, whose name is widely linked with the impact factor, has warned against using the impact factor as a surrogate for fuller assessment when evaluating the performance of faculty members.3
In addition to looking at journal impact factors and citation analyses of individual articles, what might be done to help determine whether an investigator's publications have indeed had impact? Below are some questions to consider in such an assessment. Admittedly, addressing these questions can be difficult. However, even partial answers could be of substantial value.
One question: have publications by the investigator been used in developing clinical policy statements from highly regarded bodies and in preparing other documents for use in evidence-based medicine? Researchers recently analyzed journal citations in the Cochrane Database of Systematic Reviews, American Academy of Pediatrics policy statements, and Canadian Paediatric Society statements to determine which journals tend to contain the best evidence in pediatrics;8 analogously, citations of work by an investigator could be sought in such documents in the investigator's specialty. More difficult to determine: has publication of work by the investigator been associated with actual changes in practice?
Also, are articles by the investigator being obtained, read, and discussed? For example: if the articles are available electronically, are they being accessed? How long are users looking at them, and are users printing them out? If the articles are not widely available on the Internet or in local medical libraries, are they being ordered through interlibrary loan or services such as Loansome Doc?9 Are the articles entering "reprint files"? Are they being discussed in electronic-mail discussion groups in relevant specialties? And are they being cited in the clinical setting?
Are the investigator's articles being picked up by secondary sources? For instance: are they summarized in newsletters intended to help clinicians keep up with the literature? Are they being highlighted in online medical resources? Are abstracts of the articles being reprinted in other journals? Are the articles being cited in textbooks and other teaching materials?
Are articles by the investigator being used in education? In particular: have they been discussed in journal clubs? Assigned to medical students or other trainees? Used in continuing medical education programs? Mentioned in lectures at various levels?
Have publications by the investigator received attention in the popular media? Granted, many factors other than the importance of the research can influence whether an article receives coverage; such factors include how avidly the investigator's institution and the journal seek publicity, what other items are competing for attention, and whether the topic is of broad popular interest. Nevertheless, coverage in the popular media can suggest in part the public importance and potential impact of the work. Evidence exists that attention in major national media can increase fellow medical investigators' awareness of research.10
Physician and editor Phil B. Fontanarosa, of JAMA: the Journal of the American Medical Association, has argued well against journals' placing extreme emphasis on their impact factors:
Editors of clinical journals generally should not become excessively concerned about impact factors, but rather, they should focus on identifying the best scientific information available, subjecting it to rigorous peer review and careful editorial evaluation, and then, as merited, delivering new and important knowledge to their readers in a practical, meaningful, and reader-friendly manner. Doing so should effectively increase the quality, utility, and scientific content of a medical journal, and also should firmly establish critical journal factors that will make a true impact on clinician-readers, authors, researchers, and ultimately, on patient care.
Although journals following this advice might not necessarily have the highest impact factors, clinical investigators publishing in them seem likely to rate well regarding broader indications of impact such as those reflected in the questions above.
In sum, although impact factors of journals can serve as one useful indicator of the quality, importance, and influence of a candidate's research, they are by no means definitive in this regard. With creativity and energy, anesthesiologists and others can move beyond impact factors to assess more fully and validly the impact of their own work and their colleagues' work.
Les facteurs d'impact des revues dans lesquelles les candidats publient des articles servent souvent de critères à une nomination académique, à une promotion et au financement de la recherche en anesthé- siologie selon une enquête citée dans le présent numéro du Journal.1 Les résultats de l'enquête indiquent que cette situation semble particulièrement avérée en Europe. Le fait de connaître les facteurs d'impact des sites de publication peut certainement contribuer à assurer la qualité scientifique du travail des chercheurs. Cependant, pour évaluer véritablement l'importance et l'influence de ce travail, il faut aussi examiner plus que le facteur d'impact.
Comme l'a noté Eugene Garfield qui, avec Irving H. Sher, a mis au point le facteur d'impact d'une revue au début des années 1960,2 on obtient le facteur d'impact d'une revue en "divisant le nombre de citations reçues en un an par le nombre d'articles publiés pendant les deux années précédentes".3 Autrement dit, le facteur d'impact d'une revue montre à quelle fréquence, en moyenne, les articles de la revue sont cités dans les publications à plus ou moins court terme. Selon un modèle d'autorenforcement, les revues qui ont d'importants facteurs d'impact sont généralement prestigieuses, sélectives et largement distribuées dans les bibliothèques. Les revues de langue anglaise arrivent au premier rang des publications à impact important.
Les chercheurs de certains pays dont la langue est autre que l'anglais semblent attacher une valeur particulière à la publication dans des revues à importants facteurs d'impact. Cet événement confirme le "niveau international" du travail du chercheur et en favorise la visibilité à travers le monde. Un ensemble d'auteurs a supposé que la relative objectivité du facteur d'impact pourrait attirer particulièrement les chercheurs européens, étant donné "l'histoire de favoritisme, de népotisme et de privilèges rattachés au rang social" lors des nominations académiques, des promotions et du financement de la recherche.4
Le facteur d'impact a aussi d'autres attraits. Comme l'affirment certains répondants à l'enquête,1 c'est un facteur facile à utiliser. En effet, obtenir les facteurs d'impact de revues dans lesquelles un candidat a publié, et compter les publications du candidat, est plus facile que de lire et d'évaluer les publications. Aussi, quoique la dynamique de citation varie selon les disciplines,2 l'usage du facteur d'impact, ou de la classification des revues par facteurs d'impact, peut laisser croire qu'il permet de comparer la qualité de travail des chercheurs de différentes disciplines.
Toutefois, le facteur d'impact a d'importantes limites comme moyen d'évaluation de la qualité et de l'influence du travail d'un chercheur. Dans une revue donnée dont le facteur d'impact est important, les taux de citation d'articles individuels peuvent varier beaucoup, certains articles étant cités très souvent et d'autres presque pas;5 une démarche beaucoup plus fiable, mais plus exigeante, est de calculer les citations d'articles du chercheur et, idéalement, de vérifier aussi la nature de ces citations. En plus, le facteur d'impact est une mesure relativement de court terme. D'autres limites, méthodologiques et autres, ont aussi été notées.1–6
Le facteur d'impact ne mesure qu'un genre limité d'impact : celui qui s'exprime par citation dans la littérature scientifique. Par exemple, il n'indique pas comment un article influence la pratique clinique. Pour éviter une trop large interprétation de "l'impact" du "facteur d'impact", certains auteurs ont suggéré de remplacer le "facteur d'impact" par des termes plus spécifiques comme "facteur d'impact bibliographique"6 ou "indice du taux de citation".4
Ironiquement, la publication dans une revue à facteur d'impact important peut quelquefois diminuer l'impact, au sens quotidien, du travail d'un chercheur. Ainsi, la publication dans une revue de recherche à d'impact élevé, mais à faible lectorat de cliniciens, peut avoir moins d'effet sur la pratique qu'une publication dans une revue clinique bien ciblée. De plus, dans de nombreux pays comprenant certains pays d'Europe représentés dans l'enquête,1 les articles relatifs à la médecine du pays peuvent influencer davantage la pratique et l'orientation s'ils sont publiés dans ce pays et dans la langue nationale de la majorité des médecins. Comme l'a déclaré le directeur scientifique du Nederlands Tijdschrift voor Geneeskunde (Revue néerlandaise de médecine), "La recherche de portée nationale, dont les conséquences sont nationales et qui est financée par les fonds de la communauté devrait être publiée dans la langue officielle du pays".7
Dans le domaine clinique en particulier, l'évaluation des principaux travaux d'un chercheur exige de s'aventurer plus loin que le décompte des publications et les facteurs d'impact et de considérer d'autres indicateurs de visibilité et d'influence. Même Garfield, dont le nom est largement associé au facteur d'impact, a mis en garde contre l'utilisation du facteur d'impact comme substitut d'une évaluation plus complète de la performance des membres du professorat universitaire.3
En plus de vérifier les facteurs d'impact et les analyses de citations d'articles individuels, que peut-on faire pour déterminer si les publications d'un chercheur ont réellement eu un impact? Voici certaines questions à poser au moment de faire cette évaluation. Reconnaissons qu'il peut être difficile de les poser, mais même des réponses partielles peuvent avoir une grande valeur.
Les publications du chercheur ont-elles été utilisées pour produire des énoncés de principes cliniques d'organismes ayant une bonne cote et pour préparer d'autres documents utiles à la médecine fondée sur l'expérience clinique ? Des chercheurs ont récemment analysé les citations de revues de la Cochrane Database of Systematic Reviews, des déclarations de principe de l'American Academy of Pediatrics et de la Société canadienne de pédiatrie afin de déterminer quelles revues semblent présenter la meilleure preuve en pédiatrie;8 d'une manière analogue, les citations de travaux par un expert peuvent être recherchées dans des documents semblables de la spécialité de l'expert. Plus difficile à déterminer cette fois : est-ce que la publication des travaux du chercheur a été associée à de véritables changements de pratique ?
Aussi, les articles du chercheur ont-ils été distribués, lus, discutés ? Par exemple : si les articles sont disponibles en ligne, ont-ils été consultés ? Combien de temps les utilisateurs les ont-ils lus, et les ont-ils imprimés ? Si les articles ne sont pas largement diffusés sur Internet ou dans des bibliothèques médicales locales, ont-ils été commandés par prêt ou services entre bibliothèques comme le Loansome Doc ?9 Ont-ils été consignés dans les "tirés à part" ? Ont-ils été débattus en ligne par des groupes de discussion des spécialités appropriées ? Ont-ils été cités en clinique ?
Les articles du chercheur ont-ils été repris par des sources secondaires ? Notamment : ont-ils été résumés dans des bulletins d'information conçus pour aider les cliniciens à garder leurs connaissances à jour ? Ont-ils été soulignés dans les ressources médicales en ligne ? Les résumés des articles paraissent-ils dans d'autres revues ? Les articles sont-ils cités dans des manuels ou autre matériel d'enseignement ?
Ont-ils été utilisés pour la formation ? En particulier : ont-ils été discutés dans un journal club ? Assignés à des étudiants en médecine ou à d'autres stagiaires ? Utilisés dans des programmes de formation médicale continue ? Mentionnés dans des cours à différents niveaux ?
Les publications ont-elles retenu l'attention des médias populaires ? Soit, de nombreux facteurs autre que l'importance de la recherche peuvent influencer la diffusion d'un article ; entre autres, l'institution et la revue recherchent-ils avidement de la publicité, quels articles lui font compétition et le sujet sert-il le grand public ? Néanmoins, la couverture par un média populaire peut laisser entrevoir en partie l'importance publique et l'influence potentielle de la recherche. On a la preuve que l'attention portée par un média national peut faire mieux connaître la recherche aux experts médicaux.10
Médecin et directeur du JAMA : le Journal of the American Medical Association, Phil B. Fontanarosa s'est élevé contre l'accent mis par les revues sur leurs facteurs d'impact :
Les directeurs de revues cliniques ne devraient généralement pas se préoccuper beaucoup des facteurs d'impact, mais plutôt s'attacher à découvrir la meilleure information scientifique disponible en la soumettant à un rigoureux examen par des pairs et à une évaluation méticuleuse de la rédaction, et objectivement, à fournir les connaissances nouvelles et importantes aux lecteurs d'une manière pratique, significative et conviviale. Ce faisant, on augmente efficacement la qualité, l'utilité et le contenu scientifique d'une revue médicale et établit fermement les facteurs critiques de la revue qui auront un véritable impact sur les médecins lecteurs, les auteurs, les chercheurs et, en définitive, sur les soins au patient.
Bien que les revues qui suivent cette indication n'aient pas nécessairement les plus importants facteurs d'impact, les chercheurs cliniques qui y publient semblent bien se classer en regard des indications plus larges d'influence exprimées dans les questions précédentes.
En somme, même si les facteurs d'impact de revues peuvent servir d'indicateur utile de la qualité, de l'importance et de l'influence de la recherche d'un candidat, ils ne sont en aucune manière définitifs à cet égard. C'est avec créativité et énergie que les anesthésiologistes et d'autres pourront regarder plus loin que les facteurs d'impact et évaluer plus complètement et valablement l'influence de leur propre travail et de celui de leurs collègues.
|
References |
|---|
|
TOPIntroductionReferences |
|---|
2
Garfield E. Journal impact factor: a brief review. CMAJ 1999; 161: 979–80.
3
Garfield E. How can impact factors be improved? BMJ 1996; 313: 411–3.
4 Hecht F, Hecht BK, Sandberg AA. The journal "impact factor": a misnamed, misleading, misused measure. Cancer Genet Cytogenet 1998; 104: 77–81.[Medline]
5
Seglen PO. Why the impact factor of journals should not be used for evaluating research. BMJ 1997; 314: 498–502.
6 Porta M. The bibliographic "impact factor" of the Institute for Scientific Information: how relevant is it really for public health journals? J Epidemiol Commun Health 1996; 50: 606–10.[Medline]
7 Walvoort HC. Scientific editing around the globe: Nederlands Tijdschrift voor Geneeskunde (Dutch Journal of Medicine). Science Editor 2001; 24: 84–5.
8
Birken CS, Parkin PC. In which journals will pediatricians find the best evidence for clinical practice? Pediatrics 1999; 103: 941–7.
9 Fact sheet. Loansome Doc®. A document ordering feature of PubMed® (Internet). Bethesda, MD: US National Library of Medicine; (last updated 2001 May 8; cited 2001 May 18). Available from: http://www.nlm.nih.gov/pubs/factsheets/loansome_doc.html.
10 Phillips DP, Kanter EJ, Bednarczyk B, Tastad PL. Importance of the lay press in the transmission of medical knowledge to the scientific community. N Engl J Med 1991; 325: 1180–3.[Abstract]
11 Fontanarosa PB. Impact factors and emergency medicine journals. Ann Emerg Med 1998; 31: 107–9.[Medline]
This article has been cited by other articles:
 |
|
 |
|
  G. Holden, G. Rosenberg, K. Barker, and P. Onghena An Assessment of the Predictive Validity of Impact Factor Scores: Implications for Academic Employment Decisions in Social Work Research on Social Work Practice, November 1, 2006; 16(6): 613 - 624. [Abstract] [PDF]
|
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| HOME | HELP | FEEDBACK | SUBSCRIPTIONS | ARCHIVE | SEARCH | TABLE OF CONTENTS |
