Les mesures des productions scientifiques
Groupe de controverse n°10
L'objectif des indicateurs bibliométriques est de constituer, à partir de données brutes comme le lien citationnel, un nombre donnant de manière absolue une indication sur une entité.
L'un des plus vieux indicateurs bibliométriques est le Journal Impact Factor, introduit au début des années 60 par E. Garfield et Irving H. Sher.
We needed a simple method for comparing journals regardless of their size, and so we created the journal impact factor. (...) A journal’s impact factor is based on 2 elements: the numerator, which is the number of citations in the current year to any items published in a journal in the previous 2 years, and the denominator, which is the number of substantive articles (source items) published in the same 2 years. (...) In addition to helping libraries decide which journals to purchase, journal impact factors are also used by authors to decide where to submit their articles. E. Garfield, "Journal impact factor: a brief review", Canadian Medical Association Journal, 161(8), p.979-80, 1999
Son but premier est donc la sélection des revues par les bibliothécaires et la découverte scientifique. Néanmoins, il est ensuite utilisé pour en évaluer les auteurs :
I first mentioned the idea of an impact factor in 1955. At that time it did not occur to me that it would one day become the subject of widespread controversy. Like nuclear energy, the impact factor has become a mixed blessing. I expected that it would be used constructively while recognizing that in the wrong hands it might be abused. (...) It is one thing to use impact factors to compare journals and quite another to use them to compare authors. E. Garfield, "Journal impact factor: a brief review", Canadian Medical Association Journal, 161(8), p.979-80, 1999
Unlike phrenology, the impact factor has demonstrated utility in informing citation patterns and guiding library purchasing decisions. However, there are increasing concerns that the impact factor is being used inappropriately and in ways not originally envisaged. J.K. Vanclay, Impact factor: Outdated artefact or stepping-stone to journal certification?, Scientometrics (2012)
Cette utilisation du Journal Impact Factor est donc qualifiée de détournée par son créateur. Pourquoi donc les mesures bibliométriques s'orientent-elles vers l'évaluation des entités de la recherche ? En réalité, le besoin d'évaluation est ce qui ressort le plus des demandes d'évaluation dans la presse, et ce dans plusieurs domaines. D'une part, le travail de découverte, évoqué plus haut :
Les citations contextualisent la recherche et aident à orienter le lecteur. Elles permettent au lecteur d'évaluer le travail de l'auteur sur la base de la qualité perçue des références sélectionnées. Et elles permettent au lecteur de retrouver un travail jusque-là inconnu mais potentiellement utile. B. Cronin, « Comment la manie des rankings a atteint le coeur de la recherche ». Le Temps, 24 Octobre 2014.
Mais aussi l'évaluation du mérite d'une entité dans le domaine de la recherche :
On a jugé plus attrayant [que l'enrichissement d'un sujet à partir des conclusions précédentes] de relever l'influence universitaire de certaines personnes dans différents domaines et au fil du temps, et d'identifier de la sorte les scientifiques, documents, revues et institutions le plus souvent cités. » B. Cronin, « Comment la manie des rankings a atteint le coeur de la recherche ». Le Temps, 24 Octobre 2014.
Ou encore, pour des administrations :
Les administrateurs utilisent ces mesures pour évaluer la productivité des personnes qu'elles embauchent et financent, et suivent l'impact en aval des projets de recherche et de développement qu'ils souscrivent, avec peu d'égards pour les limites de ces indices. B. Cronin, « Comment la manie des rankings a atteint le coeur de la recherche ». Le Temps, 24 Octobre 2014.
Les données bibliométriques viennent donc répondre aux demandes de la sphère publique. Néanmoins, certains acteurs du domaine de la recherche dénoncent l'utilisation parfois exclusive des données bibliométriques pour les fins d'évaluation, d'où le premier article de la déclaration DORA de San Francisco, qui se présente comme une initiative mondiale qui propose des recommandations aux différents acteurs du monde de la recherche :
Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions. San Francisco Declaration on Research Assessment, 2013
Cette dernière citation soulève le point important des limites des indices. En effet, les indices sont calculés selon des formules qui peuvent favoriser certaines situations. Par exemple, prenons le cas du h-index, proposé par J.E. Hirsch en 2005 :
A scientist has index h if h of his/her Np papers have at least h citations each, and the other (Np − h) papers have no more than h citations each. J.E. Hirsch, An index to quantify an individual's scientific research output, Proceedings of the National Academy of Sciences, vol. 102, no 46, 16569–16572, 2005
Le h-index a été proposé par J.E. Hirsch à partir de plusieurs constats : lorsqu’on a un chercheur ayant reçu un prix Nobel, aucun doute sur la pertinence de ses travaux de recherche. Mais pour les autres, comment évaluer l’impact et la pertinence de ses travaux ? Parmi les données pouvant être utilisées, on trouve le nombre de publications, le nombre de citations pour une publication précise, les revues dans lesquelles ont été publiés les articles et leur facteur d’impact respectif.
Chacun de ces indicateurs pris individuellement ne convient pas : certains mesurent la productivité seulement et non l’importance des résultats, certains avantagent certaines situations (« découvertes ponctuelles » vs travail sur le long terme, auteur très productif mais peu cité vs auteur peu productif mais très cité…).
L’indice h proposé par J.E. Hirsch mesure convenablement d’après lui l’impact du travail du chercheur, et de plus est facile à calculer (par exemple, dans une base de données telle que le Web of Science, on classe les publications par nombre de citations et on compte). J.E. Hirsch a étudié le h-index pour des physiciens et a constaté que deux chercheurs affichant un h-index semblable ont un impact semblable dans le monde de la recherche.
Après la proposition de J.E. Hirsch, la communauté scientifique s’est penchée sur la question de la pertinence d’un tel indice.
From that seminal paper, a huge amount of research has been lavished, focusing on one hand on the development of correction factors to the h index and on the other hand, on the pros and cons of such measure proposing several possible alternatives. P. Cerchiello, P. Giudici, On a statistical h index. Scientometrics Volume 99, Issue 2, 299-312, 2014
D’autre part, d’autres chercheurs (comme dans la dernière citation) proposent des solutions pour pallier les défauts de cet indicateur. La controverse n’est donc pas forcément agressive mais plus dans une optique d’amélioration.
Néanmoins, la méthode de calcul du h-index est débattue, car ce dernier peut être différent d’une base de donnée à l’autre en raison de leurs bases de données propres, point abordé précédemment.
In several case the results obtained through Google Scholar are considerably different from the results based on the Web of Science and Scopus. Data cleansing is discussed extensively. J. Bar-Ilan, Which h-index? — A comparison of WoS, Scopus and Google Scholar, Scientometrics 74 (2): 257, 2007
La controverse est active notamment dans le domaine des sciences médicales. Par exemple :
Application of the h-index as a bibliometric in neurosurgery can distinguish academic productivity on the basis of academic rank, years posttraining, and neurosurgical subspecialties. The application of the h-index to compare departments is problematic and, at this time, not reliable. (…) We recommend the creation of individual bibliometric profiles to better compare the academic productivity of neurosurgeons. N. Khan, C.J. Thompson, A.F. Choudhri, F.A. Boop, P. Klimo Jr., Part I: The application of the h-index to groups of individuals and departments in academic neurosurgery. World Neurosurgery, Volume 80, Issue 6, Pages 759-765.e3, 2013
Il existe des désaccords sur l’usage de tel ou tel indice. Par exemple, L. Egghe publie des articles poussant à l’usage du g-index en lieu et place du h-index (2006, 2009, 2012) et d’un « year-based h-index » (2013, 2014).
It is shown that the g-index inherits all the good properties of the h-index and, in addition, better takes into account the citation scores of the top articles. L. Egghe, Theory and practise of the g-index, Scientometrics, vol. 69, No 1, pp. 131–152, 2006
We therefore plead to replace the h-index by the g-index, yielding a career years g-index by publications, respectively a career years g-index by citations, which have the good concentration properties as described in Mahbuba and Rousseau (2013). L. Egghe, Comments on "year-based h-type indicators", Scientometrics 98:2369–2370, 2014
Néanmoins, le g-index a aussi des détracteurs. Alex De Visscher écrit des articles critiques à ce propos :
The main difference between the g-index and the h-index is that the former penalizes consistency of impact whereas the latter rewards such consistency. It is concluded that the h-index is a better bibliometric tool than is the g-index, and that the square root of the total number of citations is a convenient measure of a researcher's overall impact. A. De Visscher, What does the g-index really measure?, Journal of the American Society for Information Science and Technology, Volume 62, Issue 11. 2290-2293, 2011
Ce à quoi répond L. Egghe en 2012 dans un autre article, puis Alex De Visscher en 2013 dans un autre article qui y fait réponse, et ainsi de suite…
Toujours dans le domaine de la recherche, d’autres chercheurs sont plus catégoriques et considèrent que le h-index, comme le g-index, sont bien trop simplistes et ne sont pas des indicateurs fiables.
While they are easy to understand, measure and communicate, such indicators entail a level of inaccuracy that could well be unacceptable for most of the intended uses and objectives. G. Abramo, C.A. D'Angelo, F. Viel. The suitability of h and g indexes for measuring the research performance of institutions. Scientometrics, 97:555–570, 2013
On voit que la controverse autour de cet indicateur bibliométrique est dense. Le débat est centré sur le domaine de la recherche, entre chercheurs. D'une part, les chercheurs d'un certain domaine, notamment le domaine biomédical, font le constat des biais des indicateurs. D'autre part, des spécialistes en bibliométrie font des propositions contrastées pour améliorer les indicateurs existants, ou des recommandations. Enfin, d'autres acteurs, notamment dans le domaine industriel, rejettent en bloc l'idée qu'un indicateur "simple" tel que le h-index ou le g-index soit pertinent.
Chaque indicateur bibliométrique est sujet à des débats de ce type. Chaque indicateur a tendance à avantager des situations bien précises, et il s'agit alors de faire la part des choses. A propos du h-index :
C’est un indicateur qui est assez simple et qui va pénaliser un chercheur qui est jeune. Par exemple, il n’a peut-être que 2 articles, et imaginons que ces deux articles sont cités 200 fois chacun : son h-index reste de 2 puisqu’il a deux articles cités deux fois. Vous comprenez qu’il faut être publié beaucoup et être cité beaucoup pour avoir un haut h-index. L'une des faiblesses du h-index, c’est l’absence de contextualisation. G. Rivalle, Thomson Reuters, Entretien
Il s'agit donc de contextualiser, c'est-à-dire de ne pas se borner à regarder un seul indicateur bibliométrique afin de chercher à évaluer un chercheur ou d'adapter les indicateurs en fonction des domaines concernés.
La controverse quant aux indicateurs bibliométriques à utiliser ou pas est donc très active. L'utilisation des mesures bibliométriques elles-mêmes est également sujette à controverse, ainsi que l'utilisation d'autres mesures, dites alternatives aux mesures bibliométriques.