Les mesures des productions scientifiques
Groupe de controverse n°10
Cette famille d'indicateurs repose sur les nouvelles technologies, tant dans son calcul que dans la nature des données utilisées. Nous parlerons ici surtout d'altmetrics, famille d'indicateur fournis par la start-up éponyme.
Altmetrics (Article Level Metrics) mesure l'impact des publications scientifiques dans les médias sociaux. Les données analysées sont notamment le nombre de fois où une page est vue, le nombre de téléchargements ou le nombre de commentaires. Les statistiques des altmetrics sont plus rapides à obtenir que celles des citations car la communication dans les médias sociaux n'a pas à passer par un processus de publication incluant la révision par les pairs.
In scholarly and scientific publishing, altmetrics are non-traditional metrics proposed as an alternative to more traditional citation impact metrics, such as impact factor and h-index. The term altmetrics was proposed in 2010, as a generalization of article level metrics, and has its roots in the #altmetrics hashtag. Although altmetrics are often thought of as metrics about articles, they can be applied to people, journals, books, data sets, presentations, videos, source code repositories, web pages, etc. Altmetrics cover not just citation counts, but also other aspects of the impact of a work, such as how many data and knowledge bases refer to it, article views, downloads, or mentions in social media and news media.
Wikipedia [en ligne]. 2015. Disponible sur : http://en.wikipedia.org/wiki/Altmetrics (05/2015).
Altmetric collects article level metrics and the online conversations around research on behalf of publishers, institutions and funders, combining a selection of online indicators (both scholarly and non-scholarly) to give a measurement of digital impact and reach. We do this by tracking, collecting and measuring large amounts of data collected from all of the places where scientists, patient advocates, journalists, nurses, engineers and members of the public talk about science online - for example, blogs, Twitter, Facebook, Google+, message boards and mainstream newspapers and magazines. Altmetric allows authors and publishers to see what people are saying about a scholarly paper and can tell them how much attention a paper is receiving relative to their peers.
altmetrics [en ligne]. 2015. Disponible sur : http://altmetrics.org/manifesto/ (05/2015).
Akademiai Kiado
Scientific, Technical, and Medical Publishers of Central-Europe
Budapest, Hungary, 18282
"We are a leading STM publisher of Central-Europe. We offer a wide range of high-quality, peer-reviewed journals. Our mission is to provide a valuable online (and offline) research hub for researchers and scientists worldwide."
Sources: http://www.akademiai.com//42/ab6/
Le Book Citation Index consiste en une sélection d’ouvrages de type livre sur le Web of Science. Les critères utilisés pour constituer la sélection ne concernent que le format du livre soumis et non son contenu. Il est procédé une sélection éditoriale dans toutes les disciplines scientifiques, 10 000 ouvrages sont ajoutés chaque année.
Following the pattern of journals and proceedings content, a set of inclusion and exclusion criteria have been established for the selection of books for indexing in The BKCI. These criteria require full-text original research, a bibliography, references or footnotes, and a copyright year dated 2005 or later. Books may be by multiple or single authors, electronic or print, in series or in monograph. Exclusion criteria include books based on maps, atlases, undergraduate text books, popular viewpoints or opinions, or books of abstracts. An analysis of the books indexed so far by their research field showed that the arts, humanities, and social sciences account for roughly three fifths of the book content in The BKCI. J.Gorraiz, P.J. Purnell, W. Gländel, Opportunities for and Limitations of the Book Citation Index, Journal of the American society for information science and technology, 64(7) :1388-1398, July 2013
L’intérêt de cet indicateur part du constat, expliqué dans ce même article, selon lequel dans certains domaines comme les sciences humaines ou encore l’histoire, la majeure partie de la production de la recherche ne se fait pas sous forme de publication, mais sous forme de livre. Ces livres ont plusieurs spécificités : d’une part, ils ne sont pas lus avant leur parution comme peuvent l’être des publications dans des revues. D’autre part, ils sont moins cités et ont une visibilité moindre. Il s’agit donc de créer une base de données adaptée.
Nous constatons que le besoin d’un index de citation pour les livres est à l’origine de nombreuses publications notamment en 2006, 2008 et 2013. Il est à noter que le BKCI est annoncé en 2010, lancé en 2011 (source : Nancy K. Herther. Thomson Reuters Announces Book Citation Index—Scheduled for Release in 2011, Information Today, Inc. October 25, 2010), les premières réactions arrivant deux ans après.
La question de l’évaluation du genre « livre » ou plus généralement « monologue » est également soulevée en général, la communauté scientifique proposant des solutions. Dans J. Gorriaz, C. Gumpenberger, P.J. Purnell, The power of book reviews : a simple and transparent enhancement approach for book citation indexes, Scientometrics (2014) 98:841–852 , les auteurs introduisent un nouveau genre de publication, qui est le « book review », à savoir un article visant à rendre compte d’un livre en particulier. Ils s’intéressent aux caractéristiques de ce genre, qui est très peu cité en tant que tel, reprend la plupart du temps le nom du livre dans son propre nom. Le nombre de book reviews pour un livre en particulier donnerait alors l’impact de ce livre sur la recherche, cela remplaçant le système de citations.
Juan Gorraiz : chercheur en bibliométrie à l’Université de Vienne. Sur 13 articles sur Scopus formulant explicitement « Book Citation Index », 3 sont (co-)écrits par lui.
Le g-index est un indicateur bibliométrique créé par Leo Egghe en 2006.
A set of papers has a g-index g if g top g papers have, together, at least g^2 citations. This also means that the top g + 1 papers have less than (g +1)^2 papers. L. Egghe, Theory and practise of the g-index. Scientometrics, vol. 69, No 1, 131-152, 2006
Un chercheur a un g-index de X si il a publié X articles, eux-mêmes cités au moins X^2 fois. Il s'agit du même principe que le h-index, sauf que le nombre de citations exigé est plus important. Leo Egghe propose son indice en terme de variante du h-index. (INSERER SCHEMA)
We also leave open the construction of other h- or g-like indexes and the comparison of these newindexes with the h- and g-index. It would also be interesting to work out more practical cases (in otherfields) of h- and g-index comparisons. Such case studies can learn a lot on the advantages and/ordisadvantages of the h-index and the g-index. L. Egghe, Theory and practise of the g-index. Scientometrics, vol. 69, No 1, 131-152, 2006
On s'intéresse au nombre d'articles publiés ayant pour thème le g-index. L'équation de recherche utilisée est donc : TITLE-ABS-KEY ( g-index ) (386 résultats).
Elsevier B.V. Scopus [en ligne]. 2015. Disponible sur : scopus.com (05/2015). 
Google Scholar est un service de Google permettant la recherche d'article scientifiques. Lancé fin 2004, il inventorie des articles approuvés ou non par des comités de lecture (en anglais : peer-reviewed), des thèses de type universitaire, citations ou encore des livres scientifiques.
Google Scholar permet d'effectuer facilement une recherche étendue portant sur des travaux universitaires. Vous pouvez, à partir d'un emplacement unique, explorer un grand nombre de domaines et de sources : articles revus par des comités de lecture, thèses, livres, résumés analytiques et articles. Ces travaux peuvent provenir de sources telles que des éditeurs scientifiques, des sociétés savantes, des référentiels de prépublication, des universités et d'autres organisations de recherche. Google Scholar vous permet d'identifier les travaux de recherche les plus pertinents du monde universitaire. Google, Google Scholar[en ligne]. 2015. Disponible sur : scholar.google.fr (05/2015).
L'index de Google Scholar contient la plupart des journaux en ligne soumis à des comités de lecture, journaux provenant des grands éditeurs de littérature scientifique. Cependant la couverture réelle n’est pas connue précisément et plusieurs chercheurs ont repéré des trous dans sa couverture des archives des éditeurs. En 2014, Google Scholar prétendait couvrir 85% des publications scientifiques. La qualité des résultats des recherches n’atteint pas celle des bases de données classiques1. Bien que l'attention ait été attirée sur le fait que Google Scholar n'est pas un outil adapté pour des applications bibliométriques ni pour l'évaluation de l'impact des chercheurs et des revues.
Wikipedia [en ligne]. 2015. Disponible sur : fr.wikipedia.fr (05/2015).
Le h-index est un indicateur bibliométrique créé par Jorge Hirsch en 2005.
A scientist has index h if h of his/her Np papers have at least h citations each, and the other (Np − h) papers have no more than h citations each.
J. Hirsh, An index to quantify an individual's scientific research output, Proceedings of the National Academy of Sciences, vol. 102, no 46, 16569–16572, 2005
Un chercheur a un h-index de X si il a publié X articles, eux-mêmes cités au moins X fois. En classant les articles d'un certain chercheur par ordre décroissant de citations, cela correspond à l'intersection de la courbe citation en fonction du numéro de l'article avec la courbe identité.
Nombres des articles traitant du h-index:On recherche les articles publiés après 2003 comportant "h-index" en thème. Nous utilisons donc l'équation de recherche : TITLE-ABS-KEY ( h-index ) AND PUBYEAR > 2003 (1494 résultats).
Thomson Reuters. Web Of Science [en ligne]. 2015. Disponible sur : http://apps.webofknowledge.com (05/2015). 
Thomson Reuters. Web Of Science [en ligne]. 2015. Disponible sur : http://apps.webofknowledge.com (05/2015). Nous recherchons les articles publiés après 2003 comportant en thème à la fois "h-index" et "g-index". Nous utilisons donc l'équation de recherche : TITLE-ABS-KEY ( h-index AND g-index ) AND PUBYEAR > 2003 (1494 résultats).
Source: scopus.com (2015)
Cet aspect de la controverse est le plus actif en 2009 et 2010 ; il reprend de l’ampleur en 2013 dans le même temps que les indicateurs bibliométriques sont discutés dans le domaine biomédical.
Toujours dans le domaine de la recherche, d’autres chercheurs sont plus catégoriques et considèrent que le h-index, comme le g-index, sont bien trop simplistes et ne sont pas des indicateurs fiables comme dans (Abramo, D'Angelo, & Viel, 2013) :
While they are easy to understand, measure and communicate, such indicators entail a level of inaccuracy that could well be unacceptable for most of the intended uses and objectives.
G. Abramo, C.A. D'Angelo, F. Viel. The suitability of h and g indexes for measuring the research performance of institutions. Scientometrics (2013) 97:555–570
On note que dans ces publications, les mots-clés utilisés sont : « research evaluation », « research productivity », mais aussi « quality control ».
Le Journal Impact Factor est un indicateur bibliométrique créé en 1955 par Eugene Garfield.
A journal’s impact factor is based on 2 elements: the numerator, which is the number of citations in the current year to any items published in a journal in the previous 2 years, and the denominator, which is the number of substantive articles (source items) published in the same 2 years. E. Garfield, "Journal impact factor: a brief review", Canadian Medical Association Journal, 161(8), p.979-80, 1999
L'indice sert à évaluer une revue. Il comporte un numérateur et un dénominateur, l'idée étant de pondérer le nombre total de citations par le nombre total d'articles publiés par le chercheur.
Nous recherchons les articles mentionnant "impact factor" et publiés après 1959.
Nous utilisons donc l'équation de recherche: TITLE-ABS-KEY ( "impact factor" ) AND PUBYEAR > 1959 (10 380 résultats). 
Elsevier B.V. Scopus [en ligne]. 2015. Disponible sur : scopus.com (05/2015).
L'étude est faite entre 1990 (avant cela, une dizaine d’article par an) et 2014. Pic présent en 2013 avec 1522 articles.
Si l'on se concentre sur l’aspect controversé et excluant le domaine médical, on recherche les articles dont le thème comporte "impact factor" avec la mention "flaws", "critics" ou "limits" n'ayant pas trait au domaine médical. On utilise donc l’équation de recherche : ( TITLE-ABS-KEY ( "impact factor" ) AND (TITLE-ABS-KEY ( flaw* ) OR TITLE-ABS-KEY ( critic* ) OR TITLE-ABS-KEY ( limit* ) )) AND ( EXCLUDE ( SUBJAREA , "MEDI" ) ) 750 résulats 
Elsevier B.V. Scopus [en ligne]. 2015. Disponible sur : scopus.com (05/2015).
De 1960 à 2008 
Thomson Reuters. Web Of Science [en ligne]. 2015. Disponible sur : http://apps.webofknowledge.com (05/2015).
De 2008 à 2013 
Thomson Reuters. Web Of Science [en ligne]. 2015. Disponible sur : http://apps.webofknowledge.com (05/2015).
On retrouve le même pic en 2013.
D’après E.Garfield, le facteur d'impact a été crée pour ces motivations: - Permettre une sélection des différents journaux. Rapporté tous les ans dans le Journal Citation Report. Il constate qu’il ne faut pas comparer différent domaine car le taux de citation varie selon les disciplines. - Cet indice n’a pas pour but d’évaluer les fluctuations à court terme. Garfield avait prévu qu’entre de mauvaises mains, il pourrait être mal employé. - Utilisé par les bibliothèques pour savoir quel abonnement acheté et par les auteurs pour savoir ou publier. - En utilisant un rapport, le but est de ne pas défavorisé les petits journaux.
Le choix de la durée d'"exploration" de deux ans est source de nombreuses critiques. Un autre article publié dans The Scientist, au contraire, indique que la durée n’aurait pas d’impact significatif. Dans tous les cas, si le facteur d’impact augmente beaucoup dans certains domaines lorsqu’on augmente la durée d’échantillonnage, le classement fourni, quant à lui, ne change pas beaucoup.
Impact Factor is not a perfect tool to measure the quality of articles but there is nothing better and it has the advantage of already being in existence and is, therefore, a good technique for scientific evaluation. Experience has shown that in each specialty the best journals are those in which it is most difficult to have an article accepted, and these are the journals that have a high impact factor. These journals existed long before the impact factor was devised. The use of impact factor as a measure of quality is widespread because it fits well with the opinion we have in each field of the best journals in our specialty. C. Hoeffel, Journal impact factors [letter]. Allergy 53:1225, 1998.
En 2011, J.K. Vanclay pointe du doigt de nombreuses limites à l’utilisation du facteur d’impact :
The TRIF is not a reliable indicator of journal quality, that it lacks rigour and requires normalizing before comparisons are attempted, that its 2-year timeframe is too short for meaningful trends to be established, that it lacks statistical validity, suffers database problems, and leads to problematic (if unintended) consequences. J.K. Vanclay, Impact factor: outdated artefact or stepping-stone to journal certification?, Scientometrics, 24 Novembre 2011
Michel Zitt répond à cet article en écrivant que, pour des raisons historiques, cet indicateur est très critiqué, mais qu'il a contribué, par ses forces comme ses faiblesses, à alimenter le débat autour des indicateurs bibliométriques.
The JIF: angel, devil or scapegoat? All three at a time: angel, for a unique historical role and the many avenues opened to scientometrics and other fields; devil, for a few flaws, and a brightness and market power that may have deterred users from looking aside; but also scapegoat, for misuses and abuses. M. Zitt, The journal impact factor: angel, devil, or scapegoat? A comment on J.K. Vanclay’s article 2011, Scientometrics, 22 Février 2012
Sciverse Scopus est le nom de la base de données transdisciplinaire lancée par l'éditeur scientifique Elsevier en 2004. C'est un concurrent du Web Of Science.
Scopus is the largest abstract and citation database of peer-reviewed literature: scientific journals, books and conference proceedings. Delivering a comprehensive overview of the world's research output in the fields of science, technology, medicine, social sciences, and arts and humanities, Scopus features smart tools to track, analyze and visualize research. As research becomes increasingly global, interdisciplinary and collaborative, you can make sure that critical research from around the world is not missed when you choose Scopus Elsevier B.V. [en ligne]. 2015. Disponible sur : elsevier.com (05/2015).
Cette base nous permets de calculer facilement les h-index des scientifiques présentés.
Scopus référence 21 000 journaux scientifiques (y compris 1 200 titres en open access), 600 publications industrielles, 350 collections d'ouvrages, ainsi que 764 actes de conférence et 42 et 433 Mio pages web scientifiques via Scirus 1. Par rapport à son principal concurrent (Web of Science), Scopus offre une plus grande couverture des sciences humaines et sociales et des journaux non anglophones2.
Wikipedia [en ligne]. 2015. Disponible sur : fr.wikipedia.fr (05/2015).
Web Of Science
Le Web of Science est un service d’information universitaire en ligne produit par la société ISI – Institute for Scientific Information de Thomson Scientific, division du groupe canadien Thomson Reuters.
Web of Science™ Core Collection provides researchers, administrators, faculty, and students with quick, powerful access to the world's leading citation databases. Authoritative, multidisciplinary content covers over 12,000 of the highest impact journals worldwide, including Open Access journals and over 150,000 conference proceedings. You'll find current and retrospective coverage in the sciences, social sciences, arts, and humanities, with coverage to 1900. Overcome information overload and focus on essential data across more than 250 disciplines. Thomson Reuters, Web Of Science core collection [en ligne]. 2015. Disponible sur : thomsonreuters.com/ (05/2015).
Le Web of Science signale la littérature scientifique mondiale. Le contenu, diversifié, comprend l’agriculture, la biologie, le génie, la médecine, les sciences de la santé, les mathématiques, la physique, la chimie, l’anthropologie, le droit, les sciences de l’information, l’architecture, la danse, le cinéma et le théâtre. L’ensemble du contenu est constitué du dépouillement de plus de 10 000 périodiques et de plus de 110 000 actes de conférences. Les plus vieux articles remontent à 1900.
Le Web of Science propose la base de données JCR - Journal Citation Reports donnant le facteur d'impact de plusieurs milliers de journaux scientifiques depuis 1975.
Wikipedia [en ligne]. 2015. Disponible sur : fr.wikipedia.fr (05/2015).