Évaluation
Le peer reviewing
Un article scientifique n’est considéré comme tel qu’à la condition d’avoir été validé par ses pairs (ou du moins de pouvoir prétendre à être validé par ses pairs). C’est ce qu’on appelle le principe du peer-reviewing, théoriquement pratiqué par la totalité des revues scientifiques.
The most basic obligation of a scientific journal is to perform peer review, arXiv founder Ginsparg says. (Joan Bohannon)
La reconnaissance difficile des articles diffusés en Open Access
Mais l’Open Access, qui peut aussi prendre la forme d’articles déposés unitairement et non pas forcément au sein d’une revue entraîne une question quant à la pérennité de ce système. Certains éditeurs, notamment ceux ayant pris position à l’occasion du rapport Finch, se sont radicalement opposés à la voie verte arguant que cela risquerait de détruire ce système indispensable à la diffusion du savoir scientifique dans la mesure où il est nécessaire pour garantir la qualité des informations dispensées. Toutefois, si ce modèle inclut autant les articles déposés sur les blogs que sur des bases de dépôt, sur les bases de dépôt on trouve en très grande majorité les versions preprint des articles (côtoyant d’autres éléments qui ne sont pas forcément des articles, comme par exemple des présentations powerpoint), soit la version de l’article dont le contenu a été validé par les pairs mais dont la mise en page pour la publication n’est pas encore définitive. De plus, en France particulièrement, Hélène Bosc et Hans Dillaert, en dressant un état des lieux du libre accès en 2012, insistent sur le fait que les revues en Open Access ne sont que très peu prises en compte par l’AERES, ce qui n’encourage pas vraiment la publication du point de vue des scientifiques (bien que l’AERES précise que ses listes ne sont pas exhaustives, la rémunération symbolique en est amoindrie).
L’affaire Bohannon…
D’autre part, le modèle auteur-payeur de la voie dorée a aussi été vivement critiqué, notamment à cause de ce que l’on appelle les éditeurs-prédateurs, des éditeurs acceptant tous les articles dans la mesure où quelqu’un paye pour les publier. Cela a été objectivé lorsque le 4 octobre 2013, John Bohannon, journaliste du prestigieux magazine Science, publia une enquête sur les dérives du système de publication d’articles scientifiques en Open Access. Cet article a fait scandale dans le monde académico-scientifique, et pose un certain nombre de problèmes quant à la qualité de l’information accessible sur les revues en open access, et également le contrôle de qualité qui a lieu en amont de la publication dans de telles revues. Se faisant passer pour un faux professeur de biologie, J. Bohannon a écrit un faux article sur une molécule capable de lutter contre le cancer et l’a proposé à 304 revues en open access pratiquant le modèle auteur-payeur. Sur ces 304 revues, 157 ont accepté l’article. Cela l’amène à affirmer qu’il y a bien un contrôle de pauvre qualité dans le domaine de l’Open Access et à souligner le risque quant à la qualité de l’information publiée dans ces revues.
…un problème plus large que l’Open Access ?
Toutefois l’article publié par J. Bohannon a été critiqué sur plusieurs points. D’une part, la méthodologie utilisée manquerait de scientificité (ce qui n’est pas sans quelque ironie); en effet, comme nous l’a expliqué Pierre Mounier,
s’il [Joan Bohannon] avait véritablement voulu faire la démonstration, il aurait du prendre deux échantillons, un sur des revues qui ne sont pas en Open Access, l’autre sur des revues qui le sont. Or ce n’est pas ce qu’il a fait; il n’a pris que des revues en Open Access.
Dans cette perspective, J. Bohannon aurait bien démontré qu’il y a un problème dans le processus de l’évaluation scientifique, comme l’avait déjà démontré Alan Sokal, mais rien ne garantit qu’il soit spécifique aux revues en Open Access.
D’autre part, PLoS a réagit à cette affaire en affirmant que réaliser une telle induction, soit généraliser le problème à toutes les revues en Open Access, était absurde. En effet, même Joan Bohannon dans son article affirme la qualité de l’évaluation effectuée par PLoS ONE.
Some open-access journals that have been criticized for poor quality control provided the most rigorous peer review of all. For example, the flagship journal of the Public Library of Science, PLOS ONE, was the only journal that called attention to the paper’s potential ethical problems, such as its lack of documentation about the treatment of animals used to generate cells for the experiment. The journal meticulously checked with the fictional authors that this and other prerequisites of a proper scientific study were met before sending it out for review. PLOS ONE rejected the paper 2 weeks later on the basis of its scientific quality.
Publish or perish
De plus, il existe une liste noire des éditeurs considérés comme prédateurs (soit des éditeurs s’intéressant plus aux portefeuilles des auteurs qu’à l’apport des articles à la science) afin de prévenir les auteurs d’entrer en contact avec eux. Selon William B. Millard, la logique du « publish or perish » pour les scientifiques (pour être reconnu, il faut publier) conduit à l’émergence de tels éditeurs, certains auteurs étant prêt à payer un prix très élevé pour obtenir une publication. De telles pratiques mettent en exergue un problème au sein du monde de la publication qu’il parait désormais difficile d’ignorer.
The rise of opportunistic publishers may be a source of inadvertent heuristics, a visible symptom of a communication system awkwardly adjusting to needs that its insiders are only slowly beginning to recognise.