Comme la plupart des revues scientifiques qui aspirent à une haute qualité, le Grenier des savoirs souscrit au principe de l’évaluation par les pair-e-s en double aveugle des articles publiés dans ses revues. Pour éviter tout risque de complaisance et pour soulager la tâche des comités de rédaction, c’est le Secrétariat général du Grenier des savoirs qui est responsable de piloter l’évaluation de tous les articles.
Selon ce principe, tous les articles soumis à l’une ou l’autre des revues du Grenier des savoirs doivent passer par ce processus. Il consiste à soumettre la version reçue d’un article, jugée acceptable par le comité de rédaction, à un examen par au moins deux personnes crédibles qui connaissent bien le thème ou l’approche proposée par l’article en question, qui peuvent ou non faire partie du comité scientifique de la revue concernée, et qui pourront (ou non) demander aux auteurs et autrices de faire des modifications avant la publication. Ces personnes doivent utiliser le formulaire d’évaluation du Grenier des savoirs, présenté ci-dessous.
La notion d’évaluation par les pair-e-s en « double aveugle » signifie que les évaluateurs et évaluatrices procéderont à la lecture de l’article sans en connaître l’auteur ou l’autrice et que ces derniers ne connaîtront pas l’identité des personnes qui auront évalué leur texte au moment d’en faire la version finale, du moins pas avant la publication finale. Ces précautions ont pour but d’éviter la complaisance ou les règlements de compte au sein du processus d’évaluation.
Consolider le processus d’évaluation
Des études ont montré les faiblesses de ce dispositif conventionnel d’évaluation, notamment dans les pays du Nord où règnent l’économie du savoir et le capitalisme cognitif. Elles ont noté que l’industrie pouvait influencer ce processus ou que le manque de temps des évaluateurs et évaluatrices conduisaient parfois à des évaluations bâclées laissant passer des textes frauduleux ou erronés devant ensuite être rétractés. Les articles devenant de plus en plus pointus, le nombre d’experts ou d’expertes pouvant les évaluer se restreint, ce qui ouvre la porte à de la complaisance ou à des règlements de comptes entre collègues, quand ce n’est pas à de la discrimination envers des collègues des pays des Suds. Certains notent aussi que ce processus, lorsqu’il privilégie la conformité méthodologique, tend à encourager le conservatisme des auteurs et autrices et non l’innovation ou l’exploration de nouvelles manières de faire de la recherche. Des expériences ont montré qu’une revue à qui on re-soumettait quelques années plus tard un article pouvait cette fois le refuser. Finalement, ce qui ressort de ces critiques est que le processus qui est en général entre les mains des rédacteurs et rédactrices en chef des revues est rarement transparent, si bien que le lectorat n’est pas toujours en mesure de bien savoir comment il est géré.
Dans les pays des Suds, ce processus d’évaluation est de plus victime de longs délais faute de ressources humaines et informatiques pour le gérer, fait face à des demandes d’honoraires de la part des évaluateurs et des évaluatrices que les revues ne peuvent que rarement assumer et s’empêtre parfois dans des considérations de type hiérarchique au sein des universités.
Pour toutes ces raisons, plusieurs revues scientifiques anglo-saxonnes ont voulu innover au cours de la dernière décennie en rendant plus transparent leur processus d’évaluation par les pair-e-s grâce à une procédure ouverte (open peer review), comme le EMBO Journal ou le BMJ open. D’autres revues font attention à ce que la procédure ne conduise pas à rejeter des articles innovants en utilisant des critères qui ne portent pas sur le contenu précis des articles, mais sur le processus de publication.
Le Grenier des savoirs, dont un des objectifs est justement l’innovation épistémologique et méthodologique en contexte africain, porte une attention particulière à ce processus qui reste, malgré tous ses défauts, un gage de qualité pouvant attirer la confiance de ses lecteurs et lectrices. Il propose à ses revues le choix entre une évaluation classique ou une évaluation ouverte (qui publie les évaluations). Ce qui suit est le résultat de ses réflexions.
Visée de l’évaluation par les pair-e-s
Dans le Grenier des savoirs, le but de l’évaluation par les pair-e-s d’un article est moins de recommander ou non la publication d’un article soumis que de faire des suggestions visant leur amélioration. En effet, tous les articles envoyés en évaluation auront déjà été identifiés comme pertinents et intéressants par le comité de rédaction de la revue concernée. C’est ce même comité qui prendra la décision finale de le publier ou non et qui en est donc responsable.
Le but de l’évaluation est d’aider les personnes responsables de l’article à améliorer leur texte en leur suggérant, selon les cas, de clarifier leurs arguments, d’affiner leurs interprétations, d’éviter le dogmatisme épistémologique ou méthodologique, de préciser leur méthode de collecte de données et de les rendre ouvertes s’il y a lieu, de vérifier leurs références bibliographiques et d’indiquer les éventuels liens d’intérêts avec des organismes.
En harmonie avec la politique linguistique du Grenier des savoirs pour la justice cognitive, l’évaluation pourra aussi demander aux auteurs et autrices de maximiser l’accessibilité de leur texte en évitant au maximum le jargon ou des concepts pointus non expliqués et d’avoir au moins autant de références d’auteurs et d’autrices des Suds que du Nord. L’évaluation vérifiera également si le texte utilise une écriture inclusive tel que demandé dans les consignes aux auteurs et autrices et si toutes les métadonnées sont présentes.
Toute évaluation se fera donc dans cette attitude constructive, ce qui n’empêche pas que le Grenier des savoirs s’attend aussi à ce que ce processus permette d’identifier des problèmes majeurs tels qu’un constat de fraude, de malhonnêteté intellectuelle ou de désir de tromper. Il est de la responsabilité des rédacteurs et rédactrices en chef que les articles de faible qualité et sans potentiel ne passent pas à l’étape de l’évaluation. Le Secrétariat général du Grenier des savoirs sera en appui à toute la démarche, notamment pour les échanges de courriel et l’interprétation des évaluations.
En conformité avec la politique d’intégrité, un logiciel anti-plagiat sera utilisé pour examiner tous les textes. Un texte accepté qui comporte des passages plagiés sera rejeté.
Reconnaissance des évaluateurs et des évaluatrices
L’évaluation est une étape très importante de la publication scientifique. Dans les pays du Nord, elle est faite bénévolement, ce qui limite les soupçons de conflits d’intérêts ou de complaisance – même si, dans les faits, ces conflits existent quand même. Dans les pays des Suds, c’est un travail qui peut ou non être rémunéré. Le Grenier des savoirs a choisi de ne pas rémunérer les évaluateurs et les évaluatrices, faute de budget pour assurer une équité entre les revues. Pourtant, il est clair que ce travail doit être « reconnu ». Notre proposition est la suivante :
- Chaque auteur ou autrice dont un article est publié dans une revue du Grenier des savoirs s’engage à évaluer deux articles dans l’année suivante.
- Chaque évaluateur ou évaluatrice est exempté-e de la cotisation à l’Association Science Afrique pendant une année au cours de laquelle il ou elle peut quand même soumettre des textes.
- Si tel est son souhait, chaque évaluateur ou évaluatrice peut demander, une fois son évaluation rendue, de recevoir aux frais de l’Association Science Afrique un « service » dans l’année qui suit : la révision linguistique d’un texte préalablement à la soumission à une revue, la révision de ses références bibliographiques, la traduction d’un résumé en anglais, une formation en recherche documentaire dans le web scientifique libre ou la relecture d’un projet de recherche. Ces services seront fournis par le Secrétariat général.
- Un trophée sera remis annuellement par le comité scientifique du Grenier des savoirs à l’évaluateur et à l’évaluatrice qui se seront démarqués par leur fiabilité, leur rigueur et leur sérieux.
Le formulaire d’évaluation
Ce formulaire est disponible en ligne à cette adresse et reproduit dans ce chapitre du manuel. Mais il peut être envoyé aux évaluateurs et évaluatrices en format word sur demande. C’est le Secrétariat général qui gère le processus d’évaluation.
Processus d’évaluation
- Chaque article soumis à la revue est d’abord rapidement évalué par le comité de rédaction qui choisit de le retenir ou non. Si l’article est retenu à cette phase, le comité suggère au Secrétariat général du Grenier des savoirs (SG) trois noms d’évaluateurs ou d’évaluatrices, au sein ou en dehors du comité scientifique de la revue, en fonction du thème de l’article. Idéalement, ces personnes sont d’un autre pays que l’auteur ou l’autrice de l’article, mais connaissent le contexte dont il s’agit.
- Les évaluatrices et évaluateurs reçoivent le fichier de l’article à évaluer, ainsi que le lien vers le formulaire d’évaluation du Grenier des savoirs (voir son contenu ci-dessous). Ils et elles ont environ un mois pour rédiger leur évaluation.
- Le Secrétariat général du Grenier des savoirs veille au respect des échéances et à la qualité de l’évaluation. Il transfère ces évaluations au comité de rédaction de la revue qui en fera une synthèse.
- Si ce comité n’est pas satisfait du travail accompli par les évaluateurs ou évaluatrices ou si les évaluations sont contradictoires, il peut prolonger le processus et envoyer le texte à une autre personne.
- Quand le processus est terminé, la synthèse des évaluations et des recommandations du comité de rédaction est envoyée par le Secrétariat général aux auteurs et autrices de l’article. Ce rapport d’évaluation présente les forces et les faiblesses relevées par les évaluateurs et évaluatrices dans le but d’aider les auteurs et autrices à mettre leur texte à niveau du point de vue de la forme et/ou de l’avancée des connaissances sur le sujet qui y est traité, mais il leur rappelle également quelques dispositions (écriture inclusive, traduction du résumé en une langue africaine, application des normes de présentation) à respecter pour publier dans le Grenier.
- Les auteurs et autrices dont le texte est recommandé avec modifications ont deux semaines pour produire une deuxième version de leur travail.
- Le comité de rédaction est responsable de la décision finale sur la deuxième version de l’article. Il peut encore demander des modifications, à condition de les justifier. Cette justification fait partie de l’historique de l’article.
- Le Secrétariat général fait la révision linguistique complète de la version finale de l’article accepté : fautes, coquilles, typographie, vérification des références, vérifications des métadonnées (résumé en plusieurs langues, biographie, mots-clés), logiciel anti-plagiat. Si le texte corrigé comporte encore des aspects à améliorer (tournures compliquées, passages incompris, références absentes, confusions, etc.), le Secrétariat général rédige un rapport de révision qu’il adressera à l’auteur ou à l’autrice pour un complément d’information. Cette personne devra rapidement apporter des réponses dans le même fichier et le retourner au Secrétariat général.
- La version révisée est envoyée pour validation finale aux auteurs et autrices avant la mise en ligne publique sur le site de la revue.
- La version finale de l’article est déposée dans un dépôt institutionnel pérenne, notamment le DICAMES pour les auteurs et autrices de l’espace CAMES.
Version ouverte du processus d’évaluation par les pair-e-s
Cette procédure ouverte permet aux lecteurs et lectrices de prendre connaissance de l’historique de l’article, à savoir sa version initiale, le contenu des évaluations et les réponses des auteurs ou autrices, ainsi que les commentaires du comité de rédaction. L’anonymat des évaluatrices et évaluateurs peut ou non être maintenu lors de la publication de l’historique. Toutes les revues du Grenier des savoirs publieront la liste de ces personnes à la fin de chaque année.
Ce processus d’évaluation ouverte a l’avantage pédagogique de rendre publiques et accessibles des discussions potentiellement intéressantes et importantes pour l’amélioration de la qualité d’un article. De plus, il oblige les évaluatrices et évaluateurs à faire un travail de qualité, puisqu’il sera lu publiquement et apprécié. À noter qu’il pourrait être possible de considérer une évaluation longue et détaillée d’un article comme une note de recherche.
- Quand la version finale de l’article est validée par le comité de rédaction et les auteurs et autrices, elle est mise en ligne au tout début de la page web de l’article. Elle est suivie de la version initiale, des évaluations, des réponses éventuelles des auteurs et autrices et des commentaires du comité de rédaction.
- Le comité de rédaction demande à toutes les personnes impliquées leur accord pour mettre cet historique en accès libre. Selon les politiques éditoriales des revues, les personnes responsables de l’évaluation peuvent décider de garder ou non l’anonymat. L’important est qu’elles en soient informées avant de rédiger leur évaluation.
- L’article et son historique sont ouverts aux commentaires de tous les internautes. Des révisions subséquentes de l’article restent possibles.
- La version finale de l’article est déposée dans un dépôt institutionnel pérenne, notamment le DICAMES pour les auteurs et autrices de l’espace CAMES.
Version non ouverte du processus
L’historique de l’article (la version initiale de l’article, les évaluations et les réponses) n’est pas publié. Seule la version finale est publiée et déposée dans un dépôt institutionnel pérenne.
