Rapport sommaire de la rétroaction des intervenants à l’intention du comité d’experts sur l’évaluation par les pairs

Unité d’évaluation des IRSC
Direction du rendement et de la responsabilisation

Novembre 2016

Approches d’engagement des intervenants

Les IRSC et leurs instituts ont demandé à leurs intervenants de formuler des commentaires sur les six questions posées au comité d’experts sur l’évaluation par les pairs.

  1. Formulaire de présentation en ligne : Au nom de leurs instituts, les IRSC ont créé un formulaire Web afin de recueillir les commentaires de leurs intervenants. Ce formulaire comportait un petit nombre de questions de nature démographique, et les répondants avaient tout l’espace voulu (aucune limite de caractères) pour donner leur point de vue concernant les six questions posées au comité d’experts. Ceux-ci pouvaient également télécharger des documents supplémentaires.
  2. Consultations des intervenants menées par les instituts : Les instituts des IRSC ont recueilli les commentaires de leurs intervenants au sujet des six questions par divers moyens, notamment le formulaire de présentation en ligne, des groupes de discussion ciblés, des courriels et des discussions lors d’autres réunions. L’information recueillie a été résumée par chaque institut dans un rapport individuel. Les points de vue présentés dans les rapports sont ceux des intervenants et non ceux des IRSC.
  3. Mémoires soumis par des groupes d’intervenants : Des organisations nationales représentant des intervenants des IRSC ont été invitées à soumettre des mémoires exposant leur point de vue sur les six questions.

Le présent rapport résume la rétroaction recueillie par le formulaire de présentation en ligne et dans le cadre des consultations des intervenants menées par les instituts. Les mémoires soumis figurent intégralement en annexe, tout comme les rapports individuels récapitulant les consultations.

Les données issues du formulaire et les rapports sur les consultations ont été codés en fonction de grands thèmes au moyen d’une analyse de contenu. Les grands thèmes représentant plus du tiers des répondants au formulaire (c.-à-d. au moins 30 réponses individuelles) ou ceux ressortis dans plus de la moitié des rapports sur les consultations (c.-à-d. de 7 à 12 rapports) sont présentés ci-dessous.

Participants

Le formulaire a été soumis 102 fois :

  • 11 des 13 instituts des IRSC ont été représentés (seuls l’Institut de la santé des Autochtones et l’Institut de la santé des femmes et des hommes ne l’ont pas été).
  • 77,5 % (n = 79) des réponses provenaient de personnes associées au thème de la recherche biomédicale.
  • 66,7 % (n = 68) des répondants étaient des hommes.
  • 49 % (n = 50) des répondants étaient des chercheurs chevronnés; 32,4 % (n = 33) étaient en milieu de carrière; 12,7 % (n = 13) étaient en début de carrière; le reste entrait dans la catégorie « autre ».
  • 71,6 % (n = 75) des répondants avaient présenté au moins une demande soit au concours de subventions Fondation de 2014 – 2015, soit au concours de subventions Fondation de 2015 – 2016, soit au concours de subventions Projet de 2015.
  • 65,8 % (n = 48) des participants qui avaient présenté une demande ont indiqué ne pas avoir été retenus.
  • 32,7 % (n = 33) des répondants avaient été évaluateurs ou présidents virtuels pour le concours de subventions Fondation de 2014 – 2015, le concours de subventions Fondation de 2015 – 2016 ou le concours de subventions Projet de 2015.

Sur les 13 instituts des IRSC, 12 ont soumis des rapports récapitulant les résultats de leur processus de consultation des intervenants. Les instituts ont fait appel à divers intervenants, notamment des représentants de leurs milieux de recherche, dont des titulaires de subventions des IRSC (p. ex. titulaires de subventions pluriannuelles de grande équipe ou directeurs de centres de recherche) ou de bourses (p. ex. chaires de recherche). Des intervenants consultés avaient été candidats, évaluateurs ou présidents dans les nouveaux programmes de financement. Certains instituts ont sollicité d’anciens membres de leur conseil consultatif.

Résumé des grands thèmes

  1. Selon les répondants, la mise en œuvre de la réforme n’était pas une réussite, et les défis qu’elle devait permettre de surmonter étaient toujours présents. Si certains estimaient qu’il était encore trop tôt pour évaluer si la réforme avec été bien conçue globalement, ils croyaient toutefois que ses avantages potentiels avaient été amoindris par les problèmes importants survenus pendant la mise en œuvre (p. ex. jumelage des demandes et des évaluateurs, modifications apportées à l’exécution et aux exigences et règles relatives aux demandes, CV commun canadien, retards dans la mise en place du collège des évaluateurs).
  2. Les répondants étaient convaincus que les modifications apportées aux programmes de recherche libre et au processus d’évaluation par les pairs des IRSC avaient eu plusieurs répercussions importantes :
    1. atteinte à la crédibilité des IRSC en matière de financement de l’excellence et d’offre de processus d’évaluation par les pairs de haute qualité;
    2. concentration des ressources dans certains secteurs du milieu de la recherche (p. ex. dans les grands laboratoires, dans le thème de la recherche biomédicale, vers plus de chercheurs établis ou chevronnés);
    3. moins de soutien à la recherche innovatrice;
    4. préjugés potentiels dans les programmes de subventions Fondation et Projet contre les candidates et les nouveaux chercheurs ou chercheurs en début de carrière.
  3. Les répondants ont perçu que les changements avaient eu des répercussions négatives sur le système d’évaluation par les pairs des IRSC en raison :
    1. d’une capacité insuffisante en matière d’évaluateurs (p. ex. abolition de comités d’évaluation par les pairs formés d’experts et axés sur des disciplines, manque d’expertise pour les demandes interdisciplinaires, nombre d’évaluateurs insuffisant, augmentation de la fatigue chez les pairs évaluateurs, problèmes à attirer et à former des évaluateurs possédant l’expertise nécessaire – reconnaissance de la petite taille du bassin d’évaluateurs au Canada);
    2. de problèmes avec le système lui-même (p. ex. algorithme de jumelage des évaluateurs et critères d’évaluation; classement de demandes comparativement à cotation de demandes);
    3. de problèmes avec des évaluations en ligne de piètre qualité (que certains attribuaient au caractère anonyme du système et du processus d’évaluation en ligne) et d’un manque de responsabilisation pour les évaluations [entre les évaluateurs];
    4. du manque de mesures incitatives et d’approches de reconnaissance pour les évaluateurs, notamment de la part des établissements.
  4. Les répondants ont réclamé le retour de l’évaluation par les pairs en personne (ou la mise en place d’un moyen efficace de discussion en temps réel) dans une optique de respect des normes internationales d’évaluation par les pairs, étant donné que ce modèle sert à assurer le contrôle de la qualité, qu’il contribue à éliminer les préjugés et à assurer l’équité pour tous les genres et les stades de carrière et qu’il favorise la responsabilisation des pairs évaluateurs. Les systèmes d’évaluation par les pairs des NIH et d’autres organismes (p. ex. le National Health and Medical Research Council australien ou le Wellcome Trust) ont été mentionnés comme des exemples à suivre.
  5. Les répondants ont indiqué que les IRSC devraient examiner les taux de réussite en tenant compte des facteurs suivants : stade de carrière, genre, thème, risques et innovation associés au projet (p. ex. classement Reuters en matière d’innovation), statistiques sur les évaluateurs (temps d’évaluation moyen, nombre d’évaluateurs par demande, nombre d’évaluateurs ayant refusé d’effectuer une évaluation, raisons du refus), renseignements sur l’évaluateur (domaine, province et établissement), taux de réussite précédent et prise en compte des commentaires reçus (demandes présentées de nouveau).
  6. Les répondants se sont dits mécontents du processus d’engagement du milieu de la recherche des IRSC, et avaient l’impression que les IRSC n’avaient pas écouté leurs préoccupations, qu’ils ne les avaient pas prises au sérieux et qu’ils n’y avaient pas donné suite. Certains ont suggéré que les IRSC recueillent de la rétroaction auprès de leurs intervenants (p. ex. sondages et entrevues avec le milieu de la recherche, les candidats, les évaluateurs, les présidents de comité, les présidents virtuels, etc.).
Date de modification :