Réunion de travail du milieu de la recherche en santé : Rapport

13 juillet 2016
Ottawa, Canada

Remerciements

Au nom des Instituts de recherche en santé du Canada (IRSC), nous souhaitons témoigner notre reconnaissance à toutes les personnes qui ont pris le temps de participer à la réunion de travail du 13 juillet 2016. Votre dévouement, vos réflexions pertinentes et votre énergie ont créé un climat positif qui nous aura permis de trouver des solutions pragmatiques pour améliorer le processus d'évaluation par les pairs des IRSC.

Nous tenons également à remercier la Dre Morag Park et M. Daniel Normandeau d'avoir animé avec brio la séance. Ils ont grandement contribué à faire de cette réunion un succès.

Pour finir, nous désirons saluer le milieu de la recherche en santé dans son ensemble pour sa volonté d'optimiser le secteur de la recherche au Canada, qui s'appuie sur les efforts de nombreux intervenants de partout dans l'écosystème, notamment les pairs évaluateurs, les présidents, les mentors et stagiaires, les membres de différentes communautés partout au pays, les groupes de patients et les établissements, pour ne nommer que ceux-là. Ensemble, nous pourrons continuer d'améliorer l'efficacité du secteur de la recherche en santé et ainsi contribuer aux résultats sur la santé de tous les Canadiens.

Sincères salutations,
Comité de la haute direction des IRSC

Contexte

En 2016, dans le cadre de la grande réforme du Programme de recherche libre et du processus d'évaluation par les pairs, les Instituts de recherche en santé du Canada (IRSC) ont lancé le tout premier concours de subventions Projet. La réforme visait à contribuer à la viabilité du secteur de la recherche en santé au Canada en finançant des chercheurs de premier ordre qui mènent des activités de recherche et d'application des connaissances dans tous les domaines de la santé, et à garantir la fiabilité, la cohérence, l'équité et l'efficience des processus de concours et d'évaluation par les pairs. Cependant, dans la pratique, les IRSC ont dû affronter certains problèmes de mise en œuvre, en particulier en ce qui a trait au processus d'évaluation par les pairs en ligne.

Des scientifiques de partout au Canada ont exprimé publiquement leurs inquiétudes concernant les lacunes du processus d'évaluation par les pairs pour le concours de subventions Projet de 2016, et ont demandé aux IRSC d'apporter les corrections requises.

Le 5 juillet 2016, la ministre de la Santé, l'honorable Jane Philpott, a publié une déclaration sur les préoccupations croissantes du milieu de la recherche en santé et a demandé aux IRSC de convoquer une réunion de travail avec ses principaux représentants afin de trouver un terrain d'entente et de mettre en œuvre des solutions abordant les enjeux soulevés concernant la qualité et l'intégrité du système d'évaluation par les pairs des IRSC.

Les IRSC ont tenu cette réunion à Ottawa le 13 juillet 2016.

Objectifs de la réunion

La réunion avait trois objectifs principaux :

• préciser et confirmer les principales questions soulevées par le milieu de la recherche en santé en ce qui a trait à la qualité et à l'intégrité du système d'évaluation par les pairs des IRSC;
• trouver un terrain d'entente et progresser vers des solutions viables aux questions évoquées par le milieu de la recherche en santé;
• définir une marche à suivre claire.

L'ordre du jour de la réunion figure à l'annexe A.

Participants

La réunion a rassemblé différents membres du milieu canadien de la recherche en santé, notamment des scientifiques, des administrateurs d'université, des membres du milieu de la recherche sur la santé des Autochtones, des hauts fonctionnaires et des représentants des IRSC. Les participants constituaient un échantillon diversifié de chercheuses et de chercheurs des différentes régions, à différents stades de leur carrière et travaillant dans des thèmes et des disciplines variés. La liste complète des participants figure à l'annexe B.

La Dre Morag Park, professeure au Département de biochimie de l'Université McGill et directrice du Centre de recherche sur le cancer Rosalind et Morris Goodman, a présidé la réunion et agi comme modératrice. Daniel Normandeau a guidé la discussion à titre d'animateur.

Résumé des discussions

Allocution d'ouverture des IRSC

Le Dr Alain Beaudet, président des IRSC, a souhaité la bienvenue aux participants et a fait part de ses attentes par rapport à la journée : trouver une série de solutions pragmatiques communes afin d'améliorer l'évaluation par les pairs des demandes de subventions en recherche libre, notamment des solutions qui devraient pouvoir s'appliquer au prochain cycle de concours.

Le Dr Beaudet a profité de l'occasion pour rappeler aux participants que la réforme a été engagée pour faire du système d'évaluation par les pairs un processus d'évaluation personnalisée (axée sur les demandes), où chaque proposition est étudiée par un groupe de cinq experts. Cette réforme découlait en partie d'un sondage IPSOS Reid mené en 2010 auprès des acteurs du milieu, qui avaient majoritairement exprimé une réelle insatisfaction quant à la qualité et à la cohérence des évaluations par les pairs. En outre, les IRSC avaient de plus en plus de difficulté à faire coïncider les demandes avec le mandat des comités permanents.

Le Dr Beaudet a indiqué quels sont selon lui les avantages théoriques du nouveau système en ligne : 1) faire en sorte que tous les aspects d'une demande – et en particulier d'une demande interdisciplinaire – soient évalués par des experts en la matière qualifiés, tout en minimisant les conflits d'intérêts; 2) permettre aux IRSC de viser l'excellence, quel que soit le domaine de recherche.

Toutefois, d'après lui, des problèmes pratiques sont survenus dans la mise en œuvre du nouveau processus, en particulier lors du premier concours pilote de subventions Projet. En effet, le processus a atteint un point de non-retour qui a suscité des inquiétudes relativement à l'augmentation alarmante du nombre de signalements d'évaluations en ligne de piètre qualité et du manque de discussions appropriées sur le Web.

Le Dr Beaudet a aussi souligné son engagement à demander une évaluation externe complète de la qualité des quelque 15 000 évaluations que les IRSC ont reçues dans le cadre du premier concours de subventions Projet, ainsi qu'à rendre publics les résultats de cette vérification.

Pour ce qui est des résultats des discussions de la journée, on a porté une attention particulière à la création d'une structure permettant la collecte de données en vue de fonder les mesures à prendre sur des données probantes.

Le Dr Beaudet a conclu en soulignant la nécessité de trouver rapidement un compromis qui permettra aux IRSC d'aller de l'avant avec un système en lequel le milieu peut avoir confiance et qui permettra d'évaluer équitablement toute la diversité des projets de recherche en santé les plus méritoires : du thème 1 au thème 4, en passant par la recherche unidisciplinaire et multidisciplinaire, et la recherche fondamentale et appliquée.

Introduction de l'animateur et de la modératrice

M. Normandeau a souligné qu'il était essentiel que les participants puissent énoncer leur point de vue librement, sans être jugés, dans le but d'arriver d'ici la fin de la journée à des solutions réalisables. Il a poursuivi en attirant l'attention sur les efforts faits afin que les participants représentent différents thèmes, domaines de compétence et régions géographiques. Il a aussi salué la participation de la haute direction des IRSC et de membres du conseil d'administration et du conseil scientifique, des représentants d'U15 et du milieu de santé des Autochtones et de jeunes chercheurs. Enfin, il a souligné la présence de représentants du Cabinet de la ministre de la Santé, du sous-ministre de la Santé et d'une représentante d'Innovation, Sciences et Développement économique Canada qui siège au comité consultatif sur l'examen du soutien fédéral à la science fondamentale présidé par le Dr David Naylor.

La modératrice, la Dre Morag Park, a expliqué les raisons pour lesquelles elle a accepté d'appuyer cet exercice, et a affirmé son engagement à l'égard du milieu de la recherche, l'importance qu'elle accorde à la confiance des intervenants du milieu et la nécessité de regagner cette confiance. Elle a ensuite rappelé l'objectif de la réunion, c'est-à-dire de parvenir à des recommandations consensuelles à adresser aux IRSC pour le prochain concours.

La Dre Park a fait remarquer que la réunion avait été organisée très rapidement, et que par conséquent tous n'ont pu être acceptés, mais que le milieu dans son ensemble était tout de même bien représenté. Bien que certains intervenants puissent se sentir exclus, le groupe a promis de transmettre à l'ensemble du milieu les résultats détaillés de la réunion dans les prochains jours.

Avant la première présentation, le groupe a discuté de l'utilisation des règles de Chatham House comme principe de base pour la réunion, mais a rejeté cette proposition.

Concours de subventions Projet de 2016 : leçons apprises par le comité d'évaluation

Le Dr Shawn Aaron, président du comité de l'étape finale de l'évaluation pour le concours de subventions Projet, a présenté les leçons apprises dans le cadre du concours initial et a proposé quelques suggestions du comité. Il a par la suite donné un aperçu de cette étape du processus d'évaluation et précisé qu'au cours d'une réunion en personne tenue à Ottawa en juillet 2016, le comité avait statué sur 100 demandes se trouvant dans la « zone grise » (c'est-à-dire des demandes ayant obtenu des notes discordantes ou ayant fait l'objet de trois évaluations ou moins pendant la première étape).

Il a ajouté que, en raison principalement du manque d'évaluations initiales ou de leur caractère inadéquat, le comité a eu de grandes difficultés à mener son évaluation. Les IRSC ont admis que le processus posait problème, et la haute direction a rencontré le comité pour relever les lacunes et les corriger à la suite de l'étape finale de l'évaluation. Le Dr Aaron s'est aussi fait un point d'honneur de saluer les efforts et le travail exceptionnels du personnel des IRSC tout au long du processus.

Le Dr Aaron a recommandé de choisir les meilleurs éléments de l'ancien système et de conserver les meilleurs du nouveau afin d'améliorer le processus d'évaluation par les pairs. Il a aussi mis en évidence quelques lacunes du nouveau système, et proposé des solutions préliminaires pour les combler.

• Faire passer la longueur des demandes à sept pages.
• Accroitre l'espace réservé à l'approche et aux méthodes, et augmenter la pondération de cette section.
• Permettre aux candidats d'inclure leur CV commun complet, qui recense toutes leurs publications (le Dr Aaron a d'ailleurs mentionné que les évaluateurs consultaient PubMed pour vérifier la liste des publications de toute façon).
• Veiller à ce que les évaluateurs sélectionnés aient une expérience appropriée du sujet traité.
• Autoriser les présidents à nommer des évaluateurs pour les demandes, ce qui favorisera la responsabilisation de ces évaluateurs puisqu'ils ont un lien personnel avec les présidents.
• Envisager d'ajouter une mesure de contrôle électronique (p. ex. une calculatrice du nombre de caractères) qui obligerait les évaluateurs à écrire des commentaires d'une longueur minimale dans leur évaluation.
• Explorer la possibilité d'autoriser la rédaction de « commentaires masqués » qui ne seraient pas transmis aux candidats, mais par lesquels les évaluateurs pourraient signaler par exemple qu'ils manquent d'expertise dans un domaine donné.
• Obliger les chercheurs subventionnés par les IRSC à devenir évaluateur, à moins de circonstances exceptionnelles, ce qui accroitrait la qualité des évaluations.
• Envisager d'autoriser les candidats à un concours à agir également comme évaluateur pour ce concours afin d'améliorer la taille et la qualité du bassin d'évaluateurs.
• Mieux mobiliser les évaluateurs pour améliorer la qualité des évaluations.
• Explorer la possibilité de regrouper des présidents et des évaluateurs en comités (un peu comme dans l'ancienne structure), ce qui améliorerait peut-être la qualité des évaluations et la responsabilisation.
• Rétablir les discussions synchrones, éventuellement par téléconférence.
• Agrandir la « zone grise » afin que le comité de l'étape finale de l'évaluation évalue un nombre accru de demandes.
• Autoriser le comité de l'étape finale de l'évaluation à consulter les demandes de subvention les mieux notées pour calibrer la « zone grise » d'après les meilleurs projets subventionnés.

Dans la période de discussion qui a suivi la présentation du Dr Aaron, les participants ont soulevé des inquiétudes concernant le manque de responsabilisation relative aux conflits d'intérêts dans le nouveau système. Même si la déclaration des conflits d'intérêts ne sera jamais parfaite, on pourrait en améliorer la gestion si les présidents virtuels étaient responsables d'assigner les demandes aux évaluateurs.

Certains participants ont indiqué que le nouveau système d'évaluation par les pairs est déshumanisé et qu'il ne tient pas compte de la nature humaine. Ils ont remis en question les avantages des processus d'évaluation et de discussion virtuels (sauf en ce qui a trait à la réduction des couts, qui pourrait favoriser l'octroi d'un plus grand nombre de subventions).

Quelques participants ont fait savoir que selon eux, le nouveau processus d'évaluation par les pairs prive les chercheurs en début et en milieu de carrière d'une importante occasion de formation et de mentorat. En effet, dans l'ancien système, les évaluations par les pairs en personne permettaient à nombre de chercheurs débutants d'apprendre à rédiger une demande de subvention de qualité en assistant aux discussions du comité.

Des participants ont aussi mentionné que la vidéoconférence ne remplacera jamais les discussions en personne, bien qu'elle puisse être utile dans certaines situations (p. ex. dans les discussions sur les cas aberrants).

Certains participants ont demandé si une personne pourrait théoriquement faire échouer une demande de subvention et biaiser le système en attribuant une mauvaise note à la demande et en diminuant la variabilité. Les IRSC ont confirmé que d'après leur modèle, il serait pratiquement impossible de le faire.

Quelques participants se sont accordés pour dire qu'un des aspects positifs du nouveau système d'évaluation par les pairs est qu'il améliore l'évaluation des projets de recherche interdisciplinaire (comparativement à l'ancien système).

Certains participants ont contesté les critères employés dans le système d'évaluation actuel. Selon eux, certaines sections font double emploi ou ne sont pas assez claires, et il serait possible de fusionner les sections sur la qualité et sur l'importance de l'idée, et de réduire la pondération combinée pour ces sections (qui comptent actuellement pour 50 % de l'évaluation globale).

Concours de subventions Projet de 2016 : leçons apprises par les IRSC

Le Dr Jeff Latimer, directeur général aux IRSC, a présenté un aperçu du concours de subventions Projet et a transmis quelques-unes des leçons apprises par les IRSC.

D'abord, pour ce qui est du volume de demandes, les IRSC ont reçu en tout 4 379 inscriptions au concours de subventions Projet, soit un nombre supérieur aux prévisions. Le nombre réel de candidatures était plutôt de 3 813 demandes soumises par 3 037 chercheurs principaux désignés (CPD) différents. Le financement total demandé était de 3,3 milliards de dollars.

Les IRSC ont eu de la difficulté à trouver des évaluateurs pour ce concours. En effet, ils ont communiqué avec 9 000 évaluateurs potentiels, mais seulement 2 329 d'entre eux ont accepté de participer. Chaque évaluateur devait se voir attribuer de huit à douze demandes, et chaque demande devait recevoir quatre ou cinq évaluations.

En outre, les IRSC ne sont pas satisfaits des résultats de la solution de jumelage automatisée, qui devait apparier les demandes et les évaluateurs. Lorsqu'on leur demandait de juger leur capacité à évaluer une demande donnée, un grand nombre d'évaluateurs indiquaient qu'ils n'étaient pas vraiment la bonne personne à qui confier la demande. Les IRSC ont donc dû jumeler manuellement les évaluateurs et les demandes, ce qui leur a pris quelques semaines. Le processus a causé un retard d'environ deux mois. Soulignons également que 296 évaluateurs se sont désistés à la dernière minute, laissant ainsi peu de temps aux IRSC pour les remplacer.

Les IRSC ont mentionné qu'ils devront améliorer considérablement la solution de jumelage automatisée s'ils comptent s'en servir à nouveau, et que les présidents virtuels devront aussi disposer de plus de temps pour approuver les jumelages et confirmer la compétence des évaluateurs.

Les IRSC devront également prévoir plus de temps pour les évaluations. En effet, à cause de l'échéancier serré du concours de subventions Projet et de la nécessité de remplacer les évaluateurs qui se sont désistés, certains évaluateurs n'ont eu que deux semaines pour analyser les demandes du cycle, ce qui est insuffisant.

Au total, 15 405 évaluations ont été menées pendant le concours, et 2 898 discussions en ligne ont eu lieu (pour environ 76 % des demandes; aucune discussion n'était nécessaire quand les évaluateurs s'entendaient d'emblée au sujet d'une demande).

Au total, 100 demandes se trouvant dans la « zone grise » ont été soumises à l'attention du comité de l'étape finale de l'évaluation. Les IRSC sont conscients que le comité n'a pas eu assez de temps pour les évaluer, et qu'il pourrait à l'avenir être avantageux d'examiner un plus grand nombre de demandes de la « zone grise » à l'étape finale (p. ex. 400 ou 500).

Les IRSC ont fait part de détails concernant les résultats du concours de subventions Projet qui seront dévoilés le 15 juillet 2016 :

• 491 demandes financées (soit un taux de réussite de 13 %);
• 468 chercheurs principaux désignés (CPD) distincts financés;
• 445 de ces CPD reçoivent une seule subvention, et 23 CPD en reçoivent deux;
• 98 nouveaux chercheurs;
• 127 subventions transitoires offertes (45 pour de nouveaux chercheurs; 82 pour d'autres CPD);
• au total, le concours de subventions Projet de 2016 subventionnera 618 projets et 583 CPD, dont 143 nouveaux chercheurs.

Les IRSC ont aussi présenté quelques résultats cumulés pour les subventions Projet en fonction du thème, du sexe du chercheur, du lien avec la santé des Autochtones, du stade de carrière, etc.

Détails des résultats du concours

Remarque : De plus amples renseignements sur les résultats des concours de subventions Projet et Fondation.

Voici les cinq recommandations et points à améliorer qui ont été formulés par les IRSC d'après les leçons apprises de la mise en œuvre du concours de subventions Projet :

1. veiller à ce que tous les évaluateurs disposent d'assez de temps pour faire leur évaluation;
2. améliorer et mettre à l'essai la solution de jumelage;
3. améliorer les catégories de la capacité d'évaluer et mettre la modification à l'essai pour assurer une évaluation axée sur les demandes;
4. circonscrire les domaines dont s'occuperont les présidents virtuels et étendre la charge de travail de ces derniers afin de leur permettre d'approuver les évaluateurs;
5. augmenter le nombre de demandes de la zone grise et le nombre de comités.

Pendant la période de discussion, les IRSC ont indiqué qu'ils feraient une analyse complète des résultats des concours de subventions Fondation et Projet combinés, qui pourraient être comparés à ceux de l'ancien Programme ouvert de subventions de fonctionnement (POSF).

En ce qui concerne le désistement d'évaluateurs, l'un des participants a mentionné que la situation était probablement attribuable en partie à l'échéancier serré imposé.

Les participants ont demandé à connaitre le cout réel des évaluations par les pairs en personne. Les IRSC ont répondu qu'une réunion en personne du comité d'évaluation par les pairs coutait environ 40 000 $, ce qui équivaut grosso modo à 2 millions de dollars par année pour distribuer approximativement 500 millions de dollars en subventions.

Les IRSC ont également indiqué qu'ils analysent la qualité des évaluations reçues dans le concours de subventions Projet. Par exemple, le personnel a déjà fait une évaluation initiale de la solidité et de la pertinence de chacune des 15 405 évaluations (notamment pour vérifier que les commentaires étaient assez longs et que les évaluations étaient généralement pertinentes). Les IRSC ont aussi annoncé qu'ils venaient de publier une demande de propositions pour une analyse complète de la qualité des évaluations.

Les participants ont discuté des avantages et des inconvénients des comités d'évaluation permanents. L'un d'entre eux a déclaré que dans le passé, les IRSC comptaient une cinquantaine de comités d'évaluation, mais qu'on en demandait beaucoup plus et que de nombreuses demandes ne correspondaient pas aux comités existants. Compte tenu de la suggestion d'augmenter le nombre de réunions en personne, une question a été soulevée quant à la manière dont les IRSC pourraient créer des catégories ou des groupes, vu l'ampleur et la complexité de la recherche en santé. Par le passé, des experts étaient convoqués dans les réunions des comités pour évaluer les demandes de subventions multidisciplinaires. Il ne faudrait toutefois pas se contenter de rétablir les anciennes catégories statiques (p. ex. santé respiratoire, santé cardiovasculaire). Il faut veiller à ce que la nouvelle structure d'évaluation par les pairs prenne en compte l'hybridité des sciences et l'évolution du milieu.

Les participants ont soulevé des inquiétudes concernant le système de classement actuel et la difficulté de classer des demandes très différentes. Les IRSC ont répondu qu'il n'y a pas de meilleure méthode que le système actuel pour garantir le financement de l'excellence en recherche. En effet, dans le passé, les IRSC fixaient des quotas par domaine scientifique et, par conséquent, ne finançaient pas nécessairement les meilleurs projets de recherche.

Les participants ont approuvé la recommandation des IRSC d'accroitre la taille de la « zone grise ».

Ils ont par ailleurs demandé aux IRSC la différence entre l'affectation des évaluateurs au moyen de la solution de jumelage automatisée et de la méthode manuelle, ce à quoi les IRSC ont répondu qu'un jumelage manuel n'est pas viable à cause du volume de demandes reçues dans un concours, mais qu'en raison de l'urgence de la situation, cette méthode a dû être utilisée et a amélioré le taux de jumelage.

Principes directeurs d'une évaluation par les pairs de haute qualité

Le Dr Philip Sherman, directeur scientifique de l'Institut de la nutrition, du métabolisme et du diabète des IRSC, a donné un aperçu de la réforme du point de vue historique et de l'évolution des sciences. Il a d'abord apporté son appui solide à la réforme en expliquant l'objectif de l'ancien système et le fait qu'il fonctionnait bien pour certains, mais pas pour d'autres. Le sondage IPSOS Reid (2010) réalisé auprès des chercheurs a d'ailleurs confirmé leur insatisfaction généralisée par rapport à ce système.

En raison de l'évolution des sciences et de la croissance continue de la recherche interdisciplinaire, les IRSC avaient de plus en plus de difficulté à traiter les demandes et à les faire coïncider avec le mandat des comités. Il était donc de plus en plus compliqué de faire en sorte que chaque demande soit traitée par des évaluateurs qualifiés pour en assurer une évaluation appropriée et équitable.

Au bout du compte, le système avait pour effet d'augmenter le nombre de demandes interdisciplinaires rejetées par des comités d'évaluation par les pairs axés sur une discipline donnée, ce qui se traduisait aussi par des échanges de demandes entre les comités. Ce processus occupait une grande part du temps et de l'énergie des comités et des employés.

La vision sous-tendant la réforme était de s'assurer que chaque demande serait évaluée adéquatement, par des évaluateurs qualifiés. Il fallait obtenir cinq évaluations en fonction des exigences en matière d'expertise (p. ex. méthodologie, population, application des connaissances) et atteindre un degré d'entente plus élevé, qui profiterait au processus de triage.

Le Dr Sherman a ajouté que l'ancienne structure des comités, qui exigeait d'établir des quotas ou des bassins uniformes d'un comité à l'autre, avait pu compromettre le principe d'excellence.

Après avoir admis que la mise en œuvre du nouveau système n'était pas parfaite et qu'il fallait régler certains problèmes importants, le Dr Sherman a souligné que nous disposons des outils nécessaires pour créer un système optimal d'évaluation par les pairs sans revenir à l'ancien modèle.

Perspectives autochtones à l'égard de l'évaluation par les pairs

Les Drs Rod McCormick (Université Thompson Rivers), Jeff Reading (Université Simon Fraser) et Josée Lavoie (Université du Manitoba) ont donné leur avis sur les questions en lien avec l'évaluation par les pairs et le financement général de la recherche sur la santé des Autochtones.

Ils ont souligné l'importance de créer un processus d'évaluation par les pairs qui convient à la recherche sur la santé des Autochtones et qui répond aux besoins de ce milieu de recherche unique. Jusqu'à maintenant, ce dernier n'est pas satisfait de la réforme des IRSC, qu'il ne juge ni juste ni durable. Un des intervenants a mentionné qu'un groupe de travail composé de membres du milieu de la recherche sur la santé des Autochtones et de représentants des IRSC élabore actuellement un processus d'évaluation par les pairs optimal pour la recherche sur la santé des Autochtones.

Les intervenants se sont aussi dits préoccupés du peu de fonds réservés à la recherche sur la santé des Autochtones dans le Programme de recherche libre, donnant l'exemple des subventions accordées à des projets de recherche sur la santé des Autochtones dans le premier concours de subventions Fondation des IRSC (seulement un tiers d'un pour cent du budget total des subventions de ce concours). Étant donné que la santé des Autochtones est un enjeu important, qui entraine des couts majeurs dans le domaine de la santé et des soins de santé au Canada, ils ont rappelé la réelle nécessité d'investir dans la recherche sur la santé des Autochtones et de veiller à ce que le processus d'évaluation par les pairs contribue à favoriser cette recherche.

Ils ont aussi noté que pour appuyer la recherche sur la santé des Autochtones, on ne pouvait se contenter de cocher une case pour montrer la pertinence d'un projet de recherche, mais qu'il fallait plutôt veiller à ce que les projets portent sur toute la gamme de disciplines nécessaires en recherche sur la santé des Autochtones.

Il a été mentionné que les IRSC se sont engagés à faire de la recherche sur la santé des Autochtones une priorité, et que les membres de ce milieu de recherche rencontreront le conseil d'administration des IRSC durant la séance de réflexion qui aura lieu cet été dans la réserve de Wendake, au Québec.

La Dre Lavoie a abordé le rôle du Canada comme leader international de la recherche sur la santé des Autochtones et a affirmé qu'il était nécessaire de conserver cette place à l'avenir. Elle a aussi souligné l'importance du chapitre 9 de l'Énoncé de politique des trois Conseils : éthique de la recherche avec des êtres humains, qui porte sur les lignes directrices à respecter dans la recherche visant les Premières Nations, les Inuits et les Métis. D'après ces lignes directrices, les chercheurs doivent nouer des partenariats importants et transformateurs d'une manière qui améliore la capacité des communautés à répondre de façon autonome, à leur guise, aux problèmes de santé qui les touchent. En ce qui concerne l'évaluation par les pairs, la Dre Lavoie a précisé que, souvent, les évaluateurs de l'étranger ne connaissent pas les lignes directrices énoncées dans le chapitre 9 pour le Canada, ce qui risque de nuire accidentellement aux candidats qui font de la recherche sur la santé des Autochtones. Lorsqu'on élabore des solutions et des approches pour l'évaluation par les pairs, on doit tenir compte des circonstances et conditions particulières entourant la recherche sur la santé des Autochtones.

Préoccupations relatives au système actuel d'évaluation par les pairs

Les participants à la réunion de travail ont eu l'occasion de faire connaitre leurs autres préoccupations relativement au processus d'évaluation par les pairs des IRSC, en plus de celles qui avaient été soulevées au début de la matinée et pendant la période de questions. Voici un résumé des principales inquiétudes des participants.

Critères de cotation, de classement et d'évaluation

De nombreux participants ont exprimé des préoccupations par rapport au système de cotation et de classement actuellement utilisé par les IRSC. Ils ont dit avoir de la difficulté à faire confiance à un système que les scientifiques ont eux-mêmes de la difficulté à comprendre. Ils ont demandé aux IRSC d'expliquer comment fonctionne l'algorithme de normalisation servant à obtenir le classement combiné final, ce que le Dr Latimer a fait en détail.

Les participants ont également mentionné que le système actuel de cotation des différentes sections d'une demande prête énormément à confusion. Ils ont suggéré de remplacer les catégories alphabétiques (O++, E+, E, G, F et P) par une échelle de cotation numérique simplifiée (p. ex. de 1 à 10).

Un participant a mentionné que le nouveau système a été conçu pour une notation absolue, alors que le système de classement actuel repose sur le principe de notation relative. Étant donné que les évaluateurs ne traitent qu'un petit volume de demandes, il est peut-être difficile pour eux de classer les demandes adéquatement. Le Dr Latimer a expliqué comment cette approche est mise en œuvre.

Plusieurs participants ont fait remarquer que le système de pondération actuel ne convient pas à tous les types de demandes. Il y a par exemple des critères et des catégories qui ne s'appliquent pas vraiment à certains types de recherche.

Responsabilisation de l'évaluateur

Si bon nombre des difficultés ayant ponctué l'évaluation par les pairs pendant le concours de subventions Projet découlaient de problèmes techniques attribuables au nouveau système, les participants ont tout de même mentionné que la communauté scientifique doit s'acquitter de ses fonctions d'évaluation par les pairs et contribuer au système. Ils se sont entendus pour dire que la piètre qualité des évaluations au dernier cycle incombait en partie à la communauté scientifique. Un participant a fait remarquer que même si nous nous dotions du meilleur système au monde, il ne fonctionnerait que si tous les évaluateurs mettaient réellement la main à la pâte. Plusieurs participants étaient d'avis que les titulaires de subvention des IRSC devraient être obligés de prendre part à l'évaluation par les pairs. Nous avons l'occasion d'étudier d'autres mécanismes de responsabilisation et incitatifs visant à promouvoir une évaluation par les pairs de qualité.

Aspect formateur de l'évaluation par les pairs

Les participants ont souligné l'importance de l'évaluation par les pairs dans la formation des chercheurs débutants, qui pourraient se servir des commentaires constructifs reçus pour améliorer leurs compétences en préparation de demandes de subvention et leurs démarches scientifiques. Par exemple, les notes détaillées de l'agent scientifique (AS) aidaient le candidat en vue du cycle suivant. Le système actuel ne permet toutefois pas de fournir ces précieuses notes, ce qui est considéré comme une énorme lacune sur le plan de la formation.

Les participants ont également discuté du rôle de l'évaluation par les pairs en tant qu'outil de formation pour déterminer s'il s'agit d'une fonction sous-jacente du processus et d'un principe central du système.

Comités d'évaluation par les pairs et subventions multidisciplinaires

Le groupe a discuté de la pertinence de ramener les anciens comités d'évaluation par les pairs ou leur structure ainsi que de leur incidence potentielle sur la recherche multidisciplinaire. Dans l'ensemble, les participants s'entendaient généralement sur l'idée de ramener une certaine structure de comité pour favoriser la conservation de la mémoire organisationnelle. Cela dit, l'ancien système de comités statiques n'était pas assez bien outillé pour répondre aux besoins de la recherche multidisciplinaire ni à l'évolution rapide de certains domaines de la science. La future structure devra être assez flexible pour s'adapter aux besoins d'un paysage scientifique qui ne cesse d'évoluer. Les participants ont toutefois indiqué que l'ancienne structure convenait parfaitement à certains domaines. Dans ces cas, nous pourrions envisager de conserver les éléments qui fonctionnaient bien et d'en ajouter de nouveaux pour favoriser la recherche multidisciplinaire.

Détermination des questions de mise en œuvre et solutions

En petits groupes, les participants ont discuté de différents thèmes mentionnés tout au long de la journée. Voici quelques-unes des suggestions formulées par les participants pour s'attaquer à chacun de ces thèmes. Un grand nombre des idées proposées se situent dans la ligne des recommandations figurant dans la lettre des délégués universitaires adressée aux IRSC et dans le résumé fourni par le comité de l'étape finale de l'évaluation des demandes de subventions Projet.

Sélection des évaluateurs

En ce qui concerne la sélection des évaluateurs, les participants se sont généralement entendus pour dire que les IRSC pouvaient se fier à l'expertise et aux connaissances des présidents virtuels pour choisir et valider les évaluateurs, avec l'aide de l'agent scientifique et du personnel des IRSC. Les participants ont avancé que les instituts (plus précisément les directeurs scientifiques) pourraient participer à l'assignation des demandes aux groupes, aux comités et aux évaluateurs. Quelques-uns ont toutefois mentionné que la charge de travail de certains instituts serait alors trop grande et que certains ne pourraient pas accomplir cette tâche efficacement.

De nombreux participants ont aussi convenu qu'on devrait offrir aux candidats la possibilité de préciser les types d'évaluateurs et de compétences nécessaires à une évaluation efficace de leur demande.

Les participants ont insisté sur le fait que les évaluateurs doivent avoir suffisamment de temps pour bien s'acquitter de leurs tâches. L'avantage des évaluations synchrones a été souligné une fois de plus.

Engagement des évaluateurs

La nécessité d'augmenter le nombre de rencontres en personne a été un thème dominant au sein de tous les groupes. Différentes raisons ont été invoquées : mentorat, expérience d'apprentissage pour les jeunes chercheurs, possibilités de réseautage. Les participants ont souligné le fait que la vaste majorité des évaluateurs souhaitent s'engager et prendre part au processus.

On a mentionné que les rencontres en personne incitent les évaluateurs à rendre des comptes à leurs pairs, ce qui améliore la qualité des évaluations. Quelqu'un a proposé un autre moyen d'améliorer les évaluations : noter les évaluateurs.

Les participants ont également discuté de la pertinence d'offrir des incitatifs pour encourager les évaluateurs et ainsi rétablir la confiance. Certains étaient toutefois d'avis qu'une telle mesure attirerait davantage les jeunes chercheurs non permanents que les scientifiques chevronnés. D'autres ont suggéré de rendre obligatoire la participation à l'évaluation par les pairs pour les titulaires de subvention actuels ou récents.

Mentorat et rétroaction

Les participants ont tous convenu que les notes de l'agent scientifique aident les candidats non choisis à améliorer leur demande en vue des cycles de financement subséquents. Ils ont également fait part de leur désir de recevoir de la rétroaction utile (pas seulement sur leurs forces et leurs faiblesses) sous forme de commentaires non structurés ainsi que de leur souhait d'assurer la responsabilisation. Ils ont en outre insisté sur l'importance du moment où cette rétroaction est fournie : selon eux, les IRSC devraient transmettre les évaluations aux candidats non choisis aussi rapidement que possible afin qu'ils disposent d'assez de temps pour réviser leur demande. Les participants ont indiqué que, pour favoriser la responsabilisation des évaluateurs, les IRSC devraient procéder à des contrôles de la qualité afin de s'assurer que les évaluateurs s'impliquent activement dans le processus.

En général, les participants ont considéré la recommandation voulant qu'on laisse les stagiaires et les chercheurs débutants assister aux réunions d'évaluation en personne comme une mesure particulièrement favorable à la formation et au mentorat. Certains ont proposé que les établissements offrent un soutien financier pour concrétiser cette possibilité et permettre aux observateurs de participer à des réunions d'évaluation par les pairs en personne.

Comités, bassins, étendue du mandat et façons de favoriser la recherche multidisciplinaire et interdisciplinaire

La majorité des participants s'entendaient pour dire qu'un retour aux nombreux comités d'évaluation, comme avant, n'était pas l'idéal, mais qu'il existe un meilleur moyen de regrouper des comités. Certains ont suggéré que les directeurs scientifiques des IRSC prennent part à cet exercice, et que la nouvelle structure pourrait potentiellement reproduire celle des IRSC, avec un total de 13 comités. Il a toutefois été mentionné que certains instituts compteraient un plus grand nombre de groupes puisque le nombre de demandes varie d'un institut à l'autre. On a également noté que la structure des IRSC ne suffirait pas pour couvrir tous les domaines de la science ni pour répondre adéquatement à la question de la recherche multidisciplinaire.

Concernant la première étape de l'évaluation, certaines personnes ont suggéré d'organiser des discussions synchrones par l'intermédiaire de WebEx, de Skype ou d'une téléconférence. Cette approche serait toutefois difficile à mettre en œuvre dans le cadre d'un concours de grande envergure.

Malgré une certaine variation dans les nombres exacts énoncés, les groupes ont indiqué qu'il faudrait affecter quatre ou cinq évaluateurs à chaque demande, regrouper 120 demandes par catégorie et retenir de 40 à 50 % des demandes pour l'étape suivante après le triage. Par ailleurs, en plus de l'affiliation des évaluateurs à des comités groupés, on a proposé la création d'un sous-ensemble d'évaluateurs « mobiles » ayant une expertise précise et pouvant passer d'une catégorie à l'autre (p. ex. statisticiens). On s'assurerait ainsi d'offrir aux évaluateurs une expertise complémentaire pour évaluer les demandes, en particulier celles touchant la recherche multidisciplinaire.

Formulaires de demande et notation

Les participants se sont entendus sur plusieurs aspects par rapport aux formulaires de demande et à la notation. Ils étaient entre autres en faveur d'une modification du processus de cotation et d'un retour à un système de notation numérique plus simple. La nécessité de flexibiliser et de rallonger le formulaire de demande a également fait consensus. Bon nombre de participants ont suggéré de passer à 10 pages au lieu de 7, et de ne pas limiter le nombre de lettres d'appui.

Recherches sur les Autochtones

Plusieurs participants ont souligné la nécessité de réserver des fonds pour la recherche sur la santé des Autochtones et de créer un comité d'évaluation distinct.

Les participants ont également mentionné que le processus d'évaluation par les pairs devrait davantage tenir compte des besoins culturels. Par exemple, l'engagement communautaire n'est pas facilement applicable aux processus et aux échéanciers actuels. Les participants se sont aussi montrés préoccupés à l'idée que les évaluateurs internationaux n'aient pas une connaissance suffisante du chapitre 9 de l'Énoncé de politique des trois Conseils : éthique de la recherche avec des êtres humains, qui porte sur la recherche visant les Autochtones et sa mise en œuvre dans un contexte canadien.

Autres commentaires de la séance plénière

Après le retour des groupes en plénière, d'autres recommandations ont été formulées et débattues. Il convient de noter qu'en général, les participants se sont entendus sur plusieurs des changements proposés, comme l'imposition d'un maximum de deux demandes par concours pour chaque CPD. Ils ont également réitéré leur appui aux évaluations synchrones, à un minimum de quatre ou cinq évaluateurs par demande, et à une augmentation du pourcentage de demandes passant à la deuxième étape de l'évaluation. Morag Park a fourni un résumé détaillé du large consensus observé tout au long de la séance, clairement exposé dans la section des résultats finaux du présent rapport.

Résultats finaux

Voici les solutions proposées et approuvées par les participants à la réunion de travail. Ces changements ont été approuvés par le conseil d'administration des IRSC après une analyse de faisabilité.

Demandes

• Les candidats seront autorisés à présenter deux demandes à chaque concours de subventions Projet.
• Le nombre limite de pages sera porté à 10 (figures et tableaux compris) par demande, et les candidats pourront joindre un nombre illimité de documents, comme des références et des lettres d'appui.

Étape 1 : triage

• Les présidents virtuels seront désormais jumelés à des agents scientifiques. Ils gèreront ensemble un bloc de demandes et aideront les IRSC à s'assurer que toutes les demandes sont assignées à des évaluateurs hautement compétents.
• Chaque demande fera l'objet de quatre ou cinq évaluations à la première étape.
• Les candidats peuvent désormais être évaluateurs à l'étape 1 du concours. Toutefois, ils ne peuvent participer à l'évaluation du bloc de demandes dont leur propre demande fait partie.
• Discussion en ligne ne fera plus partie du processus de l'étape 1.
• Les IRSC reviendront à un système de notation numérique (qui remplacera le système alphabétique actuel) pour faciliter le classement des demandes du concours de subventions Projet.

Étape 2 : discussion en personne

• Environ 40 % des demandes évaluées à l'étape 1 passeront à l'étape 2, où elles seront évaluées au cours de réunions en personne à Ottawa.
• Seront évaluées à l'étape 2 les demandes les mieux notées et celles dont les notes s'écartent de façon marquée.
• Les présidents virtuels travailleront avec les IRSC pour former des comités dynamiques, en fonction de la teneur des demandes qui passent à l'étape 2.
• Les demandes qui passent à l'étape 2 seront évaluées par trois membres du comité. Un système de classement pour l'ensemble des comités réunis en personne sera établi afin de garantir que les demandes de la plus haute qualité continuent d'être financées.

Les membres de la communauté autochtone présents à la réunion du groupe de travail ont approuvé les principes et la structure définis par le groupe de travail, sous réserve qu'il y ait un processus itératif complémentaire d'évaluation par les pairs pour les propositions d'intérêt autochtone lors du prochain concours du Programme de recherche libre et des concours ultérieurs. Il est en outre entendu que toute la recherche d'intérêt autochtone financée après avoir été soumise aux processus d'évaluation par les pairs des IRSC sera conforme au chapitre 9 de l'Énoncé de politique des trois Conseils.

Conclusion

Les IRSC s'engagent à mettre ces changements en œuvre dès le prochain cycle des concours de subventions Projet et Fondation en 2016. Un groupe de travail sur l'évaluation par les pairs sera mis sur pied sous la supervision du président administratif du collège des évaluateurs, et des participants à la réunion de travail seront également choisis pour conseiller les IRSC sur la mise en œuvre de ces changements.

Par ailleurs, le groupe de travail examinera différentes options pour veiller à ce que les critères de sélection soient adéquats et garantissent l'équité entre les candidats à différents stades de carrière, notamment les chercheurs en début de carrière et les chercheurs en milieu de carrière. Il devra entre autres étudier l'option d'augmenter de 5 % les taux de réussite de référence pour les chercheurs en début et en milieu de carrière.

Les IRSC continueront de collaborer avec le milieu de la recherche sur la santé des Autochtones – notamment avec le groupe de référence des IRSC sur les bonnes pratiques d'évaluation par les pairs pour la recherche sur la santé des Autochtones et le comité directeur de la recherche sur la santé des Autochtones – afin de trouver des moyens de répondre aux préoccupations des membres de cette communauté en lien avec le processus d'évaluation par les pairs et les autres enjeux touchant la recherche sur la santé des Autochtones. Dans le cadre de ce dialogue continu, les IRSC s'engagent à collaborer avec leur conseil d'administration pour étudier la possibilité de réserver des fonds du Programme de recherche libre pour les consacrer à la recherche sur la santé des Autochtones.

Autres remarques

Le 13 juillet 2016, les IRSC ont publié un communiqué résumant les résultats de la réunion de travail. La ministre de la Santé a également publié une déclaration pour souligner les résultats de cette réunion.

Une version préliminaire du présent rapport a été transmise aux membres de la réunion de travail le 18 juillet 2016, comme il a été convenu dans le cadre de référence de ladite réunion.

Le 22 juillet 2016, les IRSC ont publié sur leur site Web les résultats finaux détaillés de la réunion de travail ainsi que des renseignements concernant la création du groupe de travail sur l'évaluation par les pairs.

Annexe A – Ordre du jour de la réunion

Réunion de travail du milieu de la recherche en santé
13 juillet 2016, de 8 h à 16 h 30
Endroit : Hôtel Sheraton – salle Rideau, 2e étage, 150, rue Albert, Ottawa (Ontario)

Annexe B – Liste des participants

• Morag Park
  Modératrice
  Directrice du Centre de recherche sur le cancer Rosalind et Morris Goodman
  Université McGill
• Daniel Normandeau
  Animateur
• Shawn Aaron
  Université d'Ottawa
• Carolina Alfieri
  Centre de recherche, CHU Sainte-Justine
• Brenda Andrews
  Université de Toronto
• Jane Aubin
  Instituts de recherche en santé du Canada
• Meghan Azad
  Université du Manitoba
• Kristin Baetz
  Université d'Ottawa et Société canadienne pour les biosciences moléculaires
• Robert L. Baker
  Université McMaster
• Christian Baron
  Université de Montréal
• Alain Beaudet
  Instituts de recherche en santé du Canada
• Lara Boyd
  Université de la Colombie-Britannique
• John Capone
  Université de Waterloo
• André Carpentier
  Université de Sherbrooke
• David Clements
  Cabinet de la ministre de la Santé (observateur)
• Kristin Connor
  Université Carleton
• Shelley Doucet
  Université du Nouveau-Brunswick à Saint John et Dalhousie Medicine New Brunswick
• Michelle Driedger
  Université du Manitoba
• Aled Edwards
  Université de Toronto
• John T. Fisher
  Université Queen's
• Lucie Germain
  Université Laval
• Alain Gratton
  Université McGill et Centre de recherche de l'hôpital Douglas
• Eva Grunfeld
  Institut ontarien de recherche sur le cancer et Université de Toronto
• David Hill
  Institut de recherche en santé Lawson
  St. Joseph's Health Care
• Sarah C. Hughes
  Université de l'Alberta
• Digvir Jayas
  Université du Manitoba
• Joy Johnson
  Université Simon Fraser
• Simon Kennedy
  Santé Canada (observateur)
• Nadine Kolas
  Ministère de l'Innovation, des Sciences et du Développement économique (observatrice)
• Paul Kubes
  Université de Calgary
• Jeff Latimer
  Instituts de recherche en santé du Canada
• Josée Lavoie
  Université du Manitoba
• Scot Leary
  Université de la Saskatchewan
• Emily Gard Marshall
  Université Dalhousie
• Jean-Yves Masson
  Université Laval
• Roderick McCormick
  Université Thompson Rivers
• Jennifer McGrath
  Université Concordia
• Rod McInnes
  Institut Lady Davis de recherches médicales et Université McGill
• Robert McMaster
  Vancouver Coastal Health Research Institute
• Mona Nemer
  Université d'Ottawa
• Peter Nickerson
  Université du Manitoba
• Michael Owen
  Institut universitaire de technologie de l'Ontario
• Vassilios Papadopoulos
  Institut de recherche du Centre universitaire de santé McGill
• Michel Perron
  Instituts de recherche en santé du Canada
• Caroline Pitfield
  Cabinet de la ministre de la Santé (observatrice)
• Jeff Reading
  Université Simon Fraser
• David Rose
  Université de Waterloo
• Brian Rowe
  Université de l'Alberta
  Directeur scientifique de l'Institut de la santé circulatoire et respiratoire des IRSC
• Thérèse Roy
  Instituts de recherche en santé du Canada
• Jane Rylett
  Université Western
• Phil Sherman
  Hôpital pour enfants de Toronto
  Directeur scientifique de l'Institut de la nutrition, du métabolisme et du diabète des IRSC
• Arjumand Siddiqi
  Université de Toronto
• Steven P. Smith
  Université Queen's
• Michael Strong
  Université Western
• Bill Tholl
  SoinsSantéCAN
• Kelly VanKoughnet
  Instituts de recherche en santé du Canada
• Sam Weiss
  Université de Calgary
• Lori West (membre du conseil d'administration des IRSC)
  Université de l'Alberta
• Holly Witteman
  Université Laval
• Jim Woodgett
  Institut de recherche Lunenfeld-Tanenbaum
• Terry-Lynn Young (membre du conseil d'administration des IRSC)
  Université Memorial de Terre-Neuve

Date de modification :

2016-07-29