Rapport du comité international d'experts sur l'évaluation par les pairs
Rapport présenté au conseil d'administration des Instituts de recherche en santé du Canada

Février 2017

Table des matières

Citation

Gluckman, P., M. Ferguson, A. Glover, J. Grant, T. Groves, M. Lauer et M. Ulfendahl (2017). Comité international d'experts sur l'évaluation par les pairs : rapport présenté au conseil d'administration des Instituts de recherche en santé du Canada.

Remerciements

Le comité tient à exprimer son appréciation de la qualité et de l'exhaustivité des rapports fournis par les IRSC et les participants qu'il a rencontrés. Il tient également à souligner le professionnalisme dont ont fait preuve le personnel, les agents et le président des IRSC durant le processus d'évaluation. Le comité souhaite remercier tout particulièrement Sarah Viehbeck et David Peckham de leur aide, entre autres durant la rédaction du présent rapport.

Déclaration de conflits d'intérêts

Au début du processus et lors des réunions en personne de janvier 2017, tous les membres du comité d'experts sur l'évaluation par les pairs ont été invités à déclarer tout conflit d'intérêts et toute association actuelle ou antérieure avec les IRSC.

Le comité s'est assuré d'être entièrement indépendant. Ainsi, aucun de ses membres n'avait récemment été associé aux IRSC. À aucun moment avant, pendant ou après le processus d'évaluation les IRSC n'ont cherché à orienter ou à influencer les discussions ou les recommandations du comité. Par ailleurs, nous souhaitons souligner que les commentaires et les recommandations figurant dans le présent rapport font l'unanimité parmi les sept membres du comité.

Le tableau suivant résume les conflits d'intérêts et les associations déclarés.

Membre du comité Conflits d'intérêts ou associations avec les IRSC déclarés
Sir Peter Gluckman Aucun conflit déclaré; a siégé au conseil consultatif de l'Institut du développement et de la santé des enfants et des adolescents des IRSC entre 2001 et 2003.
Mark W. J. Ferguson Aucun conflit déclaré.
Dame (Lesley) Anne Glover Aucun conflit déclaré.
Jonathan Grant Aucun conflit déclaré; a collaboré en 2008 à un consortium international de recherche dont faisaient partie les IRSC dans le cadre du projet Retrosight – une évaluation à grande échelle des retombées de la recherche sur les maladies cardiovasculaires.
Trish Groves Aucun conflit déclaré.
Michael Lauer Aucun conflit déclaré.
Mats Ulfendahl Aucun conflit déclaré.

Sommaire

Le mandat des IRSC est « d'exceller, selon les normes internationales reconnues d'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada ». Ce mandat est exhaustif, s'étendant de la science axée sur la découverte et de la création de connaissances à l'application des connaissances. Il doit englober non seulement la recherche biomédicale et la recherche clinique, mais aussi la recherche sur les services et les systèmes de santé et la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations. Il exige également des IRSC qu'ils évaluent les retombées potentielles des projets.

Les IRSC mènent depuis 2009 une initiative de grande envergure, soit la réforme de l'ancien Programme ouvert de subventions de fonctionnement, dont l'exploitation reposait principalement sur une approche héritée du Conseil de recherches médicales. L'objectif de cette réforme : la mise en place d'un programme qui permettrait aux IRSC de remplir l'ensemble de leur mandat et allègerait le fardeau des pairs évaluateurs et des candidats. Malheureusement, des lacunes dans la mise en œuvre opérationnelle, des contraintes financières imposées aux organismes de financement de la recherche en santé et l'instauration simultanée de nombreux changements aux IRSC sont venues compliquer l'adoption de cette réforme et ébranler la confiance entre les IRSC et leurs intervenants, qui doit maintenant être rétablie.

En septembre 2016, les IRSC ont annoncé un examen international indépendant sur les processus de conception et de sélection de leurs programmes de recherche libre. L'organisme est tenu de mettre en place un examen international tous les cinq ans.

Le comité international d'experts sur l'évaluation par les pairs souscrit à l'intention sous-jacente à la réforme et salue la vision et l'innovation dont ont fait preuve les IRSC en ce qui concerne leurs processus de conception des programmes et d'évaluation des demandes de subvention. L'intention du concept et la logique de l'innovation derrière les programmes ouverts et le processus d'évaluation par les pairs étaient valables. Il est très regrettable que la mise en œuvre ait connu des ratés.

L'évaluation par les pairs n'est qu'un volet de l'évaluation des demandes de subvention et de l'attribution des fonds. En effet, certaines dimensions stratégiques viennent également influer sur le processus d'évaluation des demandes et doivent être conjuguées aux aspects techniques du processus d'évaluation par les pairs afin d'avoir un système d'attribution de subventions de calibre mondial. L'évaluation par les pairs est un processus fondamentalement subjectif qui pose particulièrement problème lorsque les niveaux de financement sont bas; pour que le processus fonctionne, il faut que tous les intervenants le considèrent comme étant fiable et équitable. Or, certaines hypothèses très répandues sur la conception d'une évaluation par les pairs ne sont appuyées par aucune donnée probante.

Chaque modèle d'évaluation par les pairs comporte des forces et implique des conséquences, et les IRSC devront en tenir compte à l'avenir. Tout système d'évaluation par les pairs s'accompagne de contraintes de nature conceptuelle. Peu importe leur conception finale, les programmes de financement de la recherche libre doivent avoir comme objectif global d'appuyer le mandat des IRSC énoncé dans la Loi sur les IRSC.

Par conséquent, le comité propose ci-après un cadre général pour l'avenir, mais laisse aux IRSC, en collaboration avec leurs intervenants, le soin d'aborder certaines questions stratégiques et opérationnelles pour déterminer la conception finale. Le comité est d'avis qu'il serait facile de modifier la conception actuelle du processus d'évaluation par les pairs pour qu'il soit de calibre mondial et qu'il s'inscrive dans le mandat des IRSC tout en restaurant un sentiment d'équité et de confiance. Le comité croit également qu'il n'est pas souhaitable d'imposer d'autres compressions à l'ancien système.

Résumé des recommandations

  1. Nous recommandons que le gouvernement du Canada finance davantage la recherche en santé.
  2. Nous recommandons que la Loi sur les IRSC soit modifiée afin que les fonctions de président du conseil d'administration et de président/PDG soient séparées (paragraphe 9(1)).
  3. Nous recommandons qu'un conseil consultatif international soit nommé pour appuyer le processus de réforme.
  4. Nous recommandons que tous les intervenants du système canadien de recherche en santé collaborent pour augmenter leur incidence sur la santé de la population.
  5. Nous recommandons aux IRSC d'élaborer une stratégie d'investissement et de la diffuser à grande échelle.
  6. Nous recommandons aux IRSC d'adopter les meilleures pratiques relatives à l'évaluation par les pairs suivantes :
    • 6.1. Intégrer des agents scientifiques responsables de l'évaluation détenteurs d'un doctorat et formés en recherche au personnel des IRSC afin qu'ils soutiennent les processus de recrutement des évaluateurs, d'assignation des demandes, de gestion des subventions et de communication avec les candidats.
    • 6.2. Faire appel à un plus grand nombre d'évaluateurs internationaux pour atténuer la demande d'évaluateurs canadiens, réduire la possibilité de conflits d'intérêts et de biais positifs ou négatifs et aider les IRSC à remplir leur mandat d'« exceller, selon les normes internationales reconnues de l'excellence scientifique […] ».
    • 6.3. Mettre en place un processus pour que les candidats retenus au terme du triage puissent répondre aux commentaires des évaluateurs.
  7. Nous recommandons aux IRSC de continuer à innover dans leur manière d'effectuer l'évaluation par les pairs.

Préambule

Le Canada a démontré depuis longtemps son excellence dans l'ensemble des domaines de la recherche en santé. Il fait également figure de proue à l'international en tant que pionnier dans des domaines tels que la médecine factuelle et l'application des connaissances.

En 2000, lorsqu'il a créé les Instituts de recherche en santé du Canada (IRSC) en vertu d'une loi du Parlement, le gouvernement du Canada a établi une nouvelle vision pour la recherche en santé au pays et pour la façon de la financer. Le mandat des IRSC est « d'exceller, selon les normes internationales reconnues d'excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d'améliorer la santé de la population canadienne, d'offrir de meilleurs produits et services de santé, et de renforcer le système de santé au Canada ».

Ce mandat est exhaustif, s'étendant de la science axée sur la découverte et de la création de connaissances à l'application des connaissances. Il doit englober non seulement la recherche biomédicale et la recherche clinique, mais aussi la recherche sur les services et les systèmes de santé et la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations. Il exige également des IRSC qu'ils évaluent les retombées potentielles des projets. Ce vaste mandat multidimensionnel demeure un défi pour les IRSC 17 ans après leur création, eux qui doivent chercher à encourager l'intégration de la recherche dans ces quatre thèmes et à maintenir un équilibre entre promotion de l'excellence dans l'ensemble des domaines de la recherche en santé et maximisation des retombées.

Les IRSC mènent depuis 2009 une initiative de grande envergure, soit la réforme de l'ancien Programme ouvert de subventions de fonctionnement, dont l'exploitation reposait principalement sur une approche héritée du Conseil de recherches médicales. L'objectif de cette réforme : la mise en place d'un programme qui permettrait aux IRSC de remplir l'ensemble de leur mandat et allègerait le fardeau des pairs évaluateurs et des candidats. De par sa portée et sa nature, cette réforme, qui a été déployée dans un contexte de compressions budgétaires, a suscité des réactions partagées dans le milieu de la recherche et chez les intervenants des IRSC en raison de sa conception globale, et plus particulièrement des importants problèmes ayant miné sa mise en œuvre. Les réactions subséquentes du milieu de la recherche ont mis en lumière d'autres problèmes, qui sont venus exacerber les tensions et qui ont mené à d'autres changements dans l'exécution des programmes de financement – changements qui sont d'ailleurs toujours en cours. Résultat : la confiance des intervenants a été ébranlée.

Les IRSC sont tenus de mettre en place un processus d'examen international tous les cinq ans. Vu le contexte actuel, les IRSC ont formé un comité d'experts sur l'évaluation par les pairs [ci-après le « comité »] auquel il a confié le mandat précis d'examiner les processus de conception et de sélection des programmes de recherche libre des IRSC en tenant compte du mandat des IRSC, de l'évolution de la recherche en santé, des pratiques des organismes de financement internationaux et de la documentation disponible sur l'évaluation par les pairs.

Le comité est d'avis que la réforme dans sa conception initiale était novatrice, tombait à point et que, d'une manière générale, constituait un pas dans la bonne direction. Partout dans le monde, les bailleurs de fonds doivent composer avec un système d'évaluation par les pairs qui croule sous les demandes. Il importe de souligner que l'intention et l'orientation des IRSC étaient audacieuses, novatrices et avant-gardistes sur la scène internationale. Nous espérons que les évènements récents ne freineront pas cet esprit d'innovation.

Le comité sait que nombre d'efforts bien intentionnés ont été consacrés à la conception de cette réforme, comme en témoignent la modélisation de la demande potentielle et les consultations avec le milieu de la recherche. Malheureusement, une série d'importantes lacunes dans la mise en œuvre combinée à une mobilisation insuffisante du milieu ont miné la confiance à l'égard de la réforme proposée et ont nui à son exécution.

Une cause sous-jacente à toutes ces préoccupations est l'état actuel du financement de la recherche en santé au Canada, qui a été réduit durant le processus de réforme.

Après avoir examiné un vaste ensemble de documents, de rapports et de demandes et rencontré les différents intervenants, le comité croit, au premier abord, qu'il aurait approuvé les principes fondamentaux et l'intention du concept initial. Nous, membres du comité, sommes d'avis que s'il avait bien été mis en œuvre, le concept aurait pu déboucher sur un système efficace et novateur d'attribution du financement de la recherche, à deux conditions : 1) que les IRSC aient davantage recours à des évaluateurs internationaux et 2) qu'ils embauchent des agents scientifiques responsables de l'évaluation pour gérer les communications entre les IRSC et le milieu de la recherche.

Le comité a établi que son rôle n'était pas de dresser un bilan détaillé et de se concentrer sur les problèmes de mise en œuvre, mais bien d'effectuer une analyse prospective afin d'aider les IRSC à s'appuyer sur le travail déjà accompli pour mettre en place un système d'attribution de financement fonctionnel, efficace et fiable conforme à leur mandat. Le comité insiste sur le fait que les prochaines étapes devront reposer sur des efforts collectifs déployés non seulement par les IRSC, mais aussi par d'autres acteurs de l'écosystème de la recherche, en particulier par le milieu élargi de la recherche, c'est-à-dire les établissements et les personnes qui le composent. Il sera impératif de rétablir la confiance des intervenants et du milieu de la recherche en santé canadiens envers les IRSC. Certaines de nos recommandations sont d'ailleurs axées précisément sur cet aspect.

Portée et déroulement de l'évaluation

En septembre 2016, les IRSC ont annoncé un examen international indépendant sur les processus de conception et de sélection de leurs programmes de recherche libre. L'organisme est tenu de mettre en place un examen international tous les cinq ans. On a demandé au comité de répondre aux questions suivantes :

  1. Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?
  2. Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?
  3. Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs?
  4. Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?
  5. Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?
  6. Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?

Après un examen de la documentation fournie et en réponse aux commentaires des intervenants, le comité a demandé à ce que son mandat soit élargi, ce qui a été approuvé par le vice-président du conseil d'administration et le président des IRSC. Le comité a été invité à formuler des observations plus générales sur les IRSC. Comme il n'arrivait pas à séparer complètement les enjeux touchant la gouvernance, la gestion et l'environnement de financement de ceux touchant l'évaluation par les pairs et la conception des programmes, il a senti qu'il devait également se prononcer, au besoin, sur le rôle de ces enjeux.

Il importe de souligner que le comité ne s'est pas penché sur l'évaluation par les pairs des demandes de subvention de la recherche en santé autochtone, puisque les IRSC ont déjà mis en place un processus parallèle en collaboration avec des chercheurs du domaine et des représentants des communautés autochtones. Le comité salue les efforts que les IRSC et le groupe de référence sur les bonnes pratiques d'évaluation par les pairs pour la recherche en santé autochtone ont déployés pour concevoir et mettre en place des processus novateurs afin que l'évaluation par les pairs des projets de recherche en santé autochtone soit adaptée à la culture.

De plus, le comité ne s'est aucunement penché sur les programmes des IRSC non liés aux programmes de subventions Fondation et Projet. Il n'a pas non plus évalué le financement provincial de la recherche en santé ni son incidence sur les IRSC, mais a observé que le financement total alloué par l'ensemble des bailleurs de fonds provinciaux équivaut à environ 50 % du financement des IRSC (environ 500 millions de dollars).

Le comité reconnaît que son évaluation a eu lieu dans les débuts de la mise en œuvre de plusieurs changements, et que les données concernant l'incidence de ces changements sont plutôt limitées. Cela dit, le comité se sent tout de même en mesure de formuler des recommandations pertinentes qui devraient aider les IRSC à évoluer dans l'esprit de leur mandat. Ainsi, il leur recommande de procéder à une autre restructuration afin de résoudre les problèmes mis en évidence, de maintenir le cap (orientation et intention de la réforme) et de rétablir la confiance à l'égard du processus d'attribution de subventions. Le comité sait par ailleurs que ce type de réforme nécessite une évaluation et un suivi continus.

Les IRSC ont transmis au comité trois trousses très complètes de documents de référence (en octobre, décembre et janvier). Si l'on tient compte des articles fournis par les personnes que le comité a rencontrées, les documents d'information faisaient environ 1 000 pages au total. La liste de tous les documents se trouve à l'annexe C. En voici un résumé :

  • Renseignements généraux détaillés sur la conception et la mise en œuvre de la réforme
  • Rapports sur les résultats des concours de financement des IRSC, sondages sur la satisfaction des évaluateurs et des candidats et audits sur la mise en œuvre de la réforme
  • Deux rapports commandés à des consultants indépendants – une analyse bibliométrique (menée par l'Observatoire des sciences et des technologies) et une revue de la littérature portant sur les meilleures pratiques relatives à l'évaluation par les pairs (effectuée par RAND Europe)
  • Commentaires d'intervenants recueillis sur le site Web des IRSC et par les instituts des IRSC; mémoires soumis par des organismes et lettres déjà soumises concernant la réforme (p. ex. lettre ouverte envoyée à la ministre de la Santé en juin 2016)
  • Rapports et présentations des employés des IRSC et des personnes invitées à rencontrer le comité

Le comité tient à exprimer son appréciation de la qualité et de l'exhaustivité des rapports fournis ainsi que de la rapidité avec laquelle le personnel des IRSC a répondu à toutes ses demandes d'information. En effet, les IRSC n'ont pas tardé à fournir au comité toutes les données demandées, y compris des analyses additionnelles. Il tient également à souligner le professionnalisme dont ont fait preuve le personnel, les agents et le président des IRSC durant le processus d'évaluation. Le comité a été particulièrement impressionné par la profondeur de la réflexion, l'ampleur de l'engagement, le souci d'honnêteté et le degré d'enthousiasme ayant transparu dans les présentations des intervenants.

Le comité s'est réuni en personne à Ottawa du 16 au 18 janvier 2017 et a profité de l'occasion pour rencontrer des cadres des IRSC, des représentants du milieu de la recherche et des représentants d'autres groupes d'intervenants clés des IRSC ainsi que pour rédiger une version préliminaire de son rapport. L'ordre du jour se trouve à l'annexe D.

Ces rencontres ainsi que les présentations reçues par le comité ont clairement démontré une volonté collective des intervenants – conseil d'administration et direction des IRSC, chercheurs, organismes provinciaux, universités, centres de soins de santé et hôpitaux – d'améliorer les processus des IRSC et le financement de la recherche libre. Selon le comité, il faut tirer profit de cet enthousiasme et le transformer en une vision et en un objectif communs pour la recherche en santé au Canada.

Cela étant dit, nous amorçons notre rapport en présentant le contexte entourant le comité d'experts sur l'évaluation par les pairs ainsi que des observations générales sur les IRSC et sur leurs systèmes d'évaluation par les pairs et d'attribution de subventions pour la recherche libre. À partir de ces énoncés généraux, nous nous penchons ensuite sur le but de l'évaluation des demandes de subvention et appliquons les résultats de notre analyse au concept, à la structure et la mise en œuvre de la réforme des IRSC. Puis, à partir des leçons tirées, nous proposons aux IRSC un modèle générique fondé sur divers principes d'évaluation par les pairs. Nous concluons avec des commentaires et une série de recommandations. Enfin, dans les annexes, nous répondons aux six questions qui nous ont été posées, présentons les membres du comité, dressons la liste des documents qui nous ont été remis et fournissons l'ordre du jour de nos rencontres de janvier 2017.

Contexte entourant le comité d'experts sur l'évaluation par les pairs

Depuis la publication en 2009 de la Feuille de route pour la recherche et, bien sûr, depuis l'examen international de 2011, les IRSC ont dû faire face à une multitude de changements importants en même temps. Parmi ces changements à l'interne et à l'externe, notons :

  • le plafonnement nécessaire du budget des IRSC après une période de croissance;
  • la décision du Conseil de recherches en sciences humaines (CRSH) en 2009 de ne plus financer la recherche en santé;
  • la temporisation de certains programmes pour les intégrer à la nouvelle série de programmes ouverts (p. ex. programmes d'application des connaissances, programme de commercialisation);
  • le processus de modernisation des instituts (p. ex. réduction du nombre de conseils consultatifs d'institut et modification du rôle des instituts en matière de financement);
  • l'introduction simultanée des programmes de subventions Fondation et Projet et des processus d'évaluation par les pairs en découlant.

Il est également possible que le milieu de la recherche éprouve encore certains problèmes à l'égard de l'élargissement de la mission des IRSC par rapport à celle de l'ancien Conseil de recherches médicales, depuis l'adoption de la Loi sur les IRSC en 2000, et que ces sentiments aient été exacerbés après que le gouvernement a réalisé une série d'investissements dans des programmes ciblés (comme la Stratégie de recherche axée sur le patient [SRAP]) sans faire de même dans les programmes ouverts.

Dans ce contexte, il a été difficile de déterminer les causes exactes des problèmes, à savoir s'ils découlaient de l'évaluation par les pairs, de la réforme en général, des changements menés en parallèle, du mandat de l'organisme ou encore, globalement, des compressions budgétaires dans le domaine de la recherche en santé. On ne peut nier que la mise en œuvre des changements apportés par les IRSC à leur système d'évaluation par les pairs ne s'est pas déroulée sans heurts. Mentionnons tout particulièrement la trop grande confiance dans l'algorithme de jumelage, dont l'échec subséquent a entraîné toute une cascade de problèmes de mise en œuvre. À la réponse à ces problèmes se sont cependant mêlées les inquiétudes plus générales à l'égard de la situation de la recherche en santé au Canada et d'autres enjeux associés au processus de réforme, ce qui a exacerbé les tensions et témoigné d'un climat de crise au sein du milieu canadien de la recherche en santé.

Aux yeux du comité, c'est l'ensemble de facteurs ayant contribué à ce « cocktail explosif » qui a abouti à une situation où l'on a conclu à un lien de causalité entre la réforme des IRSC et l'état actuel de l'entreprise de recherche en santé. Sans minimiser les inquiétudes entièrement légitimes à propos des problèmes et des échecs associés à la mise en œuvre du nouveau système d'évaluation, le comité est d'avis que tant que les problèmes sous-jacents ne seront pas réglés, en particulier la disparité entre le mandat et les niveaux de financement, l'entreprise de recherche en santé au Canada n'ira jamais au bout de son remarquable potentiel.

Le comité est également conscient que son évaluation s'est déroulée en même temps que l'Examen du soutien fédéral aux sciences du gouvernement du Canada et espère que cet examen abordera certains problèmes structurels plus vastes touchant l'entreprise de recherche en santé, notamment en ce qui a trait au budget et à la collaboration des organismes pour le financement conjoint.

Commentaires généraux sur la perspective et les objectifs du comité

Nous tenons à préciser d'entrée de jeu que, quoique centrale, l'évaluation par les pairs n'estqu'une des étapes du processus d'évaluation des demandes de subvention et des décisions subséquentes d'attribution de financement de la recherche. Au moment de prendre ces décisions, les IRSC doivent tenir compte de nombreux facteurs afin de s'acquitter de leur mandat et de leurs responsabilités. Parmi les facteurs à considérer, notons l'orientation stratégique globale prise par le gouvernement au nom des Canadiens, les priorités stratégiques établies par le conseil d'administration des IRSC, l'équilibre entre les outils d'attribution de financement (p. ex. combinaison de recherche priorisée et de recherche libre, priorisation du type de recherche ou de chercheurs) ainsi que des facteurs autres que l'excellence utilisés pour déterminer les demandes admissibles, tels que les retombées ou le comblement de lacunes dans la recherche. L'étape de l'évaluation par les pairs sert principalement à définir l'excellence en recherche.

De plus en plus, les organismes de financement à l'échelle internationale tiennent compte de ces grands éléments stratégiques au moment de concevoir leur processus d'évaluation des demandes de subvention. Il n'existe toutefois aucune norme de référence en matière d'évaluation des demandes de subvention ni, par conséquent, d'évaluation par les pairs. De nombreux organismes, dont les IRSC, conçoivent différents processus en fonction des objectifs propres à chacun de leurs programmes afin de refléter l'ensemble des obligations s'inscrivant dans leur mission. Pour être couronné de succès, le processus d'évaluation par les pairs de tout organisme subventionnaire doit être considéré comme étant équitable par tous les intervenants clés, le bailleur de fonds et son personnel ainsi que le milieu de la recherche et ses établissements.

L'évaluation par les pairs est un processus subjectif pouvant être, dans le meilleur des cas, pseudoobjectif.

Les commentaires du comité ont été formulés dans cette optique et dans le but d'offrir aux IRSC des recommandations constructives et prospectives. Ces commentaires et recommandations reposent sur quatre grands objectifs que le comité a considérés comme étant de première importance pour son évaluation. Voici ces objectifs :

  • Aider les IRSC à remplir leurs obligations découlant de la Loi sur les IRSC et aux objectifs définis dans le préambule de celle-ci.
  • Assurer l'harmonisation stratégique et la compréhension des programmes de financement par concours (programmes de subventions Fondation et Projet) dans le portefeuille des IRSC.
  • Veiller à ce que les processus d'évaluation des demandes de subvention, et nommément l'étape d'évaluation par les pairs, reposent sur les meilleures pratiques et soient perçus par les intervenants clés, y compris le milieu de la recherche, comme étant équitables, rigoureux et fiables.
  • Rétablir la confiance à l'égard des IRSC.

Observations générales

IRSC

Les observations générales suivantes formulées par le comité portent sur la capacité des IRSC à apporter efficacement des changements à leurs programmes de recherche libre et à leur système d'évaluation des demandes de subvention.

  1. Les IRSC ne sont pas les seuls responsables du système de recherche en santé du Canada. Bon nombre des problèmes soulevés par les intervenants touchaient les systèmes. À l'avenir, les IRSC devront se concentrer sur leur mandat d'améliorer la santé des Canadiens et de leur offrir des services en tant qu'organisme public. Les partenaires, les intervenants et les établissements (universités, centres universitaires des sciences de la santé) doivent tous collaborer pour soutenir le système et assumer leur rôle. Nous avons remarqué que certains intervenants ne reconnaissaient pas entièrement l'importance de leur rôle.

  2. Compressions dans le financement de la recherche en santé au Canada. Le plafonnement du budget des IRSC depuis 2010Note en bas de page 1 combiné à la hausse du volume des demandes a entraîné une baisse du financement disponible. Des hausses antérieures du financement ainsi que la croissance du secteur tertiaire et de l'économie axée sur l'innovationNote en bas de page 2 s'étaient traduites par une croissance du milieu de la recherche en santé. Or, d'après les situations observées ailleurs dans le mondeNote en bas de page 3, une augmentation rapide suivie d'un plafonnement du financement mènent généralement à un accroissement de la pression, surtout quand les jeunes chercheurs formés et encouragés durant la période de croissance se joignent au bassin de chercheurs indépendants.

    Par ailleurs, le potentiel croissant de la recherche en santé pour améliorer la santé des Canadiens et influer positivement sur l'économie axée sur l'innovation a entraîné des pressions financières, puisqu'il y a eu multiplication des outils, des approches et des questions. Qui plus est, un éventail grandissant de chercheurs, tels que des ingénieurs, des scientifiques des données, des spécialistes des sciences sociales, des spécialistes des politiques et de l'évaluation ainsi que des chercheurs en sciences humaines, ont maintenant un rôle important à jouer dans la recherche en santé et se tournent vers les IRSC pour obtenir du financement. Cette situation s'est aggravée en 2009, lorsque le CRSH a décidé de modifier ses critères d'admissibilité associés à la recherche en santé.

    En réalité, les fonds absolus consacrés à la recherche en santé au Canada demeurent l'une des principales pommes de discorde au sein du milieu de la recherche et ont posé des difficultés aux IRSC (p. ex. sur le plan de l'équilibre entre les programmes Fondation et Projet). L'effet net de tous ces facteurs : une baisse du taux de réussite des programmes de recherche libre des IRSC. Selon les données, c'est le niveau de financement et non le nouveau système qui a mené à d'importantes interruptions du financement de nombreux programmes de recherche établis. La réforme du processus d'évaluation des demandes de subvention semble avoir été conçue selon l'hypothèse qu'il y aurait une hausse du financement accordé aux programmes de recherche libre des IRSC. Cette hausse ne s'est toutefois pas concrétisée durant la période de mise en œuvre, ce qui a empêché de mener le projet à bien.

    Nous avons également remarqué que les organismes provinciaux de recherche en santé accordent un financement important à certains volets de la recherche en santé, et qu'ils doivent maintenant composer avec une pression grandissante.

  3. Fragmentation du milieu de la recherche. Le contexte du financement, tel qu'il est décrit ci-dessus, a conduit à une certaine fragmentation des intervenants des différents milieux de recherche des IRSC. L'amélioration du rendement du système de recherche passera par l'adoption d'une approche collective plus harmonisée. Il faudra également que tous reconnaissent qu'ils doivent collaborer activement pour rendre le milieu de la recherche plus solide, plus inclusif et plus fructueux, de la recherche axée sur la découverte à l'étude d'évaluation. Pour y arriver, il faudra continuellement améliorer l'intégration des disciplines, nouvelles et existantes, y compris celles touchant les sciences biomédicales, l'ingénierie, les sciences sociales et les sciences humaines.
  4. Programmes de subventions Fondation et Projet. L'introduction simultanée de ces deux programmes était logique. L'intention derrière chacun d'entre eux est différente et importante, et ils comportent des mécanismes semblables dans de nombreux champs d'application. Toutefois, le fait qu'ils aient été lancés en même temps que la réforme du processus d'évaluation par les pairs est venue ajouter de la pression sur l'ensemble du système : le nombre de demandes a augmenté, les chercheurs en présentant dans les deux programmes, ce qui a aussi contribué aux lacunes dans la mise en œuvre. Hélas, il semble également qu'un certain sentiment de rivalité existe entre les deux programmes aux yeux de certains intervenants du milieu de la recherche. Avec le recul, si le programme Fondation avait été instauré plus progressivement et que son nombre de subventions avait été inférieur, la tension aurait peut-être été moindre, et la transition se serait sans doute faite plus en douceur. Les IRSC ont d'abord mis à l'essai quelques aspects de leurs nouveaux programmes, certes, mais d'autres programmes de conception semblableNote en bas de page 4 ont été mis en œuvre plus lentement ailleurs dans le monde.

  5. Absence de compréhension commune et de stratégie claire. Il incombe au conseil d'administration d'établir une stratégie pour les IRSC. Même si l'organisme dispose d'un plan stratégique, l'orientation stratégique globale derrière l'attribution de financement durant la réforme et l'équilibre du portefeuille n'avait pas été bien expliquée ni bien comprise, tant à l'interne qu'à l'externe. La réforme et les dépenses connexes ne semblaient pas s'inscrire dans une stratégie d'investissement claire.

    Comme nous l'expliquerons plus loin dans le rapport, les IRSC devront définir précisément certains éléments stratégiques associés à l'évaluation des demandes de subvention (p. ex. équilibre entre l'évaluation de l'excellence et des retombées, attribution de fonds consacrés aux chercheurs en début de carrière) et les communiquer clairement à tous les intervenants.

  6. Lacunes fondamentales dans la mise en œuvre. Malgré les efforts louables déployés dans la conception de la réforme du système d'évaluation par les pairs et de la structure de financement des subventions, il ne fait aucun doute que les IRSC n'ont pas réussi à bien mettre en œuvre ces changements. Les IRSC n'ont pas suffisamment testé l'algorithme de jumelage évaluateur-projet et ne sont pas parvenus à mettre en place le collège des évaluateurs à temps pour le début de la réforme, à mobiliser le milieu de la recherche tout au long de la réforme ainsi qu'à maintenir la confiance de leurs principaux intervenants, du milieu de la recherche et des Canadiens, représentés par les politiciens. Nous ne sommes pas en mesure de nous prononcer sur la cause profonde de cet échec, mais nous nous demandons si les IRSC disposaient de capacités de gestion du changement suffisantes pour mener à bien la réforme prévue. Nous tenons à souligner que les lacunes étaient d'ordre purement opérationnel, que l'intention du concept était valable et que les résultats des concours subséquents n'ont pas entraîné un déséquilibre inadéquat dans le portefeuille des chercheurs financés. Les IRSC ont continué, par l'intermédiaire de ces programmes, à investir l'argent des contribuables de façon judicieuse et appropriée.

  7. Processus de consultation utiles. Il a souvent été allégué que les IRSC n'avaient pas mené suffisamment de consultations sur la réforme de leurs programmes de recherche libre. Le comité a pourtant constaté qu'un grand nombre d'activités d'engagement semblaient avoir été organisées, sur une longue période, et a d'ailleurs été impressionné par la quantité d'activités menées et d'efforts déployés. Cette incohérence laisse présumer que le contexte de ces consultations n'était pas idéal, que le dialogue n'a pas été efficace ou que les attentes n'étaient pas réalistes. Le manque de clarté stratégique ainsi que les problèmes contextuels plus larges susmentionnés ont probablement alimenté le sentiment que le dialogue avait été insuffisant.

    Les changements apportés hâtivement à la conception des programmes en réponse à la rétroaction reçue des intervenants durant l'été 2016 pourraient avoir empiré la situation au lieu de l'améliorer, car ils ont entraîné une certaine confusion dans le milieu. Il est très difficile de mener une consultation efficace lorsque le lien de confiance a été rompu.

  8. Manque de transparence. Des intervenants nous ont dit qu'ils s'attendaient à une plus grande « transparence », sans toutefois préciser concrètement ce qu'ils entendaient par là. Cela dit, bon nombre d'entre eux ont mentionné vouloir un plus grand accès aux données. Le site Web des IRSC est très complet; on y trouve beaucoup de données. À l'international, le fait de diffuser les taux de réussite des demandes de subvention par sexes ou par étapes de carrière, par exemple, est considéré comme une bonne pratique. Les IRSC le font déjà et devraient continuer de le faireNote en bas de page 5. Par ailleurs, les IRSC devraient envisager de publier la proportion des demandes de subvention admissibles mais non financées afin de distinguer les problèmes associés à l'évaluation par les pairs de ceux d'ordre budgétaire.

    Les données publiées par les IRSC concernant les demandes de financement retenues sont généralement semblables à celles publiées par d'autres organismes ailleurs dans le monde. Certaines personnes ont demandé la publication de données plus exhaustives et détaillées, notamment en ce qui a trait aux demandes refusées. Nous, membres du comité, croyons toutefois que ce n'est pas réaliste. À notre connaissance, aucun organisme comparable ne procède ainsi, et ils ont de nombreuses excellentes raisons de ne pas le faire. Cela dit, certains acceptent, pourvu que des mesures de protection appropriées soient en place, l'analyse de l'ensemble des demandes de subvention si un projet de recherche en ce sens leur est officiellement présenté. Aucune raison n'empêche les IRSC de procéder ainsi. Ils pourraient s'inspirer de la marche à suivre proposée dans le NIH Data Book [Recueil de données des NIH]Note en bas de page 6.

  9. Érosion de la confiance. Le comité croit que les facteurs susmentionnés et les problèmes de mise en œuvre du processus d'évaluation par les pairs ont tous contribué à une érosion importante de la confiance entre les IRSC et leurs intervenants, en particulier de la part de certains membres du milieu de la recherche.

  10. Gouvernance des IRSC. Le modèle de gouvernance décrit dans la Loi sur les IRSC, en vertu duquel le président des IRSC est également le président du conseil d'administration, ne constitue pas un modèle approprié aux yeux du comité, parce qu'il ne s'inscrit pas dans les meilleures pratiques internationales relatives à la gouvernance d'un organisme de financement.

    Si le comité a relevé cette situation, il a néanmoins été impressionné par le professionnalisme avec lequel le président et le vice-président ont tenté de régler le problème, le vice-président ayant assumé le rôle de président du conseil lorsqu'il y avait lieu de le faire, et le président ayant quitté les réunions lorsque nécessaire durant les séances à huit clos. Le comité est persuadé que le président et le vice-président ont agi en toute intégrité. Or, la Loi en soi n'est pas conforme aux bonnes pratiques en matière de séparation des fonctions de gouvernance et de gestion. Lorsque la confiance est mise à l'épreuve, les perceptions peuvent être aussi importantes que la réalité.

    La gestion du changement et l'atténuation des risques doivent absolument reposer sur des structures et des procédures de gouvernance adéquates et une surveillance de la gestion indépendante. Nous n'étions pas chargés d'évaluer l'origine des problèmes observés, mais nous soupçonnons qu'ils auraient pu être partiellement atténués par une séparation plus nette entre la gouvernance et la gestion ainsi que par une plus grande indépendance du conseil d'administration.

Système d'évaluation des demandes de subvention et d'évaluation par les pairs des IRSC

Financement accordé à la recherche

Aucun pays ou presque n'a les moyens de concrétiser toutes les idées du milieu de la recherche. C'est pourquoi des choix doivent être faits, et ce, selon une stratégie de priorisation. À l'échelon le plus élevé, c'est le gouvernement qui fait ces choix en décidant des montants alloués à la recherche en santé par rapport à ceux alloués aux autres domaines de recherche et aux autres catégories de dépenses publiques. Il peut également prendre d'autres décisions en donnant une orientation à l'organisme de financement, que ce soit par l'intermédiaire d'une loi ou par d'autres procédures constitutionnelles telles que des lettres d'attentes ministérielles. Puis, c'est à l'organisme de financement d'établir ses principales stratégies de priorisation. Dans ses fonctions de gouvernance, l'organisme doit veiller à maintenir un bon équilibre entre les sciences fondamentales et les sciences appliquées et s'attendre à déployer des efforts considérables pour protéger les sciences fondamentales étant donné la perspective du monde politique à l'égard de ces dernières. Parmi ces décisions stratégiques, notons l'équilibre entre l'excellence et les retombées/la pertinence de la recherche, qui est implicite dans la Loi sur les IRSC.

Personne ne remet en doute l'importance d'évaluer l'excellence. Cela dit, la définition de l'excellence repose sur une multitude de critères et de points de vue. Mentionnons entre autres la clarté de la question, la méthodologie, la planification statistique (s'il y a lieu), l'engagement des intervenants (s'il y a lieu; par exemple pour la recherche communautaire) et la qualité des chercheurs ainsi que de l'équipe et de l'infrastructure de recherche. La méthode traditionnelle d'évaluation par des pairs experts du domaine a principalement été conçue pour repérer les éléments essentiels à l'excellence de la recherche.

Outre l'excellence de la recherche, de plus en plus de pays exigent de leurs organismes de recherche qu'ils accordent davantage d'importance à l'évaluation de la pertinence et des retombées. Les retombées ne sont pas seulement celles directement observables sur le plan de l'économie ou de la santé. En effet, les sciences fondamentales peuvent avoir d'énormes retombées et constituent un volet important d'une mission de recherche. Si l'on prévoit évaluer les retombées, il faut établir une taxonomie claire et transparente des retombéesNote en bas de page 7. Le concept de retombées doit être large et inclusif – il peut inclure les retombées sur les capacités de recherche d'un pays découlant de l'élaboration d'une méthode ou d'une formation; de nouvelles constatations fondamentales; les retombées de la recherche translationnelle sur l'économie, la société et la santé; et même des considérations d'ordre diplomatique. Ce concept s'éloigne de la définition bibliométrique théorique et traditionnelle. À l'échelle mondiale, les organismes de financement s'interrogent de plus en plus sur la façon de définir et d'évaluer les retombées; certains utilisent même désormais des processus distincts pour évaluer les retombées et l'excellence. Se pose alors la question stratégique suivante : comment combiner ces deux évaluations pour déterminer quels projets financer?

Comme les IRSC ont pour objectif de financer de la recherche qui génère des retombées dans un très large éventail de domaines, nous sommes d'avis que les IRSC doivent concevoir leur processus d'attribution de subventions en abordant clairement la question des retombées.

La définition restrictive que bien des gens donnent à la notion de « pairs » (c.-à-d. des personnes détenant une expertise semblable dans un domaine très pointu) est à l'origine d'une tension inutile entre l'excellence scientifique et les retombées et peut nuire à l'évaluation de ces dernières. Aux IRSC, cette tension est alimentée par la pratique bien ancrée voulant que les décisions relatives au financement reposent entièrement sur les cotes ou le classement de l'évaluation par les pairs, et dans un contexte où le taux de réussite est faible, cette situation peut occasionner des problèmes. Il est stipulé dans la Loi sur les IRSC que l'organisme doit tenir compte de l'excellence et des retombées puisque son mandat en matière d'application des connaissances consiste « à améliorer la santé de la population canadienne, à offrir de meilleurs produits et services de santé et à renforcer le système de santé au Canada ». La pondération et la définition utilisées pour l'excellence et les retombées et la façon d'évaluer ces facteurs contribueront à déterminer les éléments conceptuels d'un processus d'évaluation des demandes de subvention.

Malgré ce que nous venons de mentionner, comme les mauvaises recherches sont synonymes de perte d'argent, la qualité doit toujours primer toute autre considération.

L'évaluation par les pairs n'est pas la seule source de rétroaction pour l'évaluation des demandes de subvention et l'attribution de financement

Au-delà de l'évaluation par les pairs, il existe de nombreuses dimensions à l'attribution de financement. Notons par exemple, à grande échelle, l'orientation du gouvernement en matière de sciences et d'innovation; à moyenne échelle, le mandat et les priorités stratégiques de l'organisme; et à petite échelle, la sélection et le jumelage des évaluateurs ainsi que les critères d'évaluation. Le comité a remarqué que les IRSC et le milieu de la recherche semblent avoir limité l'évaluation des demandes de subvention dans le contexte de la recherche libre à une évaluation par des pairs experts sur le sujet de la subvention. Si l'on élargissait la vision de l'évaluation des demandes, on pourrait par exemple ajouter au processus, lorsque c'est approprié, une évaluation par un expert, une évaluation par un utilisateur final, une évaluation par un citoyen ou un patient, une évaluation de la méthodologie, une évaluation des retombées, etc.

Objectif de l'évaluation par les pairs

Le principal objectif de l'évaluation par les pairs est d'obtenir l'avis d'experts durant le processus d'attribution de subventions. Cela dit, des intervenants ont clairement indiqué qu'une grande partie du milieu de la recherche s'attendait également à ce que ce processus serve un deuxième objectif : le renforcement des capacités. En effet, on s'attend à ce que les évaluateurs fournissent aux candidats non retenus des commentaires exhaustifs pour leur permettre de modifier leur demande, de la présenter à nouveau et d'augmenter leurs chances de réussite. Il faut toutefois savoir que, dans des cas extrêmes, la présentation récurrente d'une demande peut amener le comité à pratiquement réécrire cette dernière. Il s'agit de l'une des raisons pour lesquelles certains organismes ont renforcé les restrictions concernant la présentation à nouveau d'une demande.

Lorsqu'il est au cœur de l'évaluation par les pairs, l'aspect formation a une énorme incidence sur la conception du processus. En effet, il alourdit la charge de travail des évaluateurs, peut décourager leur participation et créer des biais. Une trop grande charge de travail incite les évaluateurs potentiels à refuser les invitations à participer au processus. L'aspect formation doit donc être un objectif secondaire, et non le principal objectif du processus d'évaluation des demandes de subvention. Un nombre grandissant de systèmes de subventions ont d'ailleurs revu à la baisse leurs attentes à cet égard. Certains systèmes ne fournissent maintenant qu'un minimum de rétroaction – parfois une seule ligne –, en particulier pour les demandes de subvention n'ayant pas passé l'étape du triage. En revanche, d'autres organismes continuent de fournir une rétroaction exhaustive. De nombreux organismes limitent le nombre de fois qu'une demande peut être présentée, et certains ne permettent pas que les demandes inférieures à un certain seuil de qualité soient présentées à nouveauNote en bas de page 8.

S'inspirant des pratiques de plus en plus répandues à l'international, le comité est d'avis que la responsabilité première du perfectionnement des chercheurs et de leur demande revient aux établissements d'accueil et non aux IRSC.

Certains établissements ont déjà mis en place des mécanismes d'assurance de la qualité et de soutien scientifique visant à améliorer la qualité des demandes de subvention avant leur présentation. Cette méthode est à privilégier.

Au bout du compte, la conception d'un système d'évaluation de demandes de subvention est étroitement liée à la nature et à l'ampleur de la rétroaction attendue. En fait, elle est le fruit d'une décision stratégique et opérationnelle sur les objectifs de l'évaluation. Une certaine rétroaction de la part du système d'évaluation par les pairs est souhaitable, surtout à des fins de transparence, en particulier dans le cas des demandes jugées admissibles qui ne sont pas financées en raison de contraintes budgétaires. Malgré ce que nous venons de mentionner, même si le principal objectif de l'évaluation des demandes de subvention est d'allouer du financement, l'adoption de processus pour améliorer la rétroaction fournie aux candidats pourrait susciter la confiance dans le système.

Limites des modèles d'évaluation par les pairs

Bien que les intervenants et les IRSC aient une grande confiance dans l'évaluation par les pairs, on s'entend généralement pour dire qu'aucun système d'évaluation par les pairs n'est parfait. Reposant sur une action humaine, l'évaluation par les pairs est davantage un art qu'une science. Il s'agit ultimement d'un processus subjectif qui ne peut fonctionner que si les intervenants (candidats, évaluateurs et bailleurs de fonds) jugent le système équitable et approprié.

L'évaluation des demandes de subvention par les pairs sert à déterminer de façon qualitative ce qui est manifestement admissible et ce qui ne l'est pas, tandis que le choix des demandes financées repose en grande partie sur les fonds disponibles. Toutefois, dans la plupart des systèmes, le nombre de demandes jugées admissibles dépasse le nombre de demandes pouvant être financées. L'évaluation par les pairs est malheureusement moins efficace que d'autres modèles pour établir le rang centile (c.-à-d. le classement par ordre de rang) des demandes qui devraient être financées parmi le bassin des demandes admissibles (c.-à-d. la zone grise). Lorsque le classement par ordre de rang est réellement disproportionné, comme dans un contexte où le taux de réussite est inférieur à 20 %, l'efficacité de l'évaluation par les pairs pour prédire la productivité diminue (Fang et coll., 2016; Doyle et coll., 2015; Lauer et coll., 2015a; Lauer et coll., 2015b).

Nous remercions les IRSC d'avoir commandé à RAND Europe, avant le début de nos travaux, une importante revue de la littérature et un rapport sur les processus d'évaluation par les pairs. Ces documents nous ont été fournis. Par ailleurs, les membres du comité ont une grande expérience auprès de plusieurs organismes subventionnaires internationaux de la recherche bien perçus. Comme mentionné dans le présent rapport, les articles scientifiques sur l'évaluation de demandes de subvention sont rares. Il est ironique de constater que si peu de recherches ont été menées sur l'allocation de fonds à la recherche, ce qui a mené à la création de traditions, d'anecdotes et même de mythes influençant l'opinion des chercheurs à l'égard de tous les systèmes d'évaluation par les pairs.

Processus d'évaluation par les pairs

Nous avons beaucoup entendu parler de l'importance des évaluations en personne. De nombreux chercheurs semblent persuadés qu'une évaluation par les pairs en personne comporte divers avantages comme une plus grande responsabilisation des évaluateurs à effectuer un travail de grande qualité, en plus de conférer aux évaluateurs des avantages sur le plan du réseautage, du mentorat, du renforcement des capacités, etc. Le comité est d'avis que ces avantages sont exagérés. D'une part, on peut assurer la responsabilisation des évaluateurs de bien d'autres manières : interactions électroniques, évaluations en deux étapes par différents évaluateurs, réponse des candidats aux commentaires des évaluateurs, etc. D'autre part, les avantages secondaires en lien avec le réseautage devraient plutôt relever des établissements, des organisations universitaires ou des associations professionnelles.

Cela dit, même la littérature scientifique n'indique pas clairement que les discussions entre évaluateurs améliorent la fiabilité des cotes (Fogelholm et coll., 2012; Mayo et coll., 2006). Qui plus est, seulement deux études se sont penchées sur l'évaluation virtuelle par les pairs au moyen de téléconférences et de Second Life, un univers virtuel (Pier et coll., 2015; Gallo et coll., 2013). Pier et ses collaborateurs (2015) ont organisé une vidéoconférence et trois réunions en personne d'après les procédures d'évaluation des NIH et ont conclu que la cotation associée aux deux méthodes était semblable. Ils ont néanmoins mentionné que tous les participants avaient dit préférer les réunions en personne. De leur côté, Gallo et ses collaborateurs (2013) ont étudié les résultats de quatre ans de discussions de comités d'évaluations par les pairs, soit deux ans de réunions en personne et deux ans de téléconférences. Ils ont observé des différences minimes en ce qui concerne la distribution des cotes pour le mérite, la fiabilité interévaluateurs et les données démographiques des évaluateurs, mais des différences notables entre les temps de discussion. Les chercheurs ont également conclu que peu importe la méthode de discussion utilisée, celle-ci n'influe que sur les décisions relatives au financement d'environ 10 % des demandes, et que les cotes de ces demandes sont généralement revues à la baisse. En résumé, la différence entre les résultats des discussions en personne et des discussions par téléconférences était minime.

Par ailleurs, les données probantes laissent également supposer que, dans le format traditionnel (réunions en personne) de l'évaluation par les pairs, les caractéristiques individuelles des évaluateurs sont susceptibles d'entraîner des biais (p. ex. Jang et coll., 2016; Tamblyn et coll., 2016; Kaatz et coll., 2014), et que ce format peut mener à une prise de décisions conventionnelles (Boudreau et coll., 2012; 2016) et influencées par la dynamique du groupe (Olbrecht et coll., 2010), où les quelques personnes considérées comme les plus « compétentes » dans un domaine précis orientent souvent le processus décisionnel (Luukkonen et coll., 2012). Il reste à vérifier si le format virtuel présente ces mêmes lacunes.

Et maintenant, un mot sur les conflits d'intérêts. Ceux-ci peuvent passer sous silence malgré les efforts des bailleurs de fonds pour les exposer. En étudiant les comités de l'American Institute of Biological Sciences, dont les membres doivent eux-mêmes déclarer tout conflit d'intérêts, Gallo et ses collaborateurs (2016) ont conclu qu'au total, le tiers des membres d'un comité d'évaluation par les pairs présentait au moins un conflit d'intérêts. Or, de ces conflits, seulement 35 % avaient été déclarés par les évaluateurs; les 65 % restants avaient été trouvés manuellement.

Enfin, parmi les importants changements conceptuels apportés par les IRSC, notons une transition pour délaisser les comités d'évaluation relativement stables. Le comité approuve cette idée. En effet, les comités permanents peuvent avoir des inconvénients : par exemple, les candidats peuvent rédiger leur demande en sachant qui sont les évaluateurs, ou il peut y avoir au sein d'un comité des biais systématiques qui se répètent durant plusieurs cycles. Les comités ont parfois aussi leur propre dynamique pouvant entraîner des biais positifs ou négatifs. La pensée de groupe peut comporter des dangers, et les discussions peuvent être détournées par les évaluateurs ayant une forte personnalitéNote en bas de page 9.

Recours limité à des évaluateurs internationaux

Le comité a constaté que les IRSC ne faisaient que très peu appel à des évaluateurs internationaux. En général, environ 10 % des évaluateurs dans le cadre des programmes de recherche libre sont rattachés à des établissements à l'extérieur du Canada. Par ailleurs, le comité a trouvé qu'il y avait des différences surprenantes et inquiétantes entre l'opinion de différents intervenants à l'égard de la pertinence et de la faisabilité d'intégrer des évaluateurs internationaux aux processus des IRSC. Or, le comité croit fermement qu'un recours accru à des évaluateurs internationaux ajouterait une valeur considérable au système canadien en élargissant le bassin d'évaluateurs potentiels (nombre plus élevé, expertise plus accessible, plus d'évaluateurs francophones), en élevant l'évaluation de la recherche au Canada à un calibre mondial et en limitant le risque de copinage et de conflits d'intérêts, réels ou perçus. Ces perceptions représentaient d'ailleurs encore une importante source d'inquiétudes chez certains intervenants avant les récents changements, et elles ont motivé en partie la décision des IRSC de renoncer aux comités d'évaluation permanents. Les notions de conflits d'intérêts et de préjugés inconscients ou conscients orientent de plus en plus la restructuration des systèmes d'attribution de subventions à l'échelle internationaleNote en bas de page 10.

Processus d'évaluation des demandes de subvention des IRSC : éléments à considérer pour aller de l'avant

Clarté des objectifs de l'évaluation des demandes de subvention

Les IRSC devront définir de façon plus explicite l'orientation stratégique derrière les objectifs de l'évaluation des demandes de subvention (p. ex. l'attribution de financement par rapport au renforcement des capacités, l'excellence par rapport aux retombées) et communiquer clairement ces objectifs au milieu de la recherche. Il se pourrait donc que les IRSC doivent établir des critères d'évaluation différents pour diverses catégories de recherche, comme c'est actuellement le cas avec les programmes de subventions Fondation et Projet. Ils pourront ainsi mieux gérer les attentes du milieu en matière d'évaluation des demandes.

Nombreuses sont les approches pour aborder les principaux problèmes de l'évaluation des demandes de subvention. Par exemple, à la Science Foundation Ireland, ce sont des comités distincts qui évaluent l'excellence et les retombées (on recense d'abord les meilleures demandes, puis on les classe en fonction de leurs retombées potentielles). La Fondation Howard Hughes ne fournit généralement que peu de rétroaction, et de nombreux organismes, dont le Conseil de recherche suédois, ne donnent que peu ou pas de rétroaction aux candidats dont les demandes sont rejetées au triage. Peu d'études de grande qualité ont porté sur ces enjeux. Il faut féliciter les IRSC d'avoir adopté une approche novatrice et évolutive. Tous les organismes de financement pourraient en tirer des leçons.

Ces objectifs stratégiques sont importants lorsqu'on conçoit les dernières étapes d'un processus d'évaluation de demandes de subvention. Nous recommandons tout particulièrement aux IRSC de clarifier leurs attentes en matière d'excellence, de retombées et de rétroaction. Les recommandations figurant plus loin dans le présent rapport s'inspirent de pratiques de plus en plus utilisées dans d'autres pays.

Modèle général d'évaluation des demandes de subvention

Une évaluation par les pairs peut être menée de différentes manières, et il existe beaucoup de variations à l'échelle internationale. Voici un modèle général :

  1. Évaluation par des experts : Cette évaluation, qui peut être effectuée par des pairs, souvent par voie électronique, se déroule après la présentation de la demande de subvention (formulaire abrégé ou détaillé, selon le système).
  2. Triage : Après l'évaluation initiale, les demandes de subvention sont triées et certaines d'entre elles sont rejetées.
  3. Réponse du candidat à l'évaluation : Dans de nombreux systèmes, les candidats passant à l'étape suivante ont la possibilité de répondre aux commentaires des évaluateurs.
  4. Deuxième évaluation ou classement : Cette deuxième évaluation, généralement menée par un comité, tient compte de la réponse du candidat (le cas échéant), sert à déterminer ou à classer les demandes de subvention excellentes sur le plan scientifique et potentiellement admissibles au financement.
  5. Évaluation de la pertinence et des retombées pour le classement final : Évaluation de la pertinence et des retombées (parfois effectuée à l'étape 4) pour obtenir un classement final.
  6. Évaluation par le bailleur de fonds pour régler les questions de priorités ou d'équité : Évaluation menée par l'organisme de financement pour tenir compte de tout élément particulier (p. ex. questions de priorités ou d'équité) allant potentiellement au-delà du processus de classement, avant que les décisions soient prises par le conseil d'administration de l'organisme selon les recommandations de la direction.
  7. Communication : La communication des résultats du concours de subventions est de plus en plus détaillée. Elle comprend souvent la liste des demandes de subvention admissibles (financées et, parfois, la liste des demandes admissibles en attente) ainsi que des données sur les demandes retenues, ventilées en fonction du genre, du stade de carrière des chercheurs (p. ex. chercheurs en début de carrière), de l'ethnicité, etc.

De nombreuses décisions doivent être prises concernant la mise en œuvre de chacune de ces étapes (p. ex. rencontre en personne ou virtuelle, demande abrégée avant le triage ou demande détaillée, recours ou non aux mêmes évaluations ou évaluateurs d'une étape à l'autre), mais elles doivent toutes tendre vers la synthèse des évaluations d'une demande, de sorte à pouvoir décider de financer ou non la demande à partir de plusieurs facteurs, notamment les objectifs stratégiques du bailleur de fonds.

En outre, la mise en œuvre de chacune de ces étapes repose sur des raisons stratégiques et financières. Toutes les approches s'accompagnent de contraintes. D'autres facteurs comme le renforcement des capacités au sein du système, les coûts ou encore l'efficacité viennent influer sur la conception finale.

Au moment de prendre ces décisions, l'organisation doit se demander à quel point la conception inspirera chez les intervenants – soit les candidats, les évaluateurs, le bailleur de fonds et le gouvernement au nom de la population – le sentiment qu'ils peuvent avoir confiance dans le système et que celui-ci est équitable, et doit aussi évaluer la façon dont la conception appuie les objectifs qu'elle a établis en matière d'évaluation de demandes de subvention. Il est également important que le système permette de respecter l'échéancier fourni à l'avance, étant donné que les décisions relatives au financement ont une influence énorme sur le cheminement de carrière des candidats.

Dans le cadre des programmes Fondation et Projet, les IRSC ont tenté d'avoir un système unique pour l'ensemble des stades de carrière, des disciplines et des thèmes. Ils doivent maintenant déterminer la meilleure manière d'allouer le financement et conseiller les évaluateurs et les présidents de concours afin que les demandes soient évaluées correctement compte tenu des différences entre les méthodes utilisées pour évaluer l'excellence. Selon nous, c'est particulièrement important dans le contexte des candidats qui soumettent une demande pour la première fois aux IRSC.

Certains intervenants dans le domaine des sciences humaines ont exprimé des doutes quant à la capacité de nombreux évaluateurs dans la communauté des IRSC à évaluer leur demande et ont soutenu que les principaux experts dans le domaine demeuraient les évaluateurs du CRSH. Une collaboration plus étroite avec le CRSH pourrait aider à trouver des évaluateurs pour les IRSC.

Par ailleurs, le fait de soutenir la recherche multidisciplinaire influe grandement sur la conception et la mise en œuvre de l'évaluation par les pairs. L'évaluation de ce type de recherche pose des défis aux bailleurs de fonds partout dans le monde, pas seulement au Canada. Différentes approches peuvent être utilisées : interventions de l'organisme pour soutenir la recherche multidisciplinaire, comités multidisciplinaires et élargis, etc. Le programme de subventions Fondation est surtout axé sur les chercheurs seuls. Il ne s'agit donc probablement pas de la meilleure façon d'appuyer la recherche multidisciplinaire à long terme, mais il serait possible de modifier rapidement le système en ce sens.

Parmi les programmes que nous devions examiner, nous avons observé une tension entre les programmes Fondation et Projet. Selon nous, si la mise en œuvre s'était déroulée plus harmonieusement et que le budget avait été suffisant, le milieu de la recherche n'aurait sans doute pas exprimé autant d'inquiétudes à l'égard de cette conception à deux volets.

Cela étant dit, la discussion se poursuit entre certains bailleurs de fonds à l'international sur le fait de prioriser les subventions axées sur les chercheurs, qui n'imposent pas de restrictions aux candidats (comme les subventions Fondation), ou les subventions davantage axées sur les projets. La logique et l'intérêt derrière le premier type de subventions consistent en partie à réduire la charge de travail des candidats qui sont d'excellents chercheurs, mais aussi à augmenter les probabilités de financer des projets de recherche novateurs et révolutionnaires en axant l'évaluation sur le candidat plutôt que sur son projet. Dans le cas du programme Projet, ce sont plutôt les demandes de subvention plus conventionnelles qui sont plus susceptibles d'être retenues, en particulier lorsque le système est sous-financé. Les IRSC doivent donc trouver le bon équilibre entre leurs programmes.

Nous félicitons les IRSC pour avoir conçu et mis en place un mécanisme axé sur les chercheurs tout en maintenant un second mécanisme axé sur les projets. Malheureusement, l'instauration de ce mécanisme a été associée à d'autres problèmes de mise en œuvre et à un plafonnement du financement de la recherche, ce qui a fait naître la perception que les IRSC avaient sacrifié des ressources pour mieux financer un petit nombre de chercheurs « privilégiés » (même si ce financement était justifié par la qualité ou l'ancienneté) pendant de plus longues périodes. Probablement qu'il aurait fallu – et qu'il faudra – réduire les fonds réservés aux subventions Fondation jusqu'à ce qu'un plus grand financement soit disponible. Le comité est d'avis que l'attribution de 45 % du budget de la recherche libre à ce programme est trop ambitieuse et trop élevée à cette étape et selon le financement disponible.

Les IRSC ont procédé à une modélisation préliminaire de la mise en œuvre du nouveau système de subventions et de ses composantes. Cependant, en raison des retards, des problèmes de mise en œuvre et des correctifs apportés en cours de route, l'exécution du programme n'a pas correspondu à la modélisation, en partie parce que les hypothèses formulées durant la conception se sont révélées fausses. En particulier, la décision compréhensible de certains candidats de présenter leur demande aux deux programmes en même temps ainsi que l'annulation d'un cycle de financement ont déclenché une cascade de problèmes dépassant les limites de la planification initiale (p. ex. beaucoup plus de demandes qu'anticipé, ce qui a surchargé les systèmes d'évaluation des demandes).

Les débuts de ces programmes ont révélé que la distinction prévue entre les deux types de subventions ne s'est pas concrétisée. La durée des subventions est trop semblable (4 ou 5 ans, ou parfois plus longtemps pour les subventions Projet; 5 ou 7 ans pour les subventions Fondation, selon le stade de carrière), et la décision d'annuler la limite imposée au nombre de demandes (et de réinstaurer un maximum de deux demandes de subvention Projet) et de restreindre la possibilité de présenter une demande aux deux programmes en réponse aux commentaires du milieu n'a fait que brouiller davantage la distinction. La seule distinction réelle, c'est l'étape préliminaire de présentation d'une demande qui, dans le cadre du programme Fondation, est axée sur le chercheur.

Échéancier des cycles de subventions

Le processus des IRSC a été conçu selon le principe qu'un concours doit être terminé avant qu'un autre soit lancé. Cette façon de faire entraîne toutefois d'énormes contraintes conceptuelles. En effet, dans bon nombre de systèmes de financement, il s'écoule plus de six mois entre la présentation d'une demande et l'attribution d'une subvention. Cela signifie qu'on ne peut soumettre qu'une seule demande par année à certains organismesNote en bas de page 11. En revanche, d'autres organismes organisent des concours qui se chevauchent et qui sont balisés par des règles (p. ex. un candidat ne peut pas soumettre une demande dans le cadre d'un nouveau cycle de subventions si celle-ci est déjà à l'étude)Note en bas de page 12.

La raison qui motive l'organisation de plusieurs concours par année est grandement associée à la gestion du nombre de demandes par cycle. Nous recommandons fortement aux IRSC de continuer de tenir deux concours Projet par année, sans toutefois nécessairement attendre la fin d'un concours pour en commencer un autre. Les recommandations sur la conception, en particulier l'introduction d'une étape pour répondre aux commentaires, témoignent de notre perspective. Si les IRSC appliquaient cette recommandation, il faudrait interdire aux candidats de présenter une demande dans le cadre d'un cycle de subventions antérieur si celle-ci est déjà à l'étude dans le cycle actuel.

Sélection et jumelage des évaluateurs

En plus d'avoir reçu des présentations à ce sujet, le comité a entendu à maintes reprises de la part des intervenants du milieu de la recherche que les attentes entourant la notion de « pairs » dans le processus d'évaluation par les pairs étaient précises et parfois plutôt limitées. En général, les gens étaient d'avis que les évaluateurs et les candidats devaient être jumelés de façon très précise en fonction de leur expertise. À l'instar d'organismes internationaux (p. ex. RAND Europe, dans son rapport), le comité affirme avec certitude qu'il n'est pas nécessaire que tous les évaluateurs possèdent une expertise pointue du domaine à l'étude, et que les évaluateurs chevronnés ayant une expérience plus vaste et plus pertinente en général valent également leur pesant d'or. Certes, il faut quelques évaluateurs qui connaissent suffisamment le domaine pour évaluer différents aspects, comme les questions de méthodologie et de statistiques, ou encore les déclarations de nouveauté ou d'invention; toutefois, les évaluateurs possédant un bagage d'expérience et de connaissances plus large sont parfois mieux placés pour mettre le projet en perspective sans avoir recours à une vision réductionniste. De plus, des données indiquent que les évaluateurs qui connaissent trop bien un domaine peuvent introduire des biais positifs ou négatifs, nuisant ainsi à l'équité de l'évaluation (p. ex. Gallo, 2016). Il y a de bons et de mauvais évaluateurs dans chaque discipline, et un excellent scientifique n'est pas nécessairement un excellent évaluateur.

La définition de ce qu'est un bon évaluateur influe directement sur la conception d'approches efficaces et appropriées pour sélectionner les évaluateurs et les jumeler aux demandes. On a fait part au comité de plusieurs problèmes en lien avec l'assignation des demandes aux évaluateurs, notamment l'utilisation d'un logiciel et d'un algorithme de jumelage inadéquats et une participation humaine insuffisante, en particulier durant le premier cycle du programme Projet. On a également signalé au comité que la participation humaine au processus de sélection des évaluateurs était restreinte en raison de difficultés juridiques liées à l'accès aux données du CV commun (ce problème a été réglé depuisNote en bas de page 13).

Maintenant, comme mentionné précédemment, le comité est d'avis qu'il n'y a pas assez d'évaluateurs internationaux au sein du système des IRSC. Si le Canada souhaite jouir d'une renommée mondiale, il doit faire appel à davantage d'évaluateurs internationaux. Cela dit, on peut supposer qu'il n'y aurait aucun avantage pour les évaluateurs internationaux à utiliser le CV commun, car ce dernier a été fait sur mesure pour le Canada. Les IRSC devraient alors envisager d'autres systèmes reconnus à l'international (p. ex. ORCID), ou simplement confier à un agent scientifique responsable de l'évaluation averti la tâche de mener une recherche documentaire. Le comité croit que la présence d'évaluateurs internationaux dans les systèmes relativement petits est primordiale afin d'éliminer tout biais positif ou négatif susceptible de survenir lorsque plusieurs évaluateurs deviennent, l'année suivante, candidats à leur tour. Leur présence améliore aussi l'assurance de la qualité pour les IRSC et le milieu de la recherche en général. Soulignons d'ailleurs que certains systèmes dans de petits pays (p. ex. l'Irlande et la Finlande) font désormais exclusivement appel à des évaluateurs internationaux pour éviter tout biais. Le comité est entièrement d'accord avec le fait que des évaluateurs canadiens sont nécessaires dans certains contextes (p. ex. recherche sur les facteurs sociaux, recherche sur la santé des Autochtones). Toutefois, il est exagéré d'affirmer que, dans ces contextes, les demandes devraient être évaluées exclusivement par des évaluateurs canadiens. De plus, la participation d'évaluateurs internationaux favoriserait l'utilisation et les retombées de la recherche canadienne à l'étranger.

Parlons maintenant de l'algorithme de jumelage. S'il semblait prometteur, il y a toutefois des limites à ce qu'on peut actuellement accomplir avec l'intelligence artificielle, et la sélection des évaluateurs doit être principalement guidée par un jugement scientifique humain. Bien qu'il comprenne que de nouvelles approches soient mises en œuvre d'après les recommandations du groupe de travail sur l'évaluation par les pairs créé après le 13 juillet, le comité croit fermement que l'absence d'agents scientifiques responsables de l'évaluation détenteurs d'un doctorat et formés dans le domaine de la recherche représente une lacune dans le système des IRSC, et qu'il faut la corriger sans tarder. Les IRSC doivent engager ces employés au niveau opérationnel afin qu'ils communiquent avec le milieu, les évaluateurs et les présidents de concours concernant le jumelage des évaluateurs et le suivi de la qualité des évaluations, et afin qu'ils les aident à cet égard. Le comité est d'avis que le jumelage des évaluateurs devrait être assuré par ces agents en collaboration, au besoin, avec les présidents de concours. Ils pourraient utiliser différentes ressources pour repérer des évaluateurs potentiels, telles que des programmes de jumelage, des associations avec d'autres organismes de financement nationaux (en particulier dans le domaine des sciences humaines), des recherches documentaires et l'expérience antérieure des évaluateurs.

Le collège des évaluateurs est une idée louable. Le comité salue le travail que le Dr Paul Kubes, président administratif du collège, et d'autres présidents du collège ont mené conjointement avec les IRSC pour le mettre sur pied. Le comité est d'avis que le report de la mise en œuvre du collège par les IRSC a aggravé les problèmes technologiques associés au jumelage des évaluateurs et à l'attribution des demandes. Le collège, qui n'était pas prêt lorsque la réforme a été lancée, en est encore aux premiers stades de son développement.

Les présidents de concours devraient être choisis en fonction de leur expérience et pourraient provenir de partout dans le monde. À l'échelle internationale, il est courant de rémunérer les personnes qui effectuent un important travail pour un organisme de financement, qu'elles viennent du pays ou d'ailleurs.

Formation des évaluateurs

Des commentaires ont également été formulés quant à la valeur associée à l'observation des processus d'évaluation des demandes de subvention, en particulier dans la formation des chercheurs en début de carrière. Si les IRSC décidaient d'adopter cette mesure à grande échelle, ils devraient savoir que, selon certaines données, les personnes qui détiennent un statut d'observateur sont grandement avantagées lorsqu'elles deviennent candidates à des concours ultérieurs. Or le petit nombre d'observateurs potentiels parmi l'important bassin de candidats éventuels entraîne une iniquité.

Qu'ils permettent ou non d'observer les processus d'évaluation des demandes, les IRSC devront beaucoup mieux définir la formation des évaluateurs. À l'heure actuelle, l'organisme renseigne les évaluateurs sur les objectifs, les procédures et les rôles. Le comité croit que la formation existante sur les préjugés inconscients est essentielle et devrait être obligatoire. Toutefois, il est également d'avis que les universités et les autres établissements devraient jouer un rôle plus direct dans la formation des chercheurs en début de carrière en matière d'évaluation par les pairs et d'évaluation de demandes de subventions.

Le comité pense qu'une observation indépendante des processus d'évaluation des demandes de subvention pourrait favoriser la gouvernance et l'instauration d'un climat de confiance. Il est d'accord avec l'idée qu'il peut être pertinent d'élaborer un certain nombre de rapports sur le processus d'évaluation par les pairs (p. ex. rapports des présidents, évaluation de la qualité et de la satisfaction des évaluateurs ou des candidats quant au processus). Le comité croit qu'il faudrait donner aux membres du conseil d'administration, à qui incombe ultimement le processus d'évaluation des demandes de subventions aux IRSC, ainsi qu'aux présidents du collège des évaluateurs, la possibilité d'observer la deuxième étape d'évaluation proposée, mais non d'y participer.

Équité

La notion d'équité préoccupe grandement les intervenants. Toutefois, rares sont ceux qui ont précisé comment ils la définissaient. Selon l'interprétation qu'on en fait, l'équité peut renvoyer à un enjeu stratégique (p. ex. équilibre du financement entre différents types de recherche ou de chercheurs selon le thème, le stade de carrière, le genre) ou encore à un problème de préjugés inconscients du côté des membres du comité d'évaluation par les pairs. Les IRSC doivent recueillir les commentaires des intervenants afin de définir clairement et de revoir régulièrement leurs objectifs en matière d'équité. Voici les problèmes d'équité potentiels qui nous ont été mentionnés :  

  1. Stade de carrière : Selon l'issue de la consultation, les IRSC pourraient être amenés à envisager différents programmes pour répondre aux besoins des chercheurs en début de carrière (CDC). D'après les données que nous avons consultées, si l'on aborde la question de l'équité seulement sous l'angle des taux de réussite absolu et relatif, alors il y a effectivement un problème pour les CDC. En revanche, si l'on examine le processus d'évaluation des demandes de subvention du point de vue de l'enveloppe budgétaire déjà consacrée aux CDC dans le cadre des programmes Fondation et Projet, les taux de réussite associés à chaque stade de carrière ne révèlent aucun risque de partialité. En général, à quoi s'attend-on lorsque des CDC présentent une demande dans un système de financement très concurrentiel disposant de ressources limitées? On s'attend à ce que ce soient les chercheurs chevronnés qui obtiennent les taux de réussite les plus élevés – et c'est d'ailleurs le cas. Chaque opinion mène à une conclusion différente sur les problèmes d'équité, et le comité n'a observé aucune preuve systématique de partialité à cet égard. Soulignons que le gouvernement s'est engagé à investir un montant de 30 millions de dollars. Ce financement est permanent et n'est pas assorti de conditions; le conseil d'administration a destiné ces fonds aux CDC après avoir déterminé qu'il s'agissait d'un problème potentiel du programme Projet. De plus, afin de veiller à ce que les CDC soient traités de façon équitable, les IRSC ont décidé que, dans le cadre du programme Fondation, environ 50 % des demandes présentées par des nouveaux chercheurs et des CDC passeraient de l'étape préliminaire à l'étape finale du concours. Les IRSC s'assureront également d'attribuer au moins 15 % de leurs subventions à des CDC. Peu importe les mesures prises par les IRSC pour résoudre les problèmes d'équité auxquels font face les CDC, les établissements ont également la responsabilité de renforcer les capacités de ces chercheurs afin qu'ils présentent des demandes de subvention de grande qualité.
  2. Genre : Le comité a observé des preuves de préjugés sexistes à l'étape de l'évaluation préliminaire des demandes du programme Fondation. Le comité croit comprendre que ces problèmes ont été signalés, et que les IRSC ont réagi en veillant, lorsque nécessaire, à ce que la proportion de candidates passant de l'étape préliminaire à l'étape de la demande détaillée soit égale à la proportion de femmes ayant présenté une demande dans le cadre du concours, sans égard au stade de leur carrièreNote en bas de page 14. On pourrait également améliorer davantage cette situation en offrant aux évaluateurs une formation sur les préjugés inconscients. Cette mesure s'est déjà révélée assez efficace, entre autres en Suède, et les IRSC ont également conçu un module de formation à cet effetNote en bas de page 15.

  3. Thèmes de recherche, recherche fondamentale, recherche appliquée, recherche en sciences humaines : Dix-sept ans après la création des IRSC et l'élargissement de leur mandat, il existe toujours des tensions évidentes en ce qui concerne le financement des quatre grands thèmes de la recherche. Il se peut que ces tensions soient confondues avec différentes opinions à propos de l'équilibre nécessaire entre la recherche fondamentale (qui peut toucher n'importe quel thème) et la recherche appliquée. La recherche fondamentale est essentielle. Or, dans les dernières années, les spécialistes de ce type de recherche ont l'impression d'avoir été délaissés étant donné la nature ciblée de toutes les augmentations du financement par le gouvernement fédéral. Les IRSC ne semblent pas disposer d'une stratégie de financement transparente pour soutenir les différents domaines de la recherche.

    Cela dit, il se peut que leurs programmes de recherche priorisée pallient cette lacune, mais cette question débordait le mandat du comité. Ce dernier reconnaît les défis du milieu de la recherche en sciences humaines liées à la santé en ce qui a trait aux différentes pratiques d'évaluation en vigueur au CRSH et aux IRSC ainsi qu'au regard différent que les chercheurs en santé et les chercheurs en sciences humaines peuvent porter sur une question de recherche. Par ailleurs, la méthode employée pour évaluer le rendement de ces chercheurs est très différente de celle habituellement utilisée dans le domaine de la recherche biomédicale et cliniqueNote en bas de page 16. Ce problème semble s'être aggravé après la décision du CRSH, en 2009, de ne plus accepter les demandes associées à la santé. Le comité est d'avis que les demandes pourraient être évaluées adéquatement si les IRSC collaboraient davantage avec le CRSH sur le plan du financement et du processus d'évaluation, et s'ils faisaient appel à un plus grand nombre d'évaluateurs internationaux. Bon nombre d'organismes à l'international ont mené avec succès des processus d'évaluation en collaboration avec d'autres organismes de recherche.

  4. Langue : La nécessité d'évaluer équitablement les demandes présentées en français a été reconnue et soulevée dans les rapports soumis au comité par des intervenants. Le comité croit qu'il serait utile de faire appel à un bien plus grand nombre d'évaluateurs francophones de l'extérieur du Canada.
  5. Recherche en santé autochtone : Même si la recherche en santé autochtone dépassait la portée de son examen, le comité est conscient du contexte entourant ce type de recherche et reconnaît l'importance de veiller à ce que l'évaluation des demandes soit équitable, appropriée et adaptée au contexte.

Selon la manière dont les IRSC définissent l'équité et les objectifs en la matière, une stratégie de surveillance devrait être mise en œuvre pour repérer les problèmes d'équité au sein du système de financement. Les données recueillies devraient être entièrement accessibles.

Options des IRSC pour l'évaluation des futures demandes de subvention

Étant donné que la conception à grande échelle de tout processus d'évaluation de demandes de subvention s'accompagne de nombreuses contraintes et entraîne des problèmes pratiques sur le plan opérationnel, il ne revient pas au comité d'imposer le processus d'évaluation. Comme nous l'avons déjà mentionné, il y a beaucoup de facteurs à considérer dans la conception de chacune des cinq ou six étapes d'un processus d'attribution de subventions. Le comité est d'avis que tout processus doit reposer sur des principes de base, et qu'à partir de ces principes, un plan général peut être élaboré en tenant compte des questions logistiques détaillées. Ces dernières ne faisaient pas partie du mandat du comité.

Le comité a conclu à l'unanimité que les principes de conception novateurs et importants sur lesquels reposait la réforme des IRSC peuvent conduire à un système de calibre mondial. Les IRSC devraient donc poursuivre dans la même direction, non seulement en raison de la logique sous-tendant ces principes, mais également parce que la restructuration peut être élaborée et mise en œuvre progressivement et sans interruption majeure. Le comité ne recommande pas aux IRSC de revenir au processus qu'ils utilisaient avant 2012, vu les contraintes réelles et perçues qui y étaient associées.

Le comité s'entend sur le fait que les concours Fondation devraient se dérouler comme suit : les candidats présentent d'abord une demande préliminaire, évaluée en ligne selon les critères actuels, puis quelques-uns d'entre eux sont invités à présenter une demande détaillée. Les concours Projet devraient débuter par la présentation d'une demande détaillée.

Le comité a remarqué qu'il y avait, parmi les inquiétudes signalées au cours des deux dernières années, certaines questions techniques portant sur des détails précis du formulaire de demande (comme la longueur d'une page), mais n'en a pas tenu compte étant donné qu'un consensus semble avoir été dégagé.

Enfin, le comité recommande le modèle général suivant pour la présentation d'une demande détaillée dans le cadre des programmes de subventions Fondation et Projet.

Étape 1 : Évaluation initiale

Le comité a conclu qu'il n'est pas nécessaire de se réunir en personne durant la première évaluation avant le triage.

Chaque demande devrait être assignée à un minimum de cinq évaluateurs. En plus de faire appel à des évaluateurs possédant l'expertise pertinente, les IRSC devraient s'interroger sur la combinaison d'évaluateurs requise (p. ex. expertise, méthodologie – dont, dans certains cas, le volet statistique – et utilisateurs finaux de la recherche) pour qu'une demande soit évaluée adéquatement. Il se peut que les projets de recherche multidisciplinaire exigent plus de cinq évaluateurs.

Selon nous, il serait préférable qu'environ la moitié des évaluateurs ne soient pas Canadiens, en particulier les évaluateurs ayant une grande expertise de la conception, du sujet et de la méthodologie de la recherche proposée. Soulignons qu'une telle mesure règlerait les problèmes de copinage allégué et de préjugés perçus, et qu'il s'agit d'une pratique courante dans les plus petits pays actifs dans le domaine scientifique.

Les IRSC devraient embaucher des agents scientifiques responsables de l'évaluation. Les demandes devraient être assignées aux évaluateurs par un membre du personnel scientifique des IRSC qui, idéalement, possèderait une expertise pertinente et utiliserait des outils adéquats (p. ex. revue de la littérature, base de données, algorithme de jumelage, expérience). La sélection finale des évaluateurs pourrait devoir être approuvée par un président de concours.

Nous croyons qu'il vaut beaucoup mieux sélectionner des évaluateurs pour chaque demande que de recourir à des comités permanents. Nous avons été impressionnés par cette méthode novatrice où chaque évaluateur doit évaluer environ dix demandes et où un algorithme de classement intègre ensuite les cotes, et ce, tout en maintenant un système de sélection d'évaluateurs propres à chaque demande. Ainsi, aucun comité n'est stable ni prévisible, et chaque demande de subvention est assignée à des évaluateurs appropriés. Par conséquent, la majorité des demandes sont évaluées par un groupe d'évaluateurs unique; les comités d'évaluation ne sont pratiquement jamais identiques. Nous espérons que ce système novateur sera conservé. L'algorithme de classement nous a semblé adéquat.

En ce qui concerne les évaluateurs internationaux, nous ne voyons aucune raison de ne pas leur assigner le même nombre de demandes pour que leur classement ait la même validité. Le cas échéant, il faudrait toutefois les rémunérer pour leur importante contribution. C'est d'ailleurs ce que font des organismes d'autres pays.

Dans les autres systèmes, il n'y a pas systématiquement d'interactions entre les évaluateurs à la première étape. Ces interactions pourraient toutefois être pertinentes compte tenu de nos recommandations concernant les combinaisons d'évaluateurs. Le comité est d'avis que tous les commentaires formulés durant les évaluations asynchrones devraient, le cas échéant, être transmis aux personnes évaluant les demandes à des étapes subséquentes.

Ces évaluations peuvent être effectuées en ligne. À l'étape 1, elles peuvent être réalisées de façon complètement indépendante, ou des commentaires préliminaires peuvent être échangés électroniquement de façon asynchrone (quoique la plupart des systèmes ne procèdent pas ainsi à cette étape). Une cote finale est ensuite attribuée aux demandes.

Un classement qualitatif pourrait venir compléter le classement des évaluateurs, comme c'est le cas dans certains pays, ce qui faciliterait grandement le processus de triage.

  1. Parfaitement admissible
  2. Potentiellement admissible
  3. Nécessite des améliorations majeures
  4. Non admissible

Les critères de cotation et de classement doivent être clairs, et c'est actuellement le casNote en bas de page 17. Le comité croit qu'à cette étape, le principal facteur à l'étude devrait être l'excellence de la recherche.

Étape 2 : Triage

Essentielle en raison du volume de demandes, l'étape du triage est maintenant courante dans de nombreux systèmes. Nous ne voyons aucune raison de modifier la nature du système de classement actuellement utilisé à l'étape initiale et avons été impressionnés par les données sur la précision avec laquelle il cible les demandes de subvention de grande et de piètre qualité. Le degré de triage doit être réaliste : en effet, il n'est pas pertinent d'évaluer une deuxième fois un nombre de demandes excessif par rapport au financement disponible. Il serait logique d'évaluer deux fois plus de demandes que le nombre qui sera probablement financé. Les demandes retenues devraient correspondre à celles classées par la majorité des évaluateurs dans les catégories 1 ou 2 susmentionnées.

Étape 3 : Rétroaction et réponse du candidat

Selon certains intervenants, l'évaluation des demandes devrait permettre de fournir aux candidats une rétroaction exhaustive. La qualité de cette rétroaction devrait toutefois être élevée, ce qui entraînerait une charge de travail et des coûts importants. Comme mentionné précédemment, si le bailleur de fonds souhaite fournir de la rétroaction, il doit concevoir son système d'évaluation en conséquence. Il s'agit d'une décision stratégique en lien avec les objectifs du processus d'évaluation. Même si l'objectif principal est d'attribuer du financement, le fait de fournir de la rétroaction aux candidats favorise la confiance dans le système. Cette confiance est encore plus grande lorsque les candidats peuvent répondre aux commentaires des évaluateurs avant que les décisions relatives au financement soient prises. De nombreux systèmes offrent cette possibilité aux candidats, même si l'intervalle entre la présentation des demandes et la prise des décisions est alors prolongé.

Nous recommandons vivement l'intégration de cette étape pour que les candidats dont les demandes de subvention sont retenues pour la deuxième étape d'évaluation puissent répondre aux commentaires. Leurs réponses faciliteront la sélection des demandes qui pourraient faire l'objet de discussions à l'étape suivante (voir ci-dessous) ainsi que le classement subséquent.

Les candidats dont les demandes de subvention sont rejetées au triage devraient simplement recevoir un avis à cet effet, et peut-être une courte rétroaction (liste à puces normalisée) de la part de l'agent scientifique responsable de l'évaluation. Les candidats dont les demandes passent à l'étape suivante devraient pour leur part recevoir les commentaires des évaluateurs et avoir la possibilité de répondre à toutes les questions soulevées. Selon le comité, le fait d'aider les candidats dont la demande n'a pas été entièrement comprise ou qui doivent éclaircir certains points est essentiel pour renforcer la confiance à l'égard du système. Les réponses des candidats devraient être courtes (une page pour l'ensemble des rapports) et rédigées rapidement (p. ex. dix jours). Ce type de processus s'inscrit dans les pratiques adoptées par de nombreux organismes à l'international.

Étapes 4 et 5 : Deuxième évaluation

Il faudrait nommer un petit nombre de comités spéciaux appariés à des groupes de domaines et de thèmes, sans toutefois en faire des comités permanents. Il se peut que la recherche multidisciplinaire nécessite un comité bien précis.

Le comité croit fermement que les IRSC ont pris la bonne décision en éliminant les comités fixes d'évaluation par les pairs. En ce qui concerne les quelques comités spéciaux nécessaires aux dernières étapes de l'évaluation, le comité est d'avis qu'ils ne devraient pas être formés des mêmes évaluateurs qu'aux étapes précédentes pour éviter de reporter tout risque de partialité. Ils devraient plutôt être formés d'une combinaison d'experts spécialistes et généralistes, dont plusieurs évaluateurs internationaux.

Bien que cette étape puisse se dérouler en ligne, il serait sans doute préférable, dans la conjoncture actuelle, de revenir pour une courte période de temps aux évaluations en personne afin de rétablir la confiance. Ces comités ont besoin d'un président indépendant sans droit de vote et de quelques membres d'autres pays. Les membres de ces comités devraient idéalement posséder une expertise vaste et pertinente.

L'évaluation suivant le triage devrait se pencher uniquement sur les cas exceptionnels, c'est-à-dire en présence de cotes divergentes ou de circonstances particulières. Ainsi, les demandes ayant obtenu les cotes les plus élevées (p. ex. 66 % des demandes financées) devraient être retenues d'emblée, sauf en cas de problème précis. Le reste des demandes à évaluer à cette étape devraient être celles ayant survécu au triage. Les demandes devraient être retenues aux fins de discussions soit parce que l'agent scientifique, le président du concours ou un membre du comité a observé un élément particulier, comme des cotes très divergentes ou un problème précis auquel le candidat a répondu, soit parce qu'elles répondent à un critère défini par l'organisme en matière de priorité ou de retombées. Les organismes de partout ont de plus en plus recours à ce type d'approche.

Les IRSC doivent clairement établir comment évaluer l'excellence et la pertinence/les retombées ainsi que comment définir ces dernières. Le comité de la deuxième étape d'évaluation doit-il tenir compte de ces facteurs? Il existe différents modèles. La quatrième étape du processus pourrait, par exemple, comporter deux volets : un premier serait axé sur l'excellence, toujours dans le cadre d'une évaluation des cas exceptionnels, et un deuxième, sur les retombées. Ce genre d'approche nécessite toutefois que chaque demande soit évaluée par deux comités, et que des règles soient établies concernant l'intégration des deux évaluations. Encore là, il existe divers modèles. Les IRSC doivent évaluer ces options ainsi que les solutions intermédiaires.

Étape 6 : Décisions relatives au financement

Les décisions relatives au financement finales doivent être prises par le conseil d'administration. Il ne devrait s'agir que d'une formalité, à condition que des conseils généraux sur les retombées et les priorités aient été fournis aux étapes précédentes et que les procédures de fonctionnement normalisées établies aient été mises en œuvre.

Recommandations

Le comité souscrit à l'intention sous-jacente à la réforme des programmes et salue la vision et l'innovation dont ont fait preuve les IRSC en ce qui concerne leurs processus de conception des programmes et d'évaluation des demandes de subvention.

Chaque modèle d'évaluation par les pairs comporte des forces et implique des conséquences, et les IRSC devront en tenir compte à l'avenir. Peu importe leur conception finale, les programmes de financement de la recherche libre doivent avoir comme objectif global d'appuyer le mandat des IRSC énoncé dans la Loi sur les IRSC.

Des lacunes dans la mise en œuvre, des contraintes financières imposées aux organismes de financement de la recherche en santé et l'instauration simultanée de nombreux changements aux IRSC sont venues compliquer l'adoption de cette réforme et ébranler la confiance entre les IRSC et leurs intervenants.

Ceux-ci doivent travailler ensemble pour rétablir la confiance en s'appuyant sur des attentes réalistes et en intégrant les meilleures pratiques à l'échelle internationale.

Le comité ne peut pas résoudre tous ces problèmes – il peut uniquement apporter des suggestions. L'engagement de toutes les parties sera nécessaire pour trouver des solutions constructives et décider de la marche à suivre. Les recommandations ci-dessous ont été formulées afin d'aider les IRSC et leurs intervenants à y parvenir.

  1. Nous recommandons que le gouvernement du Canada finance davantage la recherche en santé. Un système fondé sur des taux de réussite de 10 à 15 % n'est pas viable à long terme. L'annulation de cycles de financement antérieurs a manifestement entraîné une compression de la demande. Or, on constate en plus que le financement, en chiffres absolus, diminue chaque année depuis 2010. Nous pouvons donc supposer que si le financement n'avait pas été un problème (c.-à-d. si les taux de réussite avaient été supérieurs à 20 %), la nature de la réforme aurait été mieux reçue par le milieu de la recherche (qui a exprimé un mécontentement légitime relativement aux lacunes majeures de la mise en œuvre). Le comité note que dans certains pays, comme le Royaume-Uni, le gouvernement énonce des engagements de dépenses en recherche et développement à moyen et à long terme afin de favoriser la stabilité de l'environnement de financement.
  2. Nous recommandons que la Loi sur les IRSC soit modifiée afin que les fonctions de président du conseil d'administration et de président/PDG soient séparées (paragraphe 9(1)). Le cumul de ces fonctions va à l'encontre des normes internationales. Bien que nous soyons conscients que le vice-président agit en fait comme président du conseil d'administration, nous sommes d'avis qu'une structure de gouvernance claire et plus responsable aux IRSC aurait facilité le processus de réforme, renforcé la confiance des intervenants et placé l'organisme en meilleure position pour l'avenir.
  3. Nous recommandons qu'un conseil consultatif international soit nommé pour appuyer le processus de réforme. Les intervenants se sont dits préoccupés par la transition imminente entre les présidents des IRSC et l'interruption du processus décisionnel durant cette période. Nous suggérons fortement qu'un conseil consultatif international soit nommé pour assister durant cette période le conseil d'administration dans la surveillance de la mise en œuvre de la réforme et pour continuer d'apporter une perspective internationale aux IRSC.
  4. Nous recommandons que tous les intervenants du système canadien de recherche en santé collaborent pour augmenter leur incidence sur la santé de la population. Il apparaît évident que la confiance, le civisme et la solidarité se sont effrités entre le milieu de la recherche et les IRSC. Cette dégradation des relations cause un tort à tous les Canadiens, et tous les intervenants du système canadien de recherche en santé doivent en assumer la responsabilité. Les IRSC auraient dû mobiliser le milieu de la recherche de manière plus significative, car c'est la nature de l'engagement qui compte, et non l'ampleur. Un système de recherche, en particulier le système d'évaluation par les pairs, n'est efficace que lorsqu'il repose sur la confiance. C'est pourquoi il faut rétablir cette confiance de toute urgence.
  5. Nous recommandons aux IRSC d'élaborer une stratégie d'investissement et de la diffuser à grande échelle. Il ressort clairement de la présente évaluation que la stratégie d'investissement des IRSC est largement méconnue ou mal comprise, notamment en ce qui a trait au lien souhaité entre l'excellence scientifique et la probabilité de retombées, aux questions prioritaires, aux attentes quant à l'objectif de l'évaluation par les pairs (attribution ou formation) ainsi qu'à la définition de l'équité et à l'approche à cet égard.
  6. Nous recommandons aux IRSC d'adopter les meilleures pratiques relatives à l'évaluation par les pairs suivantes :
    • 6.1 Intégrer des agents scientifiques responsables de l'évaluation détenteurs d'un doctorat et formés en recherche au personnel des IRSC afin qu'ils aident les présidents de concours et le collège des évaluateurs à recruter les évaluateurs, à leur assigner les demandes, à gérer les subventions et à communiquer avec les candidats.
    • 6.2 Faire appel à un plus grand nombre d'évaluateurs internationaux pour atténuer la demande d'évaluateurs canadiens, réduire la possibilité de conflits d'intérêts et de biais positifs ou négatifs et aider les IRSC à remplir leur mandat d'« exceller, selon les normes internationales reconnues de l'excellence scientifique […] ». Nous reconnaissons que pour certaines disciplines, en particulier celles des thèmes III et IV, le contexte local du système de santé est important, mais cela n'enlève rien à la valeur d'une perspective internationale. Dans les domaines de la recherche biomédicale et de la recherche clinique (thèmes I et II), il n'y a aucune raison de ne pas faire appel à des évaluateurs internationaux lorsque le but énoncé est de soutenir l'excellence en recherche. Par conséquent, nous suggérons d'amener progressivement la proportion d'évaluateurs internationaux dans le système à 50 % (les proportions varieraient selon les types de subvention et les thèmes – elles seraient supérieures pour les thèmes I et II et inférieures pour les thèmes III et IV).
    • 6.3 Mettre en place un processus pour que les candidats retenus au terme du triage puissent répondre aux commentaires des évaluateurs tant dans le cadre du programme Fondation que dans celui du programme Projet. On pourrait aussi envisager le chevauchement de cycles de demande.
  7. Nous recommandons aux IRSC de continuer à innover dans leur manière d'effectuer l'évaluation par les pairs. Les IRSC se sont imposés comme chef de file de l'innovation dans le financement de la recherche (p. ex. avec l'approche multithématique) et peuvent faire de même dans le domaine de l'évaluation par les pairs. Nous avons d'ailleurs relevé plusieurs innovations intéressantes qui ont été intégrées à l'étape de conception de la réforme (p. ex. classement des candidats, utilisation d'un système virtuel d'évaluation par les pairs, financement des candidats de la zone verte, fin des comités permanents).

Conclusion

Le comité croit en la qualité et en l'avenir du milieu canadien de la recherche en santé, même si les temps ont été difficiles pour de multiples raisons, internes comme externes. De plus, les IRSC, malgré leur brève existence, présentent un fier bilan. Nous estimons que l'intention du concept et la logique de l'innovation derrière les programmes de recherche libre et les processus d'évaluation par les pairs étaient valables. Il est très regrettable que la mise en œuvre ait connu des ratés. Cela dit, il existe d'autres dimensions plus stratégiques qui doivent être conjuguées aux aspects techniques du processus d'évaluation par les pairs afin d'avoir un système d'attribution de subventions de calibre mondial. Nous avons souligné dans le rapport les domaines sur lesquels les IRSC devront se pencher davantage.

À juste titre, les Canadiens peuvent être fiers de la recherche financée par les IRSC et avoir l'assurance que le gouvernement fédéral continuera de contribuer grandement au bassin mondial de connaissances et d'appuyer les recherches en santé susceptibles d'améliorer la santé de la population et de concourir à faire du Canada un pays innovateur.

Les problèmes que nous avons soulevés peuvent être résolus rapidement, et nous avons bon espoir que le conseil d'administration, le personnel des IRSC et l'ensemble du milieu canadien de la recherche (les chercheurs et les établissements) travailleront désormais ensemble, de manière novatrice, pour accroître leurs contributions.

Références

Boudreau, K.J., Guinan, E.C., Lakhani, K.R., & Riedl, C. (2012). The novelty paradox & bias for normal science: Evidence from randomized medical grant proposal evaluations (Harvard Business School Working Paper No. 13–053). Harvard Business School.

Boudreau, K.J., Guinan, E.C., Lakhani, K.R., & Riedl, C. (2016). Looking across and looking beyond the knowledge frontier: Intellectual distance, novelty, and resource allocation in science. Management Science, 62(10), 2765–83.

Doyle, J.M., Quinn, K., Bodenstein, Y.A., Wu, C.O., Danthi, N.S., & Lauer, M.S. (2015).
Association of percentile ranking with citation impact and productivity in a large cohort of de novo NIMH-funded R01 grants. Molecular Psychiatry, 20(9), 1030–36. doi:10.1038/mp.2015.71

Fang, F.C., Bowen, A., & Casadevall, A. (2016). NIH peer review percentile scores are poorly predictive of grant productivity. eLife, 5, e13323. doi: 10.7554/eLife.13323.001

Fogelholm, M., Leppinen, S., Auvinen, A., Raitanen, J., Nuutinen, A., & Vaananen, K. (2012).
Panel discussion does not improve reliability of peer review for medical research grant proposals. Journal of Clinical Epidemiology, 65(1), 47–52. doi:10.1016/j.jclinepi.2011.05.001

Gallo, S.A., Carpenter, A.S., & Glisson, S.R. (2013). Teleconference versus face-to-face scientific peer review of grant application: effects on review outcomes. PLoS One, 8(8), e71693. doi:10.1371/journal.pone.0071693

Gallo, S.A., Sullivan, J.H., & Glisson, S.R. (2016). The influence of peer reviewer expertise on the evaluation of research funding applications. PLoS One, 11(10), e0165147. doi:10.1371/journal.pone.0165147

Graves, N., Barnett, A.G., & Clarke, P. (2011). Funding grant proposals for scientific research: retrospective analysis of scores by members of grant review panel (en anglais seulement). British Medical Journal, 343, d4797. doi: 10.1136/bmj.d4797. (Consulté le 31 janvier 2017).

Guthrie, S., Ghiga, I., & Wooding, S. (sous presse). What do we know about grant peer review in the health sciences? An updated review of the literature and six case studies (rapport de recherche -1822 – IRSC). RAND Europe.

Jang, D., Doh, S., Kang, G.M., & Han, D.S. (2016). Impact of alumni connections on peer review ratings and selection success rate in national research (en anglais seulement). Science, Technology & Human Values. doi:10.1177/0162243916665466. (Consulté le 5 janvier 2017).

Kaatz, A., Gutierrez, B., & Carnes, M. (2014). Threats to objectivity in peer review: the case of gender. Trends in Pharmacological Sciences, 35(8), 371–73.    doi:10.1016/j.tips.2014.06.005

Lauer, M.S., Danthi, N.S., Kaltman, J., & Wu., C.O. (2015). Predicting productivity returns on investment: Thirty years of peer review, grant funding, and publication of highly cited papers at the National Heart, Lung, and Blood Institute. Circulation Research, 117(3), 239–43. doi: 10.1161/CIRCRESAHA.115.306830.

Lauer, M.S. & Nakamura, R. (2015). Reviewing peer review at the NIH[ PDF (533 Ko) - lien externe ] (en anglais seulement). The New England Journal of Medicine, 373(20), 1893-1895. (Consulté le 31 janvier 2017).

Luukkonen, T. (2012). Conservatism and risk-taking in peer review: Emerging ERC practices. Research Evaluation, 21(1), 48–60. doi:10.1093/reseval/rvs001

Mayo. N.E., Brophy, J., Goldberg, M.S., Klein, M.B., Miller, S., Platt, R.W., & Ritchie, J. (2006).
Peering at peer review revealed high degree of chance associated with funding of grant applications. Journal of Clinical Epidemiology, 59(8), 842-848.

Olbrecht, M. & Bornmann, L. (2010). Panel peer review of grant applications: what do we know from research in social psychology on judgment and decision-making in groups? Research Evaluation, 19(4), 293-304. doi: 10.3152/095820210X12809191250762

Pier, E.L., Raclaw, J., Nathan, M.J., Kaatz, A., Carnes, M., & Ford, C.E. (2015). Studying the study section: How group decision making in person and via videoconferencing affects the grant peer review process (No. 2015-6). Madison: Wisconsin Center for Education  Research.

Robitaille, J., Lemelin, P., Macaluso, B. (2016). Selecting the highest calibre health research leaders for CIHR's foundation and project grant programs: A bibliometric study of the reformed peer review process. Observatoire des sciences et des technologies.

Tamblyn, R., Girard, N., Qian, C. & Hanley, J. (manuscrit soumis). Why is Peer Review Unpredictable? Evidence of Systematic Bias in the Assessment of the Scientific Excellence of Operating Grants. Manuscrit non publié.

Annexe A : Réponses aux six questions initiales relatives au mandat

On a demandé au comité d'experts sur l'évaluation par les pairs d'examiner les processus de conception et de sélection des programmes de recherche libre des IRSC en tenant compte du mandat des IRSC, de l'évolution de la recherche en santé, des pratiques des organismes de financement internationaux et de la documentation disponible sur l'évaluation par les pairs.

Dans le cadre de ce mandat, le comité a aussi eu à répondre à six questions précises. Bien que les réponses se trouvent essentiellement dans le corps du rapport, en voici un résumé à des fins de clarté :

1. Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?

Oui. Le comité croit que l'intention et les objectifs de base du concept étaient pertinents, judicieux et fondés sur des données probantes. Toutefois, il estime que les lacunes dans la mise en œuvre ont eu pour effet de dénaturer quelque peu le concept initial. Ce qui aurait pu aider : faire preuve de clarté en explicitant les stratégies envisagées et en assurant une meilleure communication de ces stratégies. Le comité a formulé plusieurs suggestions qui permettraient de résoudre les problèmes qui sont survenus ou qui ont été mis en évidence, de mieux harmoniser les processus et les subventions aux objectifs des IRSC et de rétablir la confiance à l'égard des IRSC.

2. Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?

En général, oui. Le comité est d'avis que, malgré une mise en œuvre défaillante, les changements prévus auraient pu permettre aux IRSC de surmonter ces défis dans l'ensemble. Certains obstacles auraient toutefois été difficiles à surmonter : contraintes associées au plafonnement du financement de la recherche libre dans un contexte de forte croissance de la capacité de recherche en santé au Canada (comme en témoigne l'augmentation du volume des demandes pour les programmes de recherche libre), et problèmes structurels, comme les changements apportés aux critères d'admissibilité du Conseil de recherches en sciences humaines pour la recherche en santé et l'importance accrue des thèmes de recherche III et IV.

3. Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs? Comment la réforme des IRSC permet-elle de relever ces défis?

La documentation scientifique sur l'évaluation par les pairs est insuffisante. C'est sans doute les IRSC qui ont commandé l'examen le plus exhaustif à ce sujet. L'évaluation par les pairs n'est qu'un volet de l'évaluation des demandes de subvention et de l'attribution du financement, et l'organisme de financement doit être clair sur ses objectifs, comme ceux-ci ont une incidence sur la conception. Une chose est sûre : il n'existe pas de système parfait d'évaluation par les pairs, puisque celui-ci est fondamentalement subjectif. Son efficacité dépend en grande partie de l'équité et de la confiance qu'il inspire à tous les intervenants. Plus précisément, avec une évaluation par les pairs, la sélection est très difficile lorsque le taux de réussite est faible. L'intention du concept des approches utilisées par les IRSC est établie en fonction des données limitées sur l'évaluation par les pairs des demandes de subvention.

La série de changements rapides et simultanés apportés aux programmes de financement et aux instituts, la situation globale du financement des IRSC et les lacunes dans la mise en œuvre de la réforme ont eu pour effet de saper la confiance du milieu de la recherche des IRSC et de leurs intervenants.

4. Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?

Le comité et certains intervenants croient qu'il est trop tôt pour le dire. Toutefois, même à ce stade précoce de mise en œuvre, il y a plusieurs domaines qui, manifestement, bénéficieraient d'importantes améliorations, comme il a été avancé dans le rapport.

La mise en œuvre de la réforme a connu des ratés, notamment la mise en place tardive du collège des évaluateurs, l'absence d'agents scientifiques responsables de l'évaluation pour gérer le processus d'assignation des demandes, le manque d'engagement des intervenants (candidats, évaluateurs, hôpitaux, universités et autres partenaires) pour renforcer la confiance à l'égard du système et un certain nombre de solutions adoptées à la hâte.

Le comité a donc formulé des recommandations visant à améliorer la qualité de l'évaluation des demandes de subvention. Il a notamment conseillé de clarifier le rôle de l'évaluation par les pairs et de s'assurer que les recherches financées sont à la fois excellentes et susceptibles de générer des retombées importantes (définition générale et adéquate conforme à la Loi sur les IRSC).

Le comité croit qu'il est possible d'améliorer le système actuel de manière à résoudre de nombreux problèmes.

5. Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?

Le comité a formulé un certain nombre de recommandations visant à améliorer l'évaluation des demandes de subvention. Aucune approche unique n'a été érigée en norme de référence. Cependant, le comité souhaite attirer l'attention sur plusieurs pratiques qui permettraient d'accroître la qualité et l'efficacité du système d'évaluation aux IRSC :

  • intégrer des agents scientifiques responsables de l'évaluation détenteurs d'une maîtrise ou d'un doctorat et formés en recherche au personnel des IRSC afin qu'ils soutiennent les présidents de concours et le collège des évaluateurs dans le processus de recrutement des évaluateurs et d'assignation des demandes;
  • faire appel à un plus grand nombre d'évaluateurs internationaux pour atténuer la demande d'évaluateurs canadiens, réduire la possibilité de conflits d'intérêts et de biais et aider les IRSC à remplir leur mandat d'« exceller, selon les normes internationales reconnues de l'excellence scientifique […] »;
  • expliciter les stratégies déterminées pour intégrer l'évaluation de l'excellence et des retombées;
  • mettre en place un processus pour que les candidats retenus à l'étape 1 des concours Fondation et Projet puissent répondre aux commentaires des évaluateurs.

6. Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?

En fin de compte, la qualité et les retombées des recherches sont des mesures subjectives, ce qui complique la tâche des organismes de financement de la recherche à l'échelle internationale. Des paramètres comme le taux de citation ne mesurent que le rendement universitaire, et non l'ensemble des retombées.Les textes descriptifs sont souvent plus convaincants.

Quoi qu'il en soit, en tant qu'organisme public et transparent, les IRSC devraient investir dans une approche de surveillance et d'évaluation à plusieurs niveaux comprenant ce qui suit :

  • évaluer la mise en œuvre – processus de surveillance pour évaluer la qualité et l'efficacité du processus d'évaluation des demandes de subvention et du système dans son ensemble;
  • évaluer l'efficacité – mesure des retombées des recherches financées pour étudier la concordance de la stratégie avec le profil de la recherche financée;
  • continuer de surveiller les problèmes d'équité découlant de l'évaluation des demandes de subvention et de tous les éléments qui s'y rapportent;
  • rendre publics les résultats de ces analyses et évaluations et, sur demande (au moyen d'une proposition d'étude officielle), fournir aux chercheurs les ensembles de données anonymes à des fins d'analyse indépendante;
  • encourager les chercheurs financés à rédiger des textes descriptifs qui démontrent de façon prospective et progressive les retombées de leur recherche et qui sont accessibles aux Canadiens.

De plus, les IRSC devraient accroître la transparence de leurs systèmes d'évaluation en faisant ce qui suit :

  • demander à chaque président de concours à rédiger à l'intention du conseil d'administration un rapport (public ou non) sur son expérience et ses observations quant au processus;
  • inviter les membres du conseil d'administration ou les membres du collège des évaluateurs à observer l'évaluation par les pairs lors des réunions de l'étape d'évaluation finale.

Annexe C : Documents fournis au comité d'experts sur l'évaluation par les pairs

Trousse 1 (fournie par les IRSC en octobre 2016)

  • Renseignements généraux sur les IRSC
  • Mandat du comité
  • Formulaire de déclaration de conflit d'intérêts
  • Note de service sur les voyages
  • Formulaires de remboursement

Trousse 2 (fournie par les IRSC en décembre 2016)

Trousse 3 (fournie par les IRSC en janvier 2017)

Documents fournis par les participants aux membres du comité dans le cadre des rencontres des 16 et 17 janvier 2017

Date de modification :