Survol de la réforme de la série de programmes ouverts des IRSC : comité d’experts sur l’évaluation par les pairs
Novembre 2016
Table des matières
- Objectif
- Origine de la conception et justification des changements (Q1 et Q2)
- Survol de la conception (Q1)
- Processus de mise en œuvre des programmes de subventions Fondation et Projet (Q2, Q3 et Q4)
- Description des données probantes existantes (Q1 et Q2)
- Survol des possibilités d’amélioration et de surveillance continue (Q4 et Q6)
Liste des figures
Figure 1 | Satisfaction des intervenants – Évaluation par les pairs (pourcentage des répondants qui ont formulé une opinion), résultats d’un sondage IPSOS Reid (2010) |
Figure 2 | Calendrier du processus de réforme des IRSC |
Figure 3 | Schéma d’un concours du programme de subventions Fondation |
Figure 4 | Schéma d’un concours du programme de subventions Projet |
Figure 5 | Éléments conceptuels des nouveaux programmes et façon dont ils répondent aux problèmes soulevés |
Figure 6 | Distribution du volume de demandes et des taux de réussite dans le cadre des programmes de subventions pour la recherche libre, de 2006-2007 à 2015-2016 |
Figure 7 | Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre par thèmes principaux, de 2006-2007 à 2015-2016 |
Figure 8 | Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre selon le sexe des CPD, de 2006-2007 à 2015-2016 |
Figure 9 | Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre selon le stade de la carrière des CPD, de 2006-2007 à 2015-2016 |
Figure 10 | Ventilation de la cohorte des nouveaux chercheurs et des chercheurs en début de carrière selon la proportion de demandes présentées et financées, concours de subventions Fondation de 2015 |
Figure 11 | Ventilation de la cohorte des chercheurs en milieu de carrière et des chercheurs chevronnés selon la proportion de demandes présentées et financées, concours de subventions Fondation de 2015 |
Figure 12 | Ventilation des proportions de demandes présentées et financées, concours de subventions Projet du printemps 2016 |
Figure 13 | Modèle logique provisoire des programmes de recherche libre des IRSC |
Liste des tableaux
Tableau 1 | Différences entre les éléments conceptuels du POSF, du programme de subventions Fondation et du programme de subventions Projet |
Tableau 2 | Sphères à améliorer et réponses correspondantes des IRSC après les examens internes menés en 2015 |
Tableau 3 | Améliorations apportées au concours pilote du volet Fondation de 2015 à partir du concours pilote de 2014 |
Tableau 4 | Sphères à améliorer et changements demandés pour le concours de subventions Projet de 2016 (lancement à l’automne) après la réunion de travail du milieu de la recherche organisée par les IRSC le 13 juillet 2016. |
Tableau 5 | Recommandations du groupe de travail sur l’évaluation par les pairs concernant le concours de subventions Projet de 2016 |
Tableau 6 | Mise en œuvre par les IRSC des recommandations du groupe de travail sur l’évaluation par les pairs pour le concours de subventions Projet (automne 2016) |
Tableau 7 | État des principales fonctions du collège des évaluateurs supervisées par les présidents du collège |
Tableau 8 | Cadre provisoire de mesure du rendement de la recherche libre des IRSC |
1. Objectif
Le présent document d’information a pour objectif de rassembler en un seul endroit les données des IRSC, les analyses et les liens externes afin d’attirer l’attention du comité d’experts sur l’évaluation par les pairs sur :
- la conception de la réforme de la série de programmes ouverts (programmes de recherche libre) et du processus d’évaluation par les pairs des IRSC et la façon dont cette réforme répond aux problèmes de l’évaluation par les pairs recensés par l’organisme;
- la mesure dans laquelle les changements apportés à l’architecture des programmes et à l’évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire;
- les mécanismes utilisés par les IRSC pour assurer la qualité et l’efficacité de l’évaluation par les pairs.
Le présent document ne constitue pas une évaluation de la réforme et ne sert pas à remplacer l’interprétation des données ni l’information contextuelle qui seront fournies lors des réunions en personne du comité du 16 au 18 janvier 2017. Il sert plutôt à fournir une description et des données probantes pour soutenir une vision commune de la réforme et à compléter ce que le comité entendra durant ces réunions.
2. Origine de la conception et justification des changements (Q1 et Q2)
Conformément à la Loi sur les IRSC, ces derniers ont pour mission « d’exceller, selon les normes internationales reconnues de l’excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d’améliorer la santé de la population canadienne, d’offrir de meilleurs produits et services de santé, et de renforcer le système de santé au CanadaNote en bas de page 1 ».
Les Instituts de recherche en santé du Canada (IRSC) sont le principal organisme de financement de la recherche en santé du gouvernement canadien. Ils divisent la recherche en santé en quatre grands « thèmes » : la recherche biomédicale, la recherche clinique, la recherche sur les services et les systèmes de santé et la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations. Les IRSC investissent environ un milliard de dollars canadiens chaque année pour appuyer la recherche en santéNote en bas de page 2. Ces investissements servent à soutenir la recherche libre et la recherche priorisée.
Pour les IRSC, la recherche libre est un type de recherche où des chercheurs individuels et leur équipe proposent des projets sur un sujet de santé de leur choix. Un peu plus de la moitié du budget des IRSC est affecté à la recherche libreNote en bas de page 2. Le reste du budget est alloué à la recherche priorisée, qui est axée sur des domaines revêtant une importance stratégique pour le gouvernement du Canada. Dans ce contexte, des appels de propositions sont lancés selon des thèmes précis.
Jusqu’en 2014, le principal mécanisme utilisé par les IRSC pour financer la recherche libre était le Programme ouvert de subventions de fonctionnement (POSF) Note en bas de page 3. Ce programme avait pour objectifs de contribuer à la création, à la dissémination et à l’utilisation de connaissances liées à la santé et d’aider au développement et au maintien de la capacité de recherche en santé au Canada en appuyant des projets ou des programmes originaux et de grande qualité proposés et exécutés par des chercheurs individuels ou des groupes de chercheurs dans tous les domaines de la santé.
En 2009, les IRSC ont lancé leur plan stratégique intitulé L’innovation au service de la santé : de meilleurs soins et services par la recherche. Ce plan quinquennal présentait une vision audacieuse, soit la réforme du processus d’évaluation par les pairs et des programmes ouverts de financement. Dès 2010, les IRSC ont entamé la réforme de leurs programmes de recherche libre, dont le POSF, et du processus d’évaluation par les pairs associé. Cette réforme a reposé sur d’importantes contributions et a été influencée par trois principales sources de données :
Les données d’un sondage auprès de la communauté scientifique : un sondage IPSOS Reid mené en 2010 pour les IRSC a révélé que le milieu de la recherche appuyait fortement la réforme du système d’évaluation par les pairs, dont la qualité et la cohérence étaient perçues comme étant insuffisantes.
Figure 1. Satisfaction des intervenants – Évaluation par les pairs (pourcentage des répondants qui ont formulé une opinion); résultats d’un sondage IPSOS Reid (2010)
Une recommandation du comité du deuxième examen international des IRSC, mené en 2011 :
« Les IRSC doivent étudier la possibilité d’attribuer des subventions à plus long terme aux chercheurs les plus performants au pays. Ils doivent aussi fusionner les comités de subventions pour en réduire le nombre et donner à chacun un mandat scientifique plus vaste, ce qui permettra d’atténuer les contraintes […] »
Les constatations de l’évaluation de 2012 du Programme ouvert de subventions de fonctionnement (POSF) des IRSC, qui reconnaissaient les obstacles associés aux programmes ouverts de financement des thèmes de la recherche et confirmaient la nécessité d’alléger le fardeau des pairs évaluateurs et des candidats.
Les IRSC ont mené plusieurs rondes de consultation auprès de leurs intervenants avant et pendant le processus de réformeNote en bas de page 4. Durant les premières consultations, qui ont mené à la conception initialement proposée, les intervenants ont mis en évidence plusieurs problèmes liés à l’architecture de financement et au processus d’évaluation par les pairs des IRSCNote en bas de page 5. La deuxième version proposée visait à remédier à ces problèmes. Les voici :
- Accessibilité et complexité des programmes de financement
- Fardeau pour les candidats
- Processus et attributs des demandes qui ne permettent pas d’obtenir les données appropriées
- Soutien insuffisant pour les nouveaux chercheurs et les chercheurs en début de carrière
- Collaborations entre chercheurs et utilisateurs des connaissances non reconnues à leur juste valeur
- Manque de disponibilité des experts
- Manque de fiabilité et de cohérence de l’évaluation par les pairs
- Nature conventionnelle de l’évaluation par les pairs
- Charge de travail élevée des pairs évaluateurs
Les IRSC ont adopté un nouveau système de subventions pour la recherche libre, dont certains éléments conceptuels visaient à surmonter les problèmes susmentionnés. Ces changements, mis à l’essai et implantés entre 2010 et 2016, ont été conçus pour répondre précisément aux problèmes soulevés par les intervenants. Les étapes importantes de ce plan sont énumérées dans la figure 2 (ci-dessous).
Avec la nouvelle série de programmes ouverts, la majorité du financement de la recherche libre est maintenant allouée par l’intermédiaire des programmes de subventions Fondation et ProjetNote en bas de page 6. Cela dit, il importe de noter que les IRSC financent des subventions de recherche priorisée et des bourses au moyen de mécanismes de financement et de processus d’évaluation par les pairs qui ne sont pas abordés dans le présent document.
Les objectifs de la nouvelle série de programmes ouverts sont les suivants :
- Programme de subventions Fondation (un concours par année) – conçu pour contribuer à l’édification d’une assise durable formée de chefs de file de la recherche en santé en offrant du soutien à long terme pour entreprendre des programmes de recherche novateurs et porteurs.
- Programme de subventions Projet (deux concours par année) – conçu pour exploiter les idées les plus susceptibles de faire progresser de façon importante les connaissances en santé, le système de soins de santé et les résultats sur la santé en appuyant des projets ayant une fin et un but précis. Les réactions du milieu canadien de la recherche en santé à l’égard de cette réforme ont été mitigées.
- Le collège des évaluateurs a pour vision d’établir une ressource à gestion centralisée reconnue internationalement, favorisant l’engagement de tout le milieu canadien de la recherche en santé à soutenir l’excellence dans l’évaluation par les pairs pour les activités diversifiées et émergentes de recherche et d’application des connaissances couvrant l’éventail complet de la recherche en santé. Le collège se veut une ressource nationale qui, avec le temps, répondra aux besoins en évaluation des IRSC et de leurs partenaires. La mise en place du collège favorisera :
- l’établissement d’une base plus stable d’évaluateurs expérimentés du Canada et de l’étranger;
- les approches collaboratives en évaluation par les pairs pour l’ensemble des organismes de financement de la recherche en santé;
- l’inclusion de mécanismes d’assurance de la qualité;
- des processus de recrutement systématique;
- des ressources permanentes pour la formation et des programmes de mentorat;
- un programme de reconnaissance apprécié.
Figure 2. Calendrier du processus de réforme des IRSC
3. Survol de la conception (Q1)
L’objectif de la présente section est de survoler les rapports et les processus qui ont orienté la conception des nouveaux programmes de financement (Fondation et Projet) ainsi que le lien entre leur conception et celle de l’ancien Programme ouvert de subventions de fonctionnement des IRSC. Les processus de demande des programmes Fondation et Projet sont illustrés aux figures 3 et 4 (ci-dessous).
Les programmes Fondation et Projet ont été conçus afin de résoudre les problèmes susmentionnés. Les éléments conceptuels propres à ces programmes et la façon dont ils viennent régler certains de ces problèmes sont illustrés ci-dessous dans la figure 5 et abordés plus en détail dans les documents clés suivants :
- Document de travail conceptuel – Proposition de changements à la série de programmes ouverts des IRSC et d’améliorations au processus d’évaluation par les pairs. Ce document, publié en mars 2012, décrit la vision des IRSC sur la nouvelle conception proposée. Il définit un ensemble de mécanismes de financement pour la nouvelle série de programmes ouverts ainsi qu’un ensemble de paramètres conceptuels ayant été présentés aux fins de mise en œuvre.
- Les IRSC à votre écoute : analyse de la rétroaction sur le document de travail conceptuel. Ce document, publié en août 2012, fait le compte rendu des commentaires reçus du milieu de la recherche des IRSC au sujet des changements proposés à la série de programmes ouverts et au processus d’évaluation par les pairs. Ces commentaires ont été obtenus lors de consultations sur la conception menées partout au pays.
- Concept d’avenir : nouvelle série de programmes ouverts et nouveau processus d’évaluation par les pairs. Ce document, publié en décembre 2012, résume les principaux éléments de la conception de la nouvelle série de programmes ouverts et du processus d’évaluation par les pairs. On y annonçait également l’engagement des IRSC à l’égard de la planification d’une transition réfléchie vers la nouvelle conception ainsi que leur intention d’adopter des processus de conception et de mise en œuvre itératifs incluant des essais pilotes.
Comme le montre la figure 5 (ci-dessus), les éléments conceptuels ont été choisis consciemment pour répondre à plusieurs problèmes. Le tableau 1 compare ces éléments à ceux de l’ancien Programme ouvert de subventions de fonctionnement et indique la situation actuelle en ce qui concerne les concours des programmes de subventions Fondation et Projet.
Figure 3. Schéma d’un concours du programme de subventions Fondation
Figure 4. Schéma d’un concours du programme de subventions Projet
Figure 5. Éléments conceptuels des nouveaux programmes et façon dont ils répondent aux problèmes soulevés
Comme le montre la figure 5 (ci-dessus), les éléments conceptuels ont été choisis consciemment pour répondre à plusieurs problèmes. Le tableau 1 compare ces éléments à ceux de l’ancien Programme ouvert de subventions de fonctionnement et indique la situation actuelle en ce qui concerne les concours des programmes de subventions Fondation et Projet.
Tableau 1. Différences entre les éléments conceptuels du POSF, du programme de subventions Fondation et du programme de subventions Projet
Élément | POSF | Programme de subventions Fondation | Programme de subventions Projet |
---|---|---|---|
Accessibilité et complexité des programmes de financement : En plus du POSF, qui était de grande envergure, les IRSC ont créé plusieurs mécanismes de financement spécialisés de petite taille, ce qui, comme l’a fait remarquer le Comité d’examen international des IRSC de 2011, s’est traduit par un ensemble de programmes de plus en plus complexe au fil du temps. Les chercheurs se heurtaient à des obstacles lorsqu’ils essayaient de faire correspondre leurs projets de recherche aux critères de programmes existants – qui manquaient quelques fois d’uniformité – et ils devaient parfois présenter des demandes dans le cadre de nombreux programmes pour financer un seul projet de recherche. | |||
Nombre de programmes de financement | Programme qui s’est déroulé parallèlement à plus de 10 programmes ouverts de financement spécialisés en lien, par exemple, avec l’application des connaissances et la commercialisation. Les chercheurs devaient parfois présenter des demandes dans le cadre de nombreux programmes pour financer un seul projet de recherche. | Programme de financement unique conçu pour soutenir à long terme des programmes de recherche qui intègrent l’application des connaissances ou d’autres domaines auparavant soutenus par des programmes spécialisés. | Programme de financement unique conçu pour soutenir des projets de recherche ayant une fin précise et intégrant l’application des connaissances ou d’autres domaines auparavant soutenus par des programmes spécialisés. |
Nombre de concours lancés par année | 2 concours (> 10 concours pour les programmes de financement spécialisés) | 1 concours | 2 concours |
Fardeau pour les candidats : Les chercheurs financés par les IRSC avaient de plus en plus tendance à présenter de multiples demandes de subvention dans le cadre de concours ouverts pour financer un seul projet de recherche. Les chercheurs se plaignaient qu’avec tout le temps passé à rédiger et à présenter des demandes pour de multiples subventions, il leur restait bien peu de temps pour mener leurs recherches. L’alourdissement du fardeau qui pesait sur les candidats enregistré au cours des cinq années précédentes avait mené le Comité d’examen international des IRSC de 2011 à formuler la recommandation suivante : « Les IRSC doivent étudier la possibilité d’attribuer des subventions [de plus grande valeur et] à plus long terme aux chercheurs les plus performants au pays. » | |||
Appui aux programmes de recherche | Oui, le programme finançait des programmes et des projets. Il n’y avait aucun critère précis pour les programmes. | Oui, les programmes de recherche sont obligatoires. Ces programmes devront incorporer des composantes intégrées et interreliées de recherche, d’application des connaissances et de formation ou de mentorat. | Non, le programme est conçu pour des projets ayant une fin précise. |
Durée moyenne et maximale des subventions | La durée moyenne d’une subvention dans le cadre du POSF entre 2006-2007 et 2013-2014 était de 4 ans, mais aucune durée maximale n’était fixée. | La durée moyenne d’une subvention Fondation entre 2014-2015 et 2015‑2016 était de 6,5 ans; la durée maximale est de 5 ans pour les chercheurs nouveaux ou en début de carrière, et de 7 ans pour les chercheurs chevronnés ou en milieu de carrière. | La durée moyenne d’une subvention Projet en 2016-2017 était de 4 ans, mais aucune durée maximale n’était fixée. |
Exigences concernant la structure des demandes (p. ex., sections, limite de caractères, limite de pages) | Module sur la recherche non structuré limitant les demandes à 13 pages et module sur le CV commun canadien (CVC). | Oui, demande structurée avec limite de caractères et module sur le CVC abrégé. | Au départ, demande structurée avec limite de caractères et module sur le CVC abrégé. À partir de juillet 2016, transition vers des demandes de format libre (comprenant des figures et des tableaux) avec une limite de 10 pages et un module sur le CVC amélioré. Une réponse d’une page aux évaluations antérieures sera aussi incluse dans la structure révisée pour donner au candidat la possibilité d’expliquer comment la demande a été améliorée depuis la dernière demande. |
Nombre limite de demandes par chercheur | Aucune limite quant au nombre de demandes qu’une personne pouvait présenter à titre de candidat principal désigné ou auxquelles elle pouvait participer en tant que candidat principal ou cocandidat; ces demandes devaient toutefois être différentes et ne pas se chevaucher. | Une personne ne peut détenir plus d’une subvention Fondation à titre de directeur de programme à la fois. Le directeur de programme d’une subvention Fondation ne peut présenter une demande au concours de subventions Projet à titre de chercheur principal désigné ou de chercheur principal. Le directeur de programme d’une subvention Fondation pourra participer à un concours de subventions Projet à titre de cocandidat ou de collaborateur, ou à n’importe quel programme de recherche priorisée des IRSC à titre de chercheur principal désigné ou de chercheur principal. |
Au départ, les IRSC avaient restreint le nombre de demandes qu’un chercheur pouvait présenter à un concours Fondation ou Projet dans le but de réduire le fardeau pour les candidats et les évaluateurs. Après avoir reçu des commentaires du milieu de la recherche, ils ont aboli cette restriction pour le programme Projet. Ils ont toutefois réinstauré une limite de deux demandes par personne à la suite des travaux du groupe de travail sur l’évaluation par les pairs en juillet 2016. De plus, les IRSC ont levé l’interdiction de présenter des demandes à la fois au concours Fondation et au concours Projet. Les chercheurs peuvent donc demander des fonds dans le cadre des deux programmes. Voici les politiques en vigueur :
|
Nombre limite de nouvelles demandes | Non. | Non. | Non. |
Processus et attributs des demandes qui ne permettent pas d’obtenir les données appropriées : Avec leurs différents mécanismes de financement, les IRSC se sont retrouvés avec plusieurs processus et formulaires de demande. Dans la gestion de cette multiplication du nombre de mécanismes de financement, les renseignements figurant dans les demandes et les critères d’évaluation par les pairs étaient harmonisés, mais non structurés, ce qui contribuait au manque d’uniformité dans les réponses des candidats et dans l’application des critères par les évaluateurs. | |||
Exigences relatives à la demande associées au processus de concours en plusieurs étapes | Non, tous les détails d’une demande étaient fournis en même temps. | Oui, les exigences relatives à la demande sont différentes aux étapes 1 et 2. Un processus de concours en plusieurs étapes avec de courtes demandes à l’étape 1 est en place pour diminuer le travail nécessaire à la préparation d’une demande. | Non, tous les détails d’une demande doivent être fournis en même temps. |
Soutien aux nouveaux chercheurs et aux chercheurs en début de carrière : Les IRSC reconnaissent le rôle que jouent les nouveaux chercheurs et les chercheurs en début de carrière dans la création de bases solides pour l’excellence de l’entreprise canadienne de recherche en santé. | |||
Critères d’évaluation par les pairs particuliers pour les nouveaux chercheurs et les chercheurs en début de carrière | Les évaluateurs devaient tenir compte du stade de carrière. | Les évaluateurs doivent tenir compte du stade de carrière. De plus, un guide d’interprétation détaillé leur a été fourni pour évaluer les demandes des nouveaux chercheurs et des chercheurs en début de carrière. | Les évaluateurs doivent tenir compte du stade de carrière. De plus, un guide d’interprétation détaillé leur a été fourni pour évaluer les demandes des nouveaux chercheurs et des chercheurs en début de carrière. |
Classement distinct des nouveaux chercheurs et des chercheurs en début de carrière | Non. | Oui, dans le cadre du concours Fondation de 2015. Les nouveaux chercheurs et les chercheurs en début de carrière ont été évalués et classés par rapport à d’autres nouveaux chercheurs et chercheurs en début de carrière à chaque étape du concours. Dans le cadre du concours Fondation de 2016, les candidats ont été combinés peu importe le stade de leur carrière, parce que le nombre de demandes présentées par des nouveaux chercheurs et des chercheurs en début de carrière était insuffisant pour qu’on puisse évaluer et classer ces candidats séparément. |
Non. |
Fonds réservés aux nouveaux chercheurs et aux chercheurs en début de carrière | Non. | Oui, au moins 15 % des subventions sont remises à de nouveaux chercheurs et à des chercheurs en début de carrière. | Oui, jusqu’à 30 M $ par concours sont réservés aux nouveaux chercheurs et aux chercheurs en début de carrière. |
Collaborations entre chercheurs et utilisateurs des connaissances non reconnues à leur juste valeur : Au fil des ans, les IRSC ont instauré des mécanismes de financement qui témoignaient de leur engagement à l’égard de l’application des connaissances et ont commencé à renforcer les capacités dans ce domaine. L’intégration de l’application des connaissances a permis de réunir les chercheurs et les utilisateurs des connaissances pour façonner le processus de recherche et a produit des résultats de recherche qui s’avéraient plus susceptibles d’être pertinents pour les utilisateurs des connaissances et d’être utilisés par ces derniers. Cependant, le Programme ouvert de subventions de fonctionnement des IRSC n’était pas conçu pour favoriser activement les partenariats et les collaborations avec les utilisateurs des connaissances et les décideurs. | |||
Prise en compte à tous les niveaux des approches d’application des connaissances intégrée | Un utilisateur des connaissances ne pouvait pas être un chercheur principal, mais pouvait agir comme cochercheur ou collaborateur (entre autres); cette situation était plutôt rare et entraînait de la confusion et des incohérences durant l’évaluation par les pairs. | Oui, les demandes de subventions Fondation et Projet peuvent comprendre une approche d’application des connaissances intégrée ou être axées sur l’application des connaissances et inclure au moins un utilisateur des connaissances et un chercheur. L’utilisateur des connaissances peut également être le chercheur principal désigné dans le cadre de l’un ou l’autre des programmes. Les IRSC définissent un utilisateur des connaissances comme une personne susceptible d’utiliser les connaissances issues de la recherche pour prendre des décisions éclairées au sujet de politiques, de programmes ou de pratiques en matière de santé. Un utilisateur des connaissances peut être un praticien, un responsable des politiques, un éducateur, un décideur, un administrateur de soins de santé, un dirigeant communautaire, une personne associée à un organisme de bienfaisance dans le domaine de la santé, à un groupe de patients, à un organisme non gouvernemental, aux médias, etc. Les IRSC définissent l’application des connaissances intégrée comme une approche par laquelle les chercheurs et les utilisateurs des connaissances s’unissent pour façonner le processus de recherche – tout d’abord, en établissant ensemble les questions de recherche, en déterminant la méthodologie, en participant à la collecte des données et au développement des outils, en interprétant les conclusions et en contribuant à disséminer les résultats de la recherche. |
|
Manque de disponibilité des experts : À mesure que la nature et la diversité de la recherche en santé évoluent, il est de plus en plus nécessaire de recruter des pairs évaluateurs provenant d’horizons plus larges pour garantir que tous les aspects et les impacts futurs de la recherche en santé sont pris en compte. Certains chercheurs s’inquiètent du fait que le bassin actuel d’experts des IRSC ne possède peut-être pas l’expertise disciplinaire nécessaire pour évaluer tous les types de demandes. Les chercheurs de domaines multidisciplinaires, émergents et établis ont dit avoir eu de la difficulté à déterminer quels sont les comités d’évaluation par les pairs qui conviendraient le mieux pour évaluer leurs recherches. De plus, les IRSC ont de plus en plus de mal à faire correspondre certaines demandes aux mandats des comités d’évaluation de disciplines particulières. | |||
Collège des évaluateurs | Non. | Prévu; en cours de mise en œuvre. | Prévu; en cours de mise en œuvre. |
Assignation des demandes à des comités permanents | Oui. | Non, évaluation axée sur les demandes. | Non, évaluation axée sur les demandes. |
Approche d’évaluation axée sur les demandes (c.‑à‑d., recrutement et sélection des évaluateurs selon le contenu des demandes) | Non, les demandes étaient évaluées par des comités permanents au sein desquels les évaluateurs étaient choisis en fonction du contenu de la demande; on faisait parfois appel à des évaluateurs externes. | Oui. | Oui. |
Autoévaluation des conflits d’intérêts | Oui. | Oui. | Oui. |
Autoévaluation de la capacité à évaluer une demande donnée | Oui, évaluation globale de la capacité à évaluer une demande donnée (élevée, moyenne, faible, inexistante). | Oui, évaluation globale de la capacité à évaluer une demande donnée (élevée, moyenne, faible, inexistante). | Oui, depuis le concours de l’automne 2016, évaluation de la capacité à évaluer une demande en entier ou certains des volets suivants : domaine scientifique, méthodologie, population étudiée (évaluation complète, évaluation partielle, aucune évaluation en raison d’un conflit d’intérêts ou d’un manque d’expertise). |
Profil d’expertise des évaluateurs | Oui, au moyen de mots-clés non normalisés sur l’expertise. | Oui, processus normalisé où les évaluateurs soumettent des profils détaillés que les IRSC utilisent pour jumeler les demandes. | Oui, depuis le concours de l’automne 2016, processus normalisé où les évaluateurs soumettent des profils détaillés que les IRSC utilisent pour jumeler les demandes. |
Jumelage évaluateur‑demande | Le personnel des IRSC prenait les décisions finales de concert avec le président et l’agent scientifique du comité. | Le personnel des IRSC prend les décisions de concert avec les présidents virtuels. | Le personnel des IRSC prend les décisions, puis les présidents du concours les valident et les approuvent. |
Processus de sélection à distance (virtuel) | Non. | Oui, à l’étape 1. | Oui, à l’étape 1. |
Manque de fiabilité et de cohérence de l’évaluation par les pairs : Les résultats d’un sondage effectué dans le cadre de l’examen international des IRSC de 2011 sur la satisfaction des intervenants par rapport à l’évaluation par les pairs montraient que bien que les pairs évaluateurs considéraient le processus comme juste et efficace, les candidats et les intervenants des établissements croyaient qu’il y avait des progrès à faire. | |||
Formation des pairs évaluateurs | Pas de formation structurée, mais accès à un guide général d’évaluation par les pairs. | Oui, obligatoire, ainsi qu’un guide détaillé d’évaluation par les pairs des subventions Fondation. | Oui, facultative, ainsi qu’un guide détaillé d’évaluation par les pairs des subventions Projet. |
Nombre d’évaluateurs par demande | Habituellement 2 évaluateurs et 1 lecteur par demande. | Moyenne de 5 évaluateurs par demande aux étapes 1 et 2. | Moyenne de 4 évaluateurs par demande. |
Mécanismes de discussion entre les évaluateurs | Oui, la structure du comité donnait l’occasion de présenter les évaluations et d’en discuter. | Oui, en ligne aux étapes 1 et 2, et en personne à l’étape finale de l’évaluation. | Oui, en personne à l’étape finale de l’évaluation (étape 2). Le programme de subventions Projet comprenait au départ des discussions en ligne asynchrones entre les évaluateurs, mais ce mécanisme a été retiré du concours de l’automne 2016 à la suite d’une recommandation du groupe de travail sur l’évaluation par les pairs. |
Cotation ou classement des demandes | Cotation sur une échelle de 5 points. La cote consensuelle était établie par le premier et le second évaluateurs. Cette cote devenait ensuite la référence à partir de laquelle tous les autres membres du comité devaient se prononcer (+/- 0,5 par rapport à la cote consensuelle). | Classement des demandes d’un évaluateur, puis classement combiné des demandes de tous les évaluateurs. | Classement des demandes d’un évaluateur, puis classement combiné des demandes de tous les évaluateurs. |
Processus d’assurance de la qualité des évaluations | Informel; se déroulait durant la présentation des évaluations aux comités; rôle de l’agent scientifique. En 2014, les IRSC ont mené une vérification portant notamment sur la qualité des évaluations. L’objectif de la vérification était d’évaluer la qualité des commentaires que reçoivent les candidats en fonction des critères d’évaluation établis par les IRSC, ainsi que l’évaluation de base du niveau d’adhésion des pairs évaluateurs à ces critères. |
Informel; les présidents virtuels sont responsables de surveiller la qualité des évaluations. Les IRSC sont en train d’élaborer un cadre officiel d’assurance de la qualité des évaluations en collaboration avec le collège des évaluateurs. | Informel; le président du concours et l’agent scientifique sont responsables de surveiller la qualité des évaluations. Les IRSC sont en train d’élaborer un cadre officiel d’assurance de la qualité des évaluations en collaboration avec le collège des évaluateurs. |
Nature conventionnelle de l’évaluation par les pairs : Compte tenu de la nature et de la diversité des demandes qu’ils reçoivent, les IRSC ont assisté à une augmentation des demandes dans de nouveaux domaines émergents de la recherche en santé au fil des ans, notamment dans des disciplines de recherche multiples. Les commentaires des chercheurs et des intervenants laissaient croire que les structures existantes des comités, qui fixaient des seuils égaux de financement pour les mandats éprouvés et relativement immuables, favorisaient les approches éprouvées. Dans un milieu où seule une petite proportion des demandes était financée, il y avait peu de motivation à accepter les projets de domaines de recherche plus risqués et non éprouvés. Ces deux facteurs donnaient lieu à un système d’évaluation par les pairs conventionnel. | |||
Anonymat des candidats pour les pairs évaluateurs | Non. | Non. | Non. |
Anonymat des pairs évaluateurs pour les candidats | Non, les noms des pairs évaluateurs ayant participé à un concours étaient publiés 60 jours après les avis de décision. Les noms n’étaient pas associés aux demandes évaluées, mais aux comités. | Non, les noms des pairs évaluateurs ayant participé à un concours sont publiés 60 jours après les avis de décision. Les noms ne sont pas associés aux demandes évaluées. | Non, les noms des pairs évaluateurs ayant participé à un concours sont publiés 60 jours après les avis de décision. Les noms ne sont pas associés aux demandes évaluées. |
Innovation reconnue dans les critères d’évaluation par les pairs | Partiellement, au moyen d’un critère non structuré et non pondéré axé sur l’« originalité ». | Oui, au moyen de critères structurés. | Oui, au moyen de critères structurés. |
Charge de travail élevée des pairs évaluateurs : En raison de l’augmentation du nombre de demandes reçues, y compris des demandes présentées pour la deuxième fois, le nombre d’évaluateurs dont les IRSC avaient besoin pour remplir leur mandat avait lui aussi augmenté. On attendait de la majorité des évaluateurs qu’ils se déplacent à Ottawa pour évaluer dans un court délai plus de 6 500 demandes, dont la longueur augmentait sans cesse, ce qui entraînait de la fatigue chez les évaluateurs. | |||
Processus de demande en plusieurs étapes | Non. | Oui. | Oui. |
Nombre de demandes par évaluateur | 3 à titre de premier évaluateur, 3 à tire de second évaluateur et 3 à titre de lecteur. | 10 à titre de premier évaluateur. | 10 à titre de premier évaluateur. |
Nombre de semaines allouées à l’évaluation (de l’assignation des demandes jusqu’à la date limite) | ≈ 5 semaines. | Fondation 2014 : 3,7 semaines pour l’étape 1 et 3,9 semaines pour l’étape 2. Fondation 2015 : 2,4 semaines pour l’étape 1 et 3,4 semaines pour l’étape 2. |
4,4 semaines. |
Nombre moyen d’heures consacrées par un évaluateur à l’évaluation d’une demande | 7,9 heures. | 5,0 heures (pour les 3 étapes d’évaluation). | 4,9 heures (pour les 2 étapes d’évaluation). |
Nombre total d’heures consacrées par un évaluateur à l’évaluation des demandes | 30,3 heures. | 24,8 heures. | 15,1 heures. |
4. Processus de mise en œuvre des programmes de subventions Fondation et Projet (Q2, Q3 et Q4)
L’objectif de la présente section est de résumer les documents et les processus ayant orienté la mise en œuvre des éléments conceptuels des programmes et des processus d’évaluation par les pairs connexes.
Depuis 2013, les IRSC ont mis à l’essai, dans le cadre de concours pilotes, des éléments conceptuels précis en lien avec leurs nouveaux programmes, notamment les demandes structurées, l’évaluation à distance, l’échelle de cotation et le CV abrégé. Ces concours pilotes ont été menés en « temps réel » (c.-à-d., durant l’exécution normale de plusieurs programmes). Les IRSC ont ainsi pu surveiller les résultats en se fondant sur des données probantes. Les concours pilotes ont été suivis de près pour garantir la fiabilité, la cohérence, l’équité et l’efficacité des processus de concours et d’évaluation par les pairs. Les résultats des concours pilotes terminés à ce jour ont été analysés et regroupés dans les rapports qui suivent :
- Concours pilote de subventions de Synthèse des connaissances de l’automne 2013 : Rapport final
- Bilan du concours pilote de bourses de recherche du printemps 2013
En 2015, les IRSC ont commandé des examens sur différents aspects du projet de mise en œuvre de la réforme. Ces examens ont été lancés par la direction des IRSC dans le but d’évaluer les processus et les systèmes internes liés à la mise en œuvre de la réforme et de pouvoir modifier rapidement les projets d’une complexité semblable. Les rapports suivants ont été rédigés :
- Le rapport Mission de consultation de la Vérification interne, qui porte sur les leçons tirées du projet de mise en œuvre de la réforme, est le fruit de l’équipe de la Vérification interne des IRSC. Il traite principalement de gouvernance et des pratiques administratives liées à la gestion de projet et à la réorganisation interne qui ont mené aux nouveaux programmes de subventions Fondation et Projet. Selon le rapport, le projet de mise en œuvre de la réforme est appuyé par des outils de planification bien conçus, et les échéanciers des concours pilotes ont été respectés. On a également cerné des possibilités d’amélioration en ce qui touche l’échange d’information, les communications, l’établissement de rapports, la planification de projets et l’engagement des intervenants. Les IRSC prennent actuellement des mesures à l’égard de chacune de ces possibilités.
- Le rapport Examen indépendant du projet CRM dans le cadre de la réforme, réalisé par Interis Consulting, a pour but d’évaluer la mise en place de systèmes opérationnels requis pour appuyer les nouveaux processus d’exécution des programmes. Les IRSC ont sollicité les recommandations d’experts au sujet de la mise en place de systèmes opérationnels complexes et transformateurs. Les possibilités d’amélioration visaient notamment la clarification des rôles et des responsabilités ainsi que de l’échéancier et de la portée des projets. Les IRSC s’emploient à adopter les recommandations présentées dans le rapport, par exemple en formant des comités de gouvernance qui surveilleront la portée et l’échéancier des projets.
- Le rapport Réponse de la direction et plan d’action, publié en mai 2016, donne suite aux recommandations formulées dans les deux premiers rapports. Ces derniers ont permis à la direction de recevoir de la rétroaction tout au long de la mise en place des nouveaux systèmes opérationnels et de gestion, et ainsi d’ajuster le tir au besoin. Les IRSC continuent d’adopter les recommandations présentées dans ces rapports et prennent les mesures nécessaires pour s’attaquer aux problèmes soulevés en matière de gestion de projet.
Ces examens ont mis en lumière un certain nombre de forces internes, notamment les suivantes :
- les principales activités de planification ont été entreprises comme il se doit;
- les documents et les outils de planification ont été bien conçus;
- les concours pilotes ont été réalisés dans les délais prévus grâce à une équipe de projet leur étant consacrée;
- la mobilisation des employés dans les concours pilotes s’est traduite par un dévouement et un engagement accrus en période de changement.
Les examens ont également permis de relever un certain nombre d’améliorations possibles dans les cinq sphères suivantes :
- Gouvernance
- Communications et engagement des intervenants
- Information destinée à la prise de décisions par les comités de haut niveau
- Gestion et planification de projet
- Engagement des intervenants internes et incidence sur le personnel
Les IRSC ont accepté les recommandations issues des examens et, en conséquence, prennent les mesures qui suivent au tableau 2.
Tableau 2. Sphères à améliorer et réponses correspondantes des IRSC après les examens internes menés en 2015
Sphère | Réponse des IRSC |
---|---|
Gouvernance | La structure générale de gouvernance et de prise de décision établie pour les concours pilotes et la mise en œuvre de la réforme a été revue afin qu’elle demeure adaptée aux besoins actuels des IRSC, au moment où s’amorce la dernière étape de ce vaste projet. Dans le cadre de ce processus, les IRSC ont examiné leur culture de gouvernance actuelle, en se concentrant sur la manière dont les décisions sont remises en cause et les hypothèses de planification sont posées. Cette démarche a mené à la création d’une nouvelle structure de gouvernance pour mieux soutenir l’infrastructure de TI. La structure de gouvernance et de prise de décision continuera à faire l’objet d’un examen régulier. |
Communications et engagement des intervenants | Les IRSC revoient leur stratégie et leurs pratiques de communication pour améliorer les communications avec le public concernant les concours pilotes et la mise en œuvre de la réforme. Cette révision permettra de renforcer des éléments stratégiques de la réforme, de mobiliser davantage les directeurs scientifiques et les instituts, et d’intégrer des experts de la Direction des communications et de la sensibilisation du public, du Portefeuille de la recherche, de l’application des connaissances et de l’éthique et du Portefeuille des affaires extérieures et développement d’entreprise. Cette mesure prévoit entre autres la création d’un centre de contact et l’engagement d’adopter de nouvelles façons de communiquer et de collaborer pour accroître la clarté et la transparence. |
Information destinée à la prise de décisions par les comités de haut niveau | L’ensemble des activités de gouvernance et de production de rapports liées au groupe de travail et au comité directeur de la mise en œuvre de la réforme a été revu. Ces activités ont été améliorées pour mieux appuyer le comité dans ses rôles et responsabilités, tels qu’ils sont définis dans son mandat, ainsi que pour fournir des données d’analyse pertinentes et actuelles à l’appui de la prise de décisions. Les IRSC ajustent également leurs processus de gestion des changements pour inclure une analyse exhaustive des incidences sur les ressources opérationnelles et les coûts, avant de procéder à tout changement. Le comité directeur a été reconstitué; il se réunira toutes les deux semaines et exercera une supervision complète des fonctions de gestion administrative et financière et de planification de projet pour la réforme. |
Gestion et planification de projet | Pour les prochains concours pilotes, le Portefeuille de la recherche, de l’application des connaissances et de l’éthique et les Services de gestion de la technologie de l’information ont établi des procédures de gestion de projet afin de définir les règles opérationnelles applicables aux différents concours pilotes. Un processus amélioré de contrôle et de gestion des changements est ainsi prévu. Les IRSC intègreront également une analyse rétrospective approfondie à chaque concours pilote et se serviront des données sur le rendement, des systèmes et de l’information budgétaire disponible afin de mieux planifier les prochaines activités. |
Engagement des intervenants internes et incidence sur le personnel | Les IRSC continueront à interroger le personnel pour obtenir des données supplémentaires sur l’engagement des employés. De plus, ils tiennent des entrevues de départ, des discussions de suivi ou des rencontres de consultation avec les personnes ayant quitté leurs fonctions liées aux concours pilotes afin d’optimiser la transmission des leçons apprises. Ils réexamineront également les priorités organisationnelles et les adapteront en fonction des résultats de l’évaluation susmentionnée. Enfin, ils continueront de former le personnel sur l’utilisation des nouvelles applications de TI. |
En 2016, les IRSC ont expliqué comment le concours pilote du volet Fondation (ancien nom du programme de subventions Fondation) de 2014 allait orienter les concours suivants. Le tableau 3, tiré du résumé de ce rapport, présente quelques-uns des changements apportés au concours pilote du volet Fondation de 2015 motivés par le concours pilote de 2014 et les réponses à des sondages connexes fournies par des évaluateurs, des candidats et des présidents de concours.
Tableau 3. Améliorations apportées au concours pilote du volet Fondation de 2015 à partir du concours pilote de 2014
Commentaires reçus | Changements apportés |
---|---|
Étape 1 | |
|
|
Une faible minorité de candidats et d’évaluateurs ont mentionné :
|
|
|
|
Étape 2 | |
|
|
|
|
Une majorité de candidats et d’évaluateurs ont recommandé que la pondération des sous-critères soit ajustée comme suit :
|
La pondération des sous-critères a été ajustée :
|
|
|
Étape finale de l’évaluation | |
|
Des changements opérationnels visant à améliorer le processus à l’EFE sont actuellement envisagés, notamment :
|
Assurer la qualité des évaluations | |
Une faible minorité d’évaluateurs ont suggéré ce qui suit :
|
|
|
|
Le 13 juillet 2016, les IRSC ont organisé, à la demande de la ministre de la Santé, une réunion de travail avec les membres du milieu de la recherche en santé afin qu’ils répondent ensemble aux préoccupations concernant le processus d’évaluation par les pairs des IRSC, en particulier dans le contexte du programme de subventions Projet. Le tableau 4 résume les principaux résultats de cette réunion et complète le rapport intégral, accessible à l’adresse 49871.html.
Tableau 4. Sphères à améliorer et changements demandés pour le concours de subventions Projet de 2016 (lancement à l’automne) après la réunion de travail du milieu de la recherche organisée par les IRSC le 13 juillet 2016
Sphère | Changements demandés pour le concours de subventions Projet de 2016 |
---|---|
Évaluation adéquate des demandes de subvention pour la recherche en santé autochtone |
|
Demandes |
|
Étape 1 : triage |
|
Étape 2 : discussion en personne |
|
Mise sur pied d’un groupe de travail sur l’évaluation par les pairs |
|
La création du groupe de travail sur l’évaluation par les pairs est l’un des résultats de la réunion de travail du 13 juillet 2016 entre les IRSC et des représentants du milieu de la recherche. Sous la direction du Dr Paul Kubes, les membres du groupe de travail ont discuté des résultats de la réunion et ont proposé des recommandations, qui sont résumées dans le tableau 5. La réponse des IRSC à ces recommandations est présentée dans le tableau 6. Soulignons que le Dr Kubes occupe actuellement un poste au sein des IRSC à titre de président administratif du collège des évaluateurs.
Tableau 5. Recommandations du groupe de travail sur l’évaluation par les pairs pour le concours de subventions Projet de 2016
Résultat de la réunion de travail du 13 juillet | Recommandation du groupe de travail | Justification |
---|---|---|
Demandes | ||
Les candidats seront autorisés à présenter deux demandes à chaque concours de subventions Projet. |
|
Cette décision vise à alléger le fardeau pour les évaluateurs (bien que la plupart des candidats n’aient présenté qu’une ou deux demandes, certains CPD en ont présenté plus, dont un qui en a présenté sept lors du dernier concours de subventions Projet). Cependant, nous savons que certains chercheurs peuvent avoir besoin de renouveler plus d’une subvention; nous avons donc trouvé qu’une limite de deux demandes par concours était raisonnable. |
Le nombre limite de pages sera porté à 10 (figures et tableaux compris) par demande, et les candidats pourront joindre un nombre illimité de documents, comme des références et des lettres d’appui. |
|
Nous avons reçu beaucoup de rétroaction sur ce point : certains candidats ne voulaient aucun changement à la structure de la demande, car ils se croyaient sur le point d’obtenir du financement, tandis que d’autres voulaient jusqu’à 12 pages. Or, d’autres pensaient qu’une demande de 12 pages représenterait un changement trop radical, car le délai pour préparer une toute nouvelle demande n’est pas optimal. Il est aussi important de noter que beaucoup d’évaluateurs appréciaient les demandes courtes, mais croyaient néanmoins avoir besoin de plus d’information. Dans l’ensemble, une demande de 10 pages tient compte des besoins des évaluateurs et des candidats. Il est impossible d’ajouter des renseignements sur les congés au CVC dans sa forme actuelle, mais les candidats pourront télécharger un document PDF (nombre de pages illimité) comme supplément. Ils pourront y indiquer des renseignements pour une période équivalente aux congés pris dans les sept dernières années (p. ex. congé parental, médical, administratif ou de deuil). Ainsi, un candidat qui a pris un congé parental ou de maternité d’un an pourra télécharger un document PDF détaillant un an de financement et de publications au-delà de la limite de sept ans. La rédaction d’une réfutation est un exercice intellectuel important, et le groupe a jugé bon de l’intégrer au processus du concours. |
Étape 1 | ||
Les présidents seront désormais jumelés à des agents scientifiques. Ils géreront ensemble un bloc de demandes et aideront les IRSC à s’assurer que toutes les demandes sont assignées à des évaluateurs hautement compétents. |
|
Le groupe de travail tenait à ce que cette intervention humaine ait lieu tôt dans le processus pour garantir que chaque demande est assignée aux bons experts. En plus de menus déroulants de mots clés, le groupe de travail a recommandé que les candidats aient la possibilité d’utiliser une boîte de texte « Autre » dans RechercheNet pour faire des recommandations quant aux types d’expertise nécessaires pour évaluer leur proposition et souligner des nuances propres à leur milieu de recherche, au besoin. Le groupe croit qu’il est important que les présidents et les agents scientifiques reçoivent ces renseignements dans le cadre du processus de jumelage de l’expertise afin de mieux évaluer la pertinence des jumelages entre les demandes et les évaluateurs. Remarque : Des directives seront ajoutées dans RechercheNet. |
Chaque demande fera l’objet de quatre ou cinq évaluations à la première étape. |
|
Les membres du groupe de travail ont beaucoup discuté et débattu du bien-fondé d’avoir quatre évaluateurs plutôt que cinq, et ont même envisagé de réduire ce nombre à trois. Le groupe a toutefois conclu que trois évaluateurs ne suffiraient pas, étant donné la possibilité que l’un d’entre eux ne soumette pas son évaluation, auquel cas la demande ne recevrait que deux évaluations. L’assignation de quatre évaluateurs offre un équilibre entre la charge de travail des évaluateurs et la prise de décisions de haute qualité. Le groupe croit qu’il s’agit d’un nombre gérable – surtout si l’on tient compte des nouvelles mesures de supervision mises en place pour garantir la qualité des évaluations. |
Les candidats pourront désormais être évaluateurs à l’étape 1 du concours. Toutefois, ils ne pourront participer à l’évaluation du bloc de demandes dont leur propre demande fait partie. |
|
Cette mesure permettra d’agrandir le bassin de pairs évaluateurs sans compromettre la qualité et l’équité. |
La discussion en ligne asynchrone ne fera plus partie du processus de l’étape 1. |
|
La discussion en ligne asynchrone a été retirée du processus du concours. |
Les IRSC reviendront à un système de notation numérique (qui remplacera le système alphabétique actuel) pour faciliter le classement des demandes du concours de subventions Projet. |
|
Il a été convenu que le système alphabétique causait des problèmes. Toutefois, l’ancienne échelle de 0 à 4,9 avait aussi ses faiblesses. Le groupe de travail est arrivé à la conclusion qu’une échelle de 0 à 100 augmenterait la transparence et clarifierait le processus pour les intervenants, y compris le public et le milieu de la recherche. Il est également important que le public et la source de financement gouvernementale comprennent qu’il arrive que des candidats ayant des notes très élevées ne reçoivent pas de financement parce que les fonds sont limités. Une note de 4,3, par exemple, signifiait peu pour le public ou les fonctionnaires. Un certain nombre d’évaluateurs nous ont dit que le format d’évaluation structuré du dernier concours de subventions Projet les empêchait de fournir des commentaires cohérents. Les évaluateurs devront encore aborder les forces et les faiblesses de chaque demande, mais ils n’auront plus à le faire séparément, ce qui leur permettra de discuter plus librement de chaque demande. Les membres du groupe de travail ont convenu que la rédaction de résumés était importante pour les évaluateurs (qui démontrent ainsi qu’ils ont lu et compris la demande). |
Étape 2 : discussion en personne | ||
Environ 40 % des demandes évaluées à l’étape 1 passeront à l’étape 2, où elles seront évaluées au cours de réunions en personne à Ottawa. |
|
Nous sommes conscients du malaise que suscite au sein de la communauté le fait que les demandes ne fassent pas toutes l’objet de discussions en personne, mais en raison du volume considérable de demandes attendues, nous avons conclu qu’il serait impossible pour les comités réunis en personne de discuter de toutes les demandes. |
Seront évaluées à l’étape 2 les demandes les mieux notées et celles dont les notes s’écartent de façon marquée. |
|
Il est important que les demandes jugées comme étant les plus prometteuses puissent faire l’objet d’une discussion détaillée lors d’une réunion en personne pour garantir que les meilleurs projets sont financés. Le groupe de travail trouvait important de s’assurer que les subventions passent à l’étape suivante, qu’elles fassent partie des demandes les mieux classées dans un ou dans l’ensemble des blocs. Les IRSC pourront ainsi évaluer laquelle des règles de passage à l’étape suivante est la plus adéquate pour repérer les demandes dont on recommandera ultimement le financement. Nous recommandons que les IRSC analysent la capacité de prédiction du classement entre les blocs et dans les blocs sur le classement final ou le statut de financement final. |
Les présidents travailleront avec les IRSC pour former des comités dynamiques en fonction de la teneur des demandes qui passent à l’étape 2. |
|
Le groupe de travail a convenu que la mise sur pied de comités en fonction de chaque concours assurerait la flexibilité du modèle d’évaluation. Ses membres étaient à l’aise avec un modèle prévoyant la création d’environ 20 à 30 comités à l’étape 2, selon le volume de demandes de chaque concours. |
Les demandes qui passent à la réunion en personne de l’étape 2 seront évaluées par trois membres du comité. Un système de classement pour l’ensemble des comités réunis en personne sera établi afin de garantir que les demandes de la plus haute qualité continuent d’être financées. |
|
Afin de réduire au minimum le parti pris, le choix des deux évaluateurs par demande qui participent à l’étape 2 sera fait en fonction de l’expertise recherchée et non de leur classement des demandes à l’étape 1. En d’autres termes, le processus de sélection sera indépendant de la note attribuée à la demande par l’évaluateur. Nous croyons qu’il sera important d’informer les évaluateurs, dès qu’on leur propose leur rôle, qu’ils pourraient être choisis pour participer aux réunions en personne. De plus, les noms des évaluateurs à l’étape 1 et leurs évaluations seront accessibles durant les réunions en personne. Selon nous, cette approche favorisera la responsabilisation des évaluateurs au cours des deux étapes du processus. Le groupe de travail reconnaît que certains membres du milieu de la recherche s’inquiètent du fait que les demandes risquent de ne pas être vues par suffisamment d’évaluateurs à la réunion et qu’il pourrait être désavantageux de faire participer seulement deux évaluateurs à l’étape 2. Toutefois, on s’attend à ce que les évaluateurs invités à l’étape suivante représentent tous les évaluateurs, et que le président et l’AS soient aussi appelés à jouer un rôle dans le processus. C’est pourquoi nous recommandons qu’après le cycle de subventions de l’automne, les IRSC analysent les décisions finales de financement par rapport au classement des quatre évaluateurs initiaux et des deux évaluateurs à l’étape des discussions en personne. La majorité des membres étaient d’avis que la façon la plus juste de procéder, compte tenu du financement disponible limité, était d’accorder la même proportion de subventions dans chaque bloc. À la suite des commentaires formulés par le conseil scientifique des IRSC, le groupe a aussi tenu compte du fait que les réunions en personne engendrent des dépenses et que d’inviter des évaluateurs pour qu’ils se penchent seulement sur une ou deux demandes n’était pas prudent. |
Présidents, agents scientifiques et évaluateurs | ||
|
||
Recommandations supplémentaires |
||
|
Tableau 6. Mise en œuvre par les IRSC des recommandations du groupe de travail sur l’évaluation par les pairs pour le concours de subventions Projet (automne 2016)
Recommandations des participants à la réunion de travail du 13 juillet et du groupe de travail sur l’évaluation par les pairs | Mesures prises par les IRSC pour mettre en œuvre les recommandations |
---|---|
Demande | |
Les candidats pourront présenter un maximum de deux demandes par concours de subventions Projet en tant que candidats principaux désignés (CPD). | Mise en œuvre. |
Le nombre limite de pages sera porté à 10 (figures et tableaux compris) par demande, et les candidats pourront joindre un nombre illimité de documents, comme des références et des lettres d’appui.
|
Mise en œuvre. |
Les demandes seront évaluées en fonction des critères suivants : « importance et impact de la recherche » (25 % de la note finale); « approche et méthodes » (50 % de la note finale); « expertise, expérience et ressources » (25 % de la note finale). | Mise en œuvre. |
Le CV commun (CVC) pour les demandes de subventions Projet inclura les articles publiés depuis les sept dernières années, et les candidats pourront télécharger un document PDF s’ils ont pris des congés au cours de cette période. | Mise en œuvre. |
Une réfutation d’une page sera aussi incluse dans la structure révisée pour donner au candidat la possibilité d’expliquer comment la demande a été améliorée depuis la dernière demande. | Mise en œuvre. |
Évaluation à l’étape 1 | |
Les présidents seront désormais jumelés à des agents scientifiques. Ils géreront ensemble un bloc de demandes et aideront les IRSC à s’assurer que toutes les demandes sont assignées à des évaluateurs hautement compétents. | Mise en œuvre. |
L’assignation des évaluateurs sera approuvée par les présidents et les agents scientifiques. De plus, ils pourront ajouter ou retirer des évaluateurs une fois que ceux-ci auront rempli la nouvelle déclaration sur les conflits d’intérêts et la capacité d’évaluer pour un groupe de demandes. | Mise en œuvre. |
Les candidats pourront faire des recommandations quant aux types d’expertise requis pour évaluer leur demande. | Mise en œuvre. |
Chaque demande sera assignée à quatre (4) évaluateurs à l’étape 1. | Mise en œuvre. |
Les candidats pourront désormais être évaluateurs à l’étape 1 du concours. Toutefois, ils ne pourront participer à l’évaluation du bloc de demandes dont leur propre demande fait partie. | Mise en œuvre. Les membres des comités d’évaluation par les pairs respectent la Politique sur les conflits d’intérêts et la confidentialité des organismes fédéraux de financement de la recherche. |
La discussion en ligne asynchrone ne fera plus partie du processus de l’étape 1. | Mise en œuvre. |
Les IRSC reviendront à un système de notation numérique (qui remplacera le système alphabétique actuel) pour faciliter le classement des demandes du concours de subventions Projet. | Mise en œuvre. |
Étape 2 : discussion en personne | |
Environ 40 % des demandes évaluées à l’étape 1 passeront à l’étape 2, où elles seront évaluées au cours de réunions en personne à Ottawa. | Mise en œuvre. |
Le groupe de travail a recommandé que les évaluations des demandes qui ne sont pas passées à l’étape 2 soient examinées par les présidents et les agents scientifiques pour garantir une évaluation adéquate. | Mise en œuvre. |
Seront évaluées à l’étape 2 les demandes les mieux notées et celles dont les notes s’écartent de façon marquée.
|
Mise en œuvre. Conformément à la recommandation, les IRSC surveilleront le processus d’évaluation afin de guider les futures améliorations à apporter aux stratégies de classement. |
Les présidents travailleront avec les IRSC pour former des comités dynamiques en fonction de la teneur des demandes qui passent à l’étape 2. | Mise en œuvre. Les blocs de demandes à un concours seront établis en fonction du nombre et du type de demandes soumises au concours et pourront varier d’un concours à l’autre. On s’attend à ce que les blocs soient similaires à l’étape 1 et à l’étape 2. |
Les demandes qui passent à l’étape 2 seront évaluées par deux des quatre évaluateurs de l’étape 1 lors de réunions en personne, qui rassembleront à Ottawa les comités associés à un bloc de demandes. Ces évaluateurs devront présenter leur propre évaluation et celle des deux autres évaluateurs de l’étape 1. | Mise en œuvre. |
Afin d’accroître la responsabilisation, le nom des évaluateurs apparaîtra sur leurs évaluations jusqu’à l’étape finale de l’évaluation. | Mise en œuvre. |
Le groupe a recommandé le classement des demandes par blocs et non le classement au-delà d’un même comité pour l’étape 2. | Mise en œuvre. |
Recommandations supplémentaires | |
Les titulaires de subventions des IRSC seront fortement encouragés à faire des évaluations s’ils y sont invités. Le groupe de travail croit qu’il est important que les récipiendaires de subventions contribuent au processus. Les présidents du collège poursuivront cette discussion. | Mise en œuvre. |
Tenir une réunion en personne avec tous les présidents et les agents scientifiques à l’automne.Le groupe de travail a accepté les critères de sélection proposés pour choisir les présidents. Les IRSC évaluent la faisabilité de tenir cette réunion pour le concours de 2016. | Mise en œuvre. |
Rendre la formation sur l’évaluation par les pairs obligatoire pour tous les évaluateurs. La formation – qui comprend un module sur les préjugés inconscients – devrait être une exigence pour tous les évaluateurs, y compris les chercheurs chevronnés, les présidents et les agents scientifiques. | Tous les évaluateurs seront invités à suivre une formation et à participer à des séances d’information sur le processus d’évaluation du concours de subventions Projet, notamment un module sur les préjugés inconscients. |
Inviter les chercheurs en début de carrière à observer les réunions d’évaluation par les pairs en personne à l’étape 2. Les présidents du collège des évaluateurs ont fait du mentorat des chercheurs en début de carrière une priorité. Ils travailleront donc avec les IRSC pour trouver des occasions de mentorat – dont l’observation du processus d’évaluation par les pairs – et discuteront de la possibilité d’utiliser le concours de subventions Projet à cette fin, que ce soit dans le cadre du concours de cet automne ou plus tard. | Partiellement mise en œuvre. Une liste de critères a été établie pour les évaluateurs du concours de subventions Projet. Ces critères s’appliquent aux chercheurs peu importe le stade de leur carrière, et le recrutement comprendra des chercheurs en début de carrière afin de leur donner l’occasion d’acquérir l’expérience requise. Les IRSC, en consultation avec les présidents du collège des évaluateurs, élaborent d’autres stratégies de mentorat. De plus amples renseignements à ce sujet seront communiqués à une date ultérieure. |
Considérer une multitude de mécanismes qui pourraient garantir l’équité entre les candidats à différents stades de carrière et les candidats de sexes différents. Le groupe de travail sur l’évaluation par les pairs a fortement recommandé aux IRSC de poursuivre cette conversation avec son conseil scientifique. Tous étaient d’accord pour dire que ce sujet important nécessiterait une analyse et une consultation plus approfondies, et ce, pour tous les programmes de financement des IRSC. | Les discussions sont toujours en cours. |
Le groupe de travail a unanimement approuvé la proposition d’équilibrer le taux de financement des chercheurs en début de carrière pour le programme de subventions Projet. Équilibrer le taux de financement veut dire s’assurer que le taux de financement des chercheurs en début de carrière à un concours correspond au taux de financement général pour le concours. Le groupe de travail a recommandé d’utiliser les 30 millions de dollars supplémentaires obtenus dans le dernier budget à cette fin, à l’instar des fonds supplémentaires utilisés pour le premier concours de subventions Projet. | Les discussions sont toujours en cours. Toutefois, on a annoncé en avril 2016 que les 30 millions de dollars seront entièrement consacrés aux concours actuels et futurs de subventions Projet, et que l’accent sera mis sur les chercheurs en début de carrière. |
Diffuser les données appropriées relatives au concours de subventions Projet de l’automne 2016 après l’annonce des résultats. Le groupe de travail a conseillé aux IRSC de diffuser publiquement les données relatives au concours non seulement pour faire preuve de transparence, mais aussi pour que les IRSC puissent utiliser ces données dans leur prise de décisions importantes. | Les IRSC diffuseront les données des concours de subventions Projet, conformément aux lois sur la protection des renseignements personnels. (Remarque : Les données de chaque concours seront publiées après l’annonce des résultats.) |
Les IRSC évalueront les changements mis en œuvre et communiqueront les analyses au fur et à mesure (p. ex. données sur l’algorithme de jumelage du profil de l’évaluateur et sa validation). Pour assurer la mise au point, l’amélioration et la transparence de l’évaluation par les pairs, il faudra absolument que les IRSC rendent publiques ces données avec le plus de précision possible, tout en protégeant les renseignements personnels et la confidentialité. | Les IRSC et leur conseil scientifique suivront de près le concours et collaboreront avec les organes consultatifs nécessaires pour apporter les changements qui s’imposent. Les IRSC feront des comptes rendus à ce sujet. |
Recommandations pour les prochains concours de subventions Projet | |
Adapter les exigences du CVC pour les cocandidats en milieu non universitaire et les cocandidats d’établissements universitaires étrangers. Le groupe de travail a proposé que ces candidats puissent télécharger d’autres documents plutôt que d’utiliser le CVC. | Un plan sera créé pour régler cette question en vue des prochains concours. |
Intégrer entre les étapes 1 et 2 un mécanisme par lequel les candidats pourront réagir aux commentaires des évaluateurs. Pour les demandes passant à l’étape 2, le groupe de travail a proposé de donner aux candidats la possibilité de présenter une réponse d’une page aux commentaires des évaluateurs; celle-ci pourrait ensuite être utilisée dans le cadre des délibérations de l’étape 2. | Cette recommandation sera étudiée plus en profondeur en vue des prochains concours. |
5. Description des données probantes existantes (Q1 et Q2)
L’objectif de la présente section est de fournir un résumé général des données relatives au contexte global de financement aux IRSC.
Comparaison des taux de réussite associés au POSF, au programme de subventions Fondation et au programme de subventions Projet
La figure 6 illustre des données sur le nombre de demandes reçues et approuvées ainsi que sur les taux de réussite associés au Programme ouvert de subventions de fonctionnement (POSF), au programme de subventions Fondation et au programme de subventions Projet (programmes de recherche libre). On remarque que les taux de réussite associés à ces programmes ont diminué au fil du temps et qu’ils se situent aujourd’hui à environ 13 %.
Figure 6. Distribution du volume de demandes et des taux de réussite dans le cadre des programmes de subventions pour la recherche libre, de 2006-2007 à 2015-2016
Description détaillée
POSF | POSF-T | FDN 2014 | FDN 2015 | PJT 2016 | ||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
2006-2007 | 2007-2008 | 2008-2009 | 2009-2010 | 2010-2011 | 2011-2012 | 2012-2013 | 2013-2014 | 2014-2015 | 2014-2015 | 2015-2016 | 2015-2016 | |
Reçues (N = 43 547) | 3 894 | 3 625 | 3 680 | 4 416 | 4 636 | 4 578 | 4 586 | 5 389 | 2 682 | 1 343 | 905 | 3 813 |
Approuvées (N = 7563) | 847 | 816 | 772 | 782 | 802 | 801 | 801 | 797 | 383 | 150 | 120 | 492 |
Taux de réussite | 22 % | 23 % | 21 % | 18 % | 17 % | 17 % | 17 % | 15 % | 14 % | 11 % | 13 % | 13 % |
Les taux de réussite varient en fonction de divers éléments clés faisant l’objet d’une surveillance :
- les quatre thèmes de la recherche en santé des IRSC (figure 7);
- le sexe des chercheurs principaux désignés (figure 8);
- le stade de carrière des chercheurs principaux désignés (figure 9).
En plus de montrer la diminution globale des taux de réussite, qui était évidente dans le graphique précédent, la figure 7 illustre la variabilité par thèmes. Dans le passé, les taux de réussite associés à la recherche biomédicale étaient plus élevés que ceux des autres thèmes. Cependant, il semble que le programme Fondation soit venu modifier légèrement cette tendance, du moins durant les deux premiers concours. La figure 8 illustre une tendance semblable en ce qui concerne le taux de réussite par sexes; on constate également des différences notables pour ce qui est du programme Fondation.
Figure 7. Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre par thèmes principaux, de 2006-2007 à 2015-2016
Description détaillée
POSF | POSF-T | FDN 2014 | FDN 2015 | PJT 2016 | ||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
Thème principal | 2006-2007 | 2007-2008 | 2008-2009 | 2009-2010 | 2010-2011 | 2011-2012 | 2012-2013 | 2013-2014 | 2014-2015 | 2014-2015 | 2015-2016 | 2015-2016 |
Biomédicale | 23 % | 24 % | 22 % | 19 % | 18 % | 18 % | 18 % | 16 % | 15 % | 13 % | 15 % | 14 % |
Clinique | 18 % | 19 % | 20 % | 16 % | 15 % | 17 % | 16 % | 13 % | 13 % | 7 % | 9 % | 11 % |
Services et systèmes de santé | 17 % | 23 % | 19 % | 16 % | 18 % | 17 % | 15 % | 13 % | 12 % | 11 % | 17 % | 12 % |
Facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations | 21 % | 20 % | 16 % | 16 % | 17 % | 14 % | 15 % | 15 % | 12 % | 11 % | 8 % | 12 % |
Non précisé / Sans objet | 50 % | 7 % | 13 % | 0 % | 0 % | 9 % | 21 % | 13 % | 11 % | 0 | 0 % | 0 % |
Figure 8. Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre selon le sexe des CPD, de 2006-2007 à 2015-2016
Description détaillée
Sex of NPI | OOGP | T-OOGP | 2014 FDN | 2015 FDN | 2016 PJT | |||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
2006-2007 | 2007-2008 | 2008-2009 | 2009-2010 | 2010-2011 | 2011-2012 | 2012-2013 | 2013-2014 | 2014-2015 | 2014-2015 | 2015-2016 | 2015-2016 | |
Femmes (N = 14 108) | 20 % | 21 % | 19 % | 17 % | 16 % | 15 % | 16 % | 15 % | 12 % | 8 % | 10 % | 12 % |
Hommes (N = 29 374) | 22 % | 23 % | 22 % | 18 % | 18 % | 19 % | 18 % | 15 % | 15 % | 13 % | 15 % | 13 % |
La figure 9 illustre l’écart systématique entre le taux de réussite des chercheurs en début de carrière (nouveaux chercheurs compris) et celui des chercheurs établis (en milieu de carrière et chevronnés) durant le POSF. Cet écart semble toutefois se resserrer depuis l’instauration des nouveaux programmes, qui sont tous les deux dotés de mécanismes visant à faire en sorte que les demandes des nouveaux chercheurs et des chercheurs en début de carrière soient évaluées de façon adéquate et que des fonds leur soient réservés.
Figure 9. Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre selon le stade de carrière des CPD, de 2006-2007 à 2015-2016
Description détaillée
Stade de carrière des CPD | POSF | POSF-T | FDN 2014 | FDN 2015 | PJT 2016 | |||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|
2006-2007 | 2007-2008 | 2008-2009 | 2009-2010 | 2010-2011 | 2011-2012 | 2012-2013 | 2013-2014 | 2014-2015 | 2014-2015 | 2015-2016 | 2015-2016 | |
Chercheurs en début de carrière (N = 8 880) | 21 % | 19 % | 20 % | 15 % | 16 % | 14 % | 16 % | 12 % | 11 % | 4 % | 13 % | 12 % |
Chercheurs établis (N = 34 667) | 22 % | 23 % | 21 % | 18 % | 18 % | 18 % | 18 % | 15 % | 15 % | 16 % | 14 % | 13 % |
Résultats du concours de subventions Fondation de 2015
Le concours de subventions Fondation de 2015 conduira au financement de 120 programmes de recherche, pour un investissement total de 292 millions de dollars sur une période de sept ans.
Nouveaux chercheurs et chercheurs en début de carrière : 33 demandes financées
Valeur moyenne des subventions : 1 140 364 $
Valeur médiane des subventions : 1 067 334 $
Durée : 5 ans
Chercheurs en milieu de carrière ou chevronnés : 87 demandes financées
Valeur moyenne des subventions : 3 282 939 $
Valeur médiane des subventions : 2 838 143 $
Durée : 7 ans
Dans les figures ci-dessous, les résultats du concours Fondation de 2015 sont ventilés par cohortes de candidats (nouveaux chercheurs et chercheurs en début de carrière dans la figure 10, chercheurs en milieu de carrière et chercheurs chevronnés dans la figure 11). Plus précisément, ces figures illustrent des données sur les proportions de demandes financées et de demandes présentées pour différentes variables du profil des candidats. Ces cohortes sont délibérément évaluées et classées séparément.
Figure 10. Ventilation de la cohorte des nouveaux chercheurs et des chercheurs en début de carrière selon la proportion de demandes présentées et financées, concours de subventions Fondation de 2015
Description détaillée
Ventilation des demandes | Demandes soumises | Demandes financées |
---|---|---|
Femmes | 185 demandes soumises (29 %) | 14 demandes financées (16 %) |
Santé des Autochtones | 53 demandes soumises (8 %) | 10 demandes financées (11 %) |
Demandes en français | 7 demandes soumises (2 %) | 3 demandes financées (3 %) |
Thème I – Recherche biomédicale | 405 demandes soumises (63 %) | 62 demandes financées (71 %) |
Thème II – Recherche clinique | 108 demandes soumises (17 %) | 10 demandes financées (12 %) |
Thème III – Systèmes et services de santé | 51 demandes soumises (8 %) | 8 demandes financées (9 %) |
Thème IV – Aspects sociaux, culturels et environnementaux, et santé des populations | 81 demandes soumises (12 %) | 7 demandes financées (8 %) |
Figure 11. Ventilation de la cohorte des chercheurs en milieu de carrière et des chercheurs chevronnés selon la proportion de demandes présentées et financées, concours de subventions Fondation de 2015
Description détaillée
Ventilation des demandes | Demandes soumises | Demandes financées |
---|---|---|
Femmes | 97 demandes soumises (37 %) | 15 demandes financées (45 %) |
Santé des Autochtones | 17 demandes soumises (6 %) | 4 demandes financées (12 %) |
Demandes en français | 7 demandes soumises (3 %) | 0 demande financée (0 %) |
Thème I – Recherche biomédicale | 140 demandes soumises (53 %) | 20 demandes financées (61 %) |
Thème II – Recherche clinique | 51 demandes soumises (19 %) | 4 demandes financées (12 %) |
Thème III – Systèmes et services de santé | 34 demandes soumises (13 %) | 6 demandes financées (18 %) |
Thème IV – Aspects sociaux, culturels et environnementaux, et santé des populations | 40 demandes soumises (15 %) | 3 demandes financées (9 %) |
Le concours de subventions Fondation de 2015 reposait sur un processus de concours et d’évaluation en trois étapes.
Étape 1
- Un total de 432 évaluateurs différents ont participé à cette étape du processus d’évaluation par les pairs, sous la surveillance de 30 présidents virtuels.
- Un total de 4 418 évaluations ont été réalisées durant cette étape.
- 14 demandes (2 %) ont été assignées à trois évaluateurs.
- 104 demandes (11 %) ont été assignées à quatre évaluateurs.
- 792 demandes (87 %) ont été assignées à cinq évaluateurs.
- Parmi ces demandes, 265 ont été retenues. Leurs auteurs ont été invités à présenter une demande à l’étape 2. Les IRSC ont reçu 260 demandes à l’étape 2 – 77 provenant de nouveaux chercheurs et de chercheurs en début de carrière, et 183, de chercheurs établis.
Étape 2
- Un total de 171 évaluateurs différents ont participé à cette étape du processus d’évaluation par les pairs, sous la surveillance de 16 présidents virtuels.
- Un total de 1 298 évaluations ont été réalisées durant cette étape.
- 2 demandes (1 %) ont été assignées à quatre évaluateurs.
- 258 demandes (99 %) ont été assignées à cinq évaluateurs.
- Parmi ces demandes, 160 ont été retenues.
- À partir des résultats de cette étape, les IRSC ont dressé la liste des demandes les mieux classées qui pourraient être admissibles à du financement. Ces demandes, qui se trouvaient dans la « zone verte », n’ont nécessité aucune autre évaluation.
Étape finale de l’évaluation
- Le comité de l’étape finale de l’évaluation était composé de 16 présidents virtuels affectés à l’étape 2, d’un président et d’un agent scientifique.
- Les évaluateurs se sont penchés sur 96 demandes dont le classement combiné était élevé ou dont l’écart entre les cotes était prononcé.
Résultats du concours de subventions Projet du printemps 2016
Le concours de subventions Projet de 2016 conduira au financement de 491 subventions de recherche, auxquelles s’ajouteront 127 subventions transitoires, pour un investissement total de 375 579 347 $ sur cinq ans. Les 491 subventions approuvées ont été octroyées à 468 chercheurs principaux désignés différents (23 CPD se sont vu remettre deux subventions). Parmi les 491 subventions, 98 ont été attribuées à des nouveaux chercheurs ou à des chercheurs en début de carrière. La valeur et la durée moyenne des subventions est d’environ 791 000 $ sur quatre ans, et la valeur et la durée médiane, d’environ 703 000 $ sur cinq ans.
La figure 12 montre les proportions de demandes financées et de demandes présentées pour différentes variables du profil des candidats.
Figure 12. Ventilation des proportions de demandes présentées et financées, concours de subventions Projet du printemps 2016
Description détaillée
Répartition des demandes | Demandes présentées | Demandes financées |
---|---|---|
Nouveaux chercheurs | 856 demandes présentées (22 %) | 98 demandes financées (20 %) |
Chercheurs en milieu de carrière | 1,662 demandes présentées (44 %) | 189 demandes financées (39 %) |
Chercheurs chevronnés | 1,283 demandes présentées (34 %) | 204 demandes financées (41 %) |
AC intégrée | 539 demandes présentées (14 %) | 65 demandes financées (14 %) |
Femmes | 1,228 demandes présentées (32 %) | 150 demandes financées (31 %) |
Santé des Autochtones | 147 demandes présentées (4 %) | 17 demandes financées (4 %) |
Demandes en français | 83 demandes présentées (2 %) | 6 demandes financées (1 %) |
Thème I – Recherche biomédicale | 2,540 demandes présentées (67 %) | 345 demandes financées (69 %) |
Thème II – Recherche clinique | 666 demandes présentées (17 %) | 75 demandes financées (16 %) |
Thème III – Systèmes et services de santé | 296 demandes présentées (8 %) | 36 demandes financées (8 %) |
Thème IV – Aspects sociaux, culturels et environnementaux, et santé des populations | 303 demandes présentées (8 %) | 35 demandes financées (7 %) |
Étape 1
Chaque demande a été évaluée par un maximum de cinq évaluateurs, ce qui n’a toutefois pas été possible pour un petit sous-ensemble de demandes. Les demandes assignées à seulement un ou deux évaluateurs sont passées directement à l’étape finale pour une évaluation complète.
- Un total de 1 664 évaluateurs différents ont participé à cette étape du processus d’évaluation par les pairs.
- Chaque évaluateur a reçu une dizaine de demandes à évaluer.
- Au total, 15 405 évaluations ont été réalisées.
- 4 demandes (moins de 1 %) ont été assignées à un évaluateur.
- 48 demandes (1 %) ont été assignées à deux évaluateurs.
- 550 demandes (14 %) ont été assignées à trois évaluateurs.
- 2 390 demandes (63 %) ont été assignées à quatre évaluateurs.
- 821 demandes (22 %) ont été assignées à cinq évaluateurs.
Étape finale de l’évaluation
- Le comité unique formé pour l’étape finale de l’évaluation était composé de 31 présidents virtuels affectés à l’étape 1, y compris un président et un agent scientifique.
- Ce comité a étudié 100 demandes. Il s’agissait de demandes parmi les mieux classées, mais dont les cotes divergeaient grandement, et de certaines demandes vues par un nombre insuffisant d’évaluateurs à l’étape 1.
- Après une réunion et une discussion en personne, le comité a recommandé le financement complet de 20 demandes supplémentaires.
6. Survol des possibilités d’amélioration et de surveillance continue (Q4 et Q6)
La présente section décrit certaines possibilités d’amélioration et de surveillance continue en lien avec la mise en œuvre des programmes Fondation et Projet et des mécanismes connexes d’évaluation par les pairs. Elle porte plus particulièrement sur le rôle et l’état du collège des évaluateurs, les objectifs associés et le cadre provisoire de mesure du rendement.
Collège des évaluateurs
En juin 2016, les IRSC ont annoncé la nomination des premiers présidents du collège des évaluateurs. Le rôle des présidents du collège est de veiller à ce que le système d’évaluation par les pairs favorise la sélection des propositions de recherche ou d’application des connaissances les plus novatrices, tout en demeurant juste, bien géré et transparent. Les présidents du collège sont nommés par la chef des affaires scientifiques (CAS) et ils interagissent avec les IRSC par l’entremise du bureau de la CAS et de la Direction du collège. Ces présidents joueront un rôle crucial pour faire du collège une ressource reconnue partout au Canada et dans le monde.
Le 1er juillet 2016, 16 candidats ont été nommés présidents du collège. En collaboration, ces personnes superviseront des stratégies visant à attirer et à conserver des pairs évaluateurs exceptionnels. En outre, ils s’assureront que les cadres nécessaires sont en place pour offrir aux évaluateurs la formation, le mentorat et le soutien dont ils ont besoin pour produire des évaluations impartiales et de qualité.
Le Dr Paul Kubes (Université de Calgary) a été nommé président administratif du collège des évaluateurs. Dans ce rôle, il travaillera en étroite collaboration avec la chef des affaires scientifiques des IRSC et les présidents du collège en vue d’assurer l’excellence de l’évaluation par les pairs dans tous les domaines de la recherche en santé et d’adapter ce processus à l’évolution de la science et à la convergence des domaines de recherche.
La première réunion des présidents du collège s’est déroulée en octobre 2016. Leur mandat est en cours d’élaboration et devrait être officiel au début de 2017. Durant leur prochaine réunion, prévue au début de janvier 2017, les présidents chercheront à déterminer ce qu’il faudra faire pour que le collège soit vu par les évaluateurs comme une ressource vouée à l’excellence de l’évaluation par les pairs.
Tableau 7. État des principales fonctions du collège des évaluateurs supervisées par les présidents du collège
Fonction | Objectif | État |
---|---|---|
Recrutement et gestion de l’expertise | Systématiser le recrutement et la gestion de l’expertise afin de trouver et de réunir l’expertise nécessaire pour répondre à tous les besoins en matière d’évaluation. |
|
Formation et mentorat | Fournir aux évaluateurs les connaissances et les ressources nécessaires à la réalisation d’évaluations cohérentes et justes. |
|
Gestion du rendement et qualité de l’évaluation | Parfaire le système d’évaluation par les pairs en concevant et en mettant en place des programmes de gestion du rendement et d’assurance de la qualité qui appuient l’amélioration continue de l’évaluation à tous les niveaux. |
|
Gestion des membres, mesures incitatives et reconnaissance | Améliorer le système d’évaluation par les pairs, notamment au moyen d’une charge de travail prévisible et gérable, et mettre sur pied des programmes de reconnaissance pour souligner les contributions au système d’évaluation par les pairs et le rendement. |
|
Mesure du rendement
Les IRSC sondent les candidats, les évaluateurs et les présidents (les présidents virtuels des concours Fondation et les présidents des concours Projet) après chaque étape des deux programmes et effectuent une surveillance continue des statistiques sur les demandes et les concours.
De plus, tous les grands programmes des IRSC sont dotés d’un cadre de mesure du rendement comprenant un modèle logique. Le modèle logique permet de représenter sous forme graphique la manière dont les activités contribueront à l’atteinte des résultats attendus. Il comporte des énoncés généraux et concis; les définitions et les détails sont fournis dans un document d’accompagnement. Le modèle logique provisoire des programmes de recherche libre est présenté dans la figure 13. Ce modèle donne à penser que les activités, les extrants et les résultats sont linéaires et séquentiels. Or, en réalité, les composantes d’un modèle logique sont dynamiques et interagissent souvent de façon itérative. Par exemple, l’exécution d’une activité peut dépendre des extrants ou des résultats associés à d’autres activités. C’est aux fins de clarté que les différents énoncés décrivant ce processus itératif ne sont pas reliés entre eux et que seul l’enchaînement logique général entre les activités et les résultats ultimes est illustré.
Figure 13. Modèle logique provisoire des programmes de recherche libre des IRSC
Tableau 8. Cadre provisoire de mesure du rendement de la recherche libre des IRSC
Extrants et résultats du Programme de subventions de soutien opérationnel | Indicateur* | Source des données | Fréquence de la collecte des données |
---|---|---|---|
EXTRANTS | |||
Les subventions sont octroyées aux candidats les plus prometteurs. | Pourcentage de titulaires dont la production de connaissances antérieure et les retombées subséquentes étaient largement supérieures à celles des candidats non choisis. | Analyse bibliométrique | Cycle d’évaluation |
Des recherches de grande qualité sont retenues et financées dans l’ensemble de l’entreprise de recherche en santé. | Pourcentage de demandes que les pairs évaluateurs ont jugé de grande qualité. | Données administratives/SIE | Une fois par année |
Proportion de domaines s’inscrivant dans le mandat de l’institut financés par le Programme de subventions de soutien opérationnel | Données administratives/SIE (numérateur = le nombre de demandes au POSF financées en 2014 et la première affiliation à un institut; dénominateur = le nombre de demandes financées par le POSF en 2014) |
Une fois par année | |
Maintien des écarts actuels entre les demandes reçues et les demandes financées pour des variables démographiques clés* | Données administratives/SIE | Une fois par année | |
Le programme est exécuté de façon efficiente et efficace. | Coûts associés à l’exécution du programme (coûts directs et indirects et coûts de renonciation) par demande reçue et par demande financée | Données administratives/SIE; sondages sur la charge de travail des pairs évaluateurs; sondages auprès des candidats (selon des analyses menées pour soutenir l’évaluation du POSF de 2012) | Cycle d’évaluation |
Tendance, au fil du temps, des coûts associés à l’exécution du programme (coûts directs et indirects et coûts de renonciation) par demande reçue et par demande financée | Données administratives/SIE; sondages sur la charge de travail des pairs évaluateurs; sondages auprès des candidats | Cycle d’évaluation | |
Proportion d’intervenants (candidats et évaluateurs) satisfaits des communications relatives au programme | Sondage auprès des candidats/gestion des cas | Cycle d’évaluation | |
Proportion d’intervenants (candidats et évaluateurs) satisfaits de l’exécution et des subventions du programme | Sondage auprès des candidats/gestion des cas | Cycle d’évaluation | |
RÉSULTATS IMMÉDIATS | |||
Les intervenants concernés prennent part au processus de recherche. | Pourcentage de subventions intégrant les intervenants au processus de recherche | SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) | Une fois par année |
Pourcentage de subventions prévoyant l’application des connaissances intégrée dès la conception du projet | Données administratives | Une fois par année | |
Les résultats des recherches financées par les IRSC contribuent à l’avancement des connaissances en santé. | Nombre annuel de revues à comité de lecture faisant mention du soutien des IRSC | Analyse bibliométrique (tous les articles dont au moins un des auteurs mentionnés était titulaire d’une subvention dans le cadre d’un programme ouvert pendant une période chevauchant l’année de publication de l’article) | Une fois par année |
Nombre moyen (normalisé) de publications par subvention | SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) | Une fois par année | |
Pourcentage de subventions de soutien opérationnel des IRSC signalant la création de nouvelles connaissances sur la santé | SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) | Une fois par année | |
Les projets et les programmes financés contribuent au renforcement des capacités de recherche en soutenant indirectement la formation. | Nombre moyen de stagiaires appuyés indirectement par une subvention du Programme de subventions de soutien opérationnel et nombre moyen d’ETP par année de financement | SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) | Une fois par année |
Nombre moyen de membres du personnel de recherche appuyés indirectement par une subvention du Programme de subventions de soutien opérationnel et nombre d’ETP par année de financement | SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) | Une fois par année | |
Pourcentage de subventions indiquant que l’appui indirect a permis à des stagiaires d’obtenir un titre officiel | SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) | Une fois par année | |
Pourcentage du montant des subventions attribué au renforcement des capacités (salaires et allocations) | Données du formulaire 300 | Une fois par année | |
Les titulaires de subvention reçoivent un appui suffisant pour atteindre les objectifs de leur projet ou programme de recherche et remplir le mandat des IRSC. | Pourcentage de titulaires de subvention ayant indiqué que le montant reçu était suffisant pour appuyer les projets et les programmes de recherche proposés | Sondages | Cycle d’évaluation |
Tendance, au fil du temps, des compressions générales apportées au budget des demandes évaluées par les pairs | Données administratives | Une fois par année | |
Comparaison de l’augmentation relative du montant des subventions par rapport au taux d’inflation national et au taux d’inflation des coûts associés à la recherche médicale** | Banque du Canada; NIH | Une fois par année | |
RÉSULTATS INTERMÉDIAIRES | |||
Les résultats des recherches financées par les IRSC sont disséminés et appliqués à l’intérieur et à l’extérieur du milieu universitaire. | Impact normalisé des citations dans les articles faisant mention du soutien des IRSC | Analyse bibliométrique | Continu |
Pourcentage de recherches appuyées par les IRSC ayant joué un rôle dans la création de produits autres que des articles de revue (lignes directrices cliniques, mesures de la qualité, évaluations et rapports, brevets, etc.) | Jumelage des brevets et jumelage des documents en aval | Continu | |
Pourcentage de subventions signalant que les résultats de la recherche ont influencé au moins un groupe d’intervenants | SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) | Une fois par année | |
Pourcentage de subventions signalant l’application des connaissances | SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) | Une fois par année | |
L’entreprise de recherche du Canada repose sur un bassin fiable et diversifié de chercheurs hautement qualifiés. | Nombre de personnes uniques participant à l’entreprise de recherche en santé (limites inférieure et supérieure estimées) par période de trois ans | Analyse bibliométrique (nombre de noms d’auteurs différents dans les publications canadiennes associées à la santé) | Une fois par année |
Pourcentage de personnes uniques participant à l’entreprise de recherche en santé (limites inférieure et supérieure estimées) recevant du financement des IRSC au moment de la publication | Analyse bibliométrique; données administratives | Une fois par année | |
RÉSULTATS ULTIMES | |||
Le Canada est perçu, sur la scène nationale et internationale, comme un chef de file dans l’excellence de la recherche en santé. | Pourcentage d’articles canadiens figurant parmi les articles les plus cités (1 % et 10 %) en général et dans les domaines liés à la santé | Analyse bibliométrique | Une fois par année/cycle d’évaluation |
Pourcentage d’articles canadiens faisant mention du financement des IRSC figurant parmi les articles les plus cités (1 % et 10 %) en général et dans les domaines liés à la santé | Analyse bibliométrique | Une fois par année/cycle d’évaluation | |
Rang du Canada au chapitre de l’indice de spécialisation dans la recherche en santé par rapport au classement international (pays du G7) | Analyse bibliométrique | Une fois par année | |
Nombre d’universités canadiennes figurant dans le classement international | Classement – Times Higher Education World University | Une fois par année | |
Classement du Canada au chapitre de l’innovation | Données du CSTI | Une fois par année/cycle d’évaluation | |
Les résultats des recherches financées par les IRSC contribuent à l’amélioration de la santé, à l’offre de meilleurs produits et services de santé et au renforcement du système de santé. | Preuves que la recherche appuyée par les IRSC contribue aux retombées dans cinq grandes catégories : avancement des connaissances; renforcement des capacités; prise de décisions éclairées; avantages socioéconomiques importants; santé et systèmes de santé*** | Bibliothèque de récits sur les retombées (en cours d’élaboration) | Une fois par année/cycle d’évaluation |
Pourcentage de subventions de fonctionnement des IRSC signalant une contribution au renforcement du système de santé du Canada | SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) | Une fois par année | |
Pourcentage de subventions pour la recherche libre des IRSC signalant une contribution à l’amélioration de la santé des Canadiens | SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) | Une fois par année |
- Date de modification :