Concept d'avenir : nouvelle série de programmes ouverts et nouveau processus d'évaluation par les pairs
19 décembre 2012
Table des matières
- But et introduction
- Nouvelle série de programmes ouverts
- Volet Projet
- Volet Fondation
- Collège des évaluateurs
- Transition vers la nouvelle série de programmes ouverts et le nouveau processus d'évaluation par les pairs
- Mise à l'essai des éléments conceptuels clés de l'évaluation par les pairs
- Mise en place progressive de la nouvelle série de programmes ouverts
- Fin des programmes et des processus actuels
- Mise sur pied du collège des évaluateurs
- Appui à la transition : orientation pour les candidats et les évaluateurs
- Conclusion
- Annexe A : Version préliminaire de la feuille de travail du processus de sélection pour le volet Projet
- Annexe B : Version préliminaire de la feuille de travail du processus de sélection pour le volet Fondation
- Annexe C : Modèle financier de la nouvelle série de programmes ouverts
- Annexe D : Aperçu du plan de recherche
Message du conseil scientifique des IRSC
À titre de principal organisme fédéral de financement de la recherche en santé au pays, les IRSC doivent prendre des mesures appropriées pour garantir la viabilité à long terme de leur contribution à l'entreprise de recherche en santé. Pour ce faire, ils doivent disposer d'une série de programmes ouverts leur permettant de constituer et de financer un bassin de chercheurs bien formés possédant les aptitudes et l'expertise nécessaires à l'élaboration et à la réalisation de projets de recherche et d'activités d'application des connaissances axés sur l'amélioration de la santé à la fois innovateurs et variés. Ils ont également besoin d'un système d'évaluation par les pairs bien géré, juste et transparent pour la sélection et l'appui des projets de recherche en santé les plus novateurs.
Au fil du temps, les chercheurs nous ont clairement fait voir la nécessité de rationaliser nos programmes actuels de financement de la recherche pour simplifier nos programmes et nous assurer que les chercheurs consacrent moins de temps à la rédaction et à la présentation d'une multitude de demandes de subventions pour financer leurs recherches. Ils nous ont également fait savoir que le système d'évaluation par les pairs des IRSC ne permet pas toujours d'évaluer adéquatement l'éventail des demandes reçues dans le domaine de la santé ni de garantir que les experts appropriés participent à l'évaluation de ces demandes.
Dans le document de travail conceptuel (publié en février 2012), nous avons présenté notre proposition visant à résoudre les problèmes associés à la série de programmes ouverts et au processus d'évaluation par les pairs. Dès le départ, les acteurs du milieu de la recherche ont démontré leur intérêt à participer davantage au processus de conception. Les membres du milieu ont exprimé leurs idées au cours de plus de 80 réunions en personne partout au pays, en plus de nous transmettre leurs commentaires par écrit et au moyen de questionnaires en ligne. Comme le résume le document Les IRSC à votre écoute : analyse de la rétroaction sur le document de travail conceptuel (publié en août 2012), les opinions sur les détails précis des nouveaux volets de financement des programmes ouverts et les modalités de l'évaluation par les pairs varient selon le domaine de recherche en santé et l'étape de la carrière.
En plus de tenir compte des commentaires sur le document de travail conceptuel, nous avons sollicité l'avis de divers intervenants, comme les représentants des établissements, les délégués universitaires, les conseils consultatifs des instituts, les partenaires, les associations et un certain nombre de conseillers du milieu de la recherche, pour connaître leur avis sur plusieurs aspects du concept proposé. Tous les commentaires et suggestions ont été pris en compte à la lumière du mandat des IRSC, de leur vision pour la nouvelle série de programmes ouverts et des multiples problèmes à résoudre. Le présent document décrit la conception générale révisée des deux volets de financement des programmes ouverts et du processus d'évaluation par les pairs.
Le conseil d'administration des IRSC a donné son aval à cette nouvelle structure et nous a demandé de poursuivre la planification d'une transition réfléchie entre les programmes ouverts actuels et futurs. Nous sommes persuadés que cette vision commune de la nouvelle série de programmes ouverts et du nouveau processus d'évaluation par les pairs améliorera la capacité des IRSC à mettre en place et à assurer la viabilité de leur stratégie de recherche libre. Le paysage de la recherche en santé se transforme; pour les IRSC et les membres du milieu de la recherche, le moment est bien choisi pour préparer l'avenir et placer les chercheurs canadiens en bonne position pour réussir dans ce nouvel environnement.
Le conseil scientifique des IRSC
Résumé
Aperçu de la nouvelle série de programmes ouverts et du nouveau processus d'évaluation par les pairs
La conception de la nouvelle série de programmes ouverts prévoit des objectifs clairs pour le programme de subventions de recherche libre des IRSC. Ces objectifs comprennent l'intégration de la série actuelle de mécanismes de financement des programmes ouverts en un système simplifié assez souple pour s'adapter à la transformation du paysage de la recherche en santé. Par conséquent, la série initiale de mécanismes de financement a été réorganisée en deux nouveaux volets :
- volet Projet
- volet Fondation
Le volet Projet a pour but d'exploiter les idées les plus susceptibles de faire progresser de façon importante les connaissances en santé, le système de soins de santé et les résultats sur la santé en appuyant des projets ayant une fin et un but précis. Chaque année, deux concours seront organisés dans le cadre du volet Projet. En raison des commentaires reçus, nous avons restructuré le processus de concours du volet Projet pour que l'évaluation s'effectue en deux étapes. Les critères d'évaluation de ce volet seront basés sur la qualité de l'idée et la faisabilité du projet. À l'étape 1, toutes les demandes seront examinées à distance par cinq évaluateurs. À l'étape 2, des réunions en personne permettront de colliger les résultats des évaluations indépendantes et de discuter des demandes se trouvant dans la « zone grise », en particulier celles dont le classement par chaque évaluateur indépendant présente une forte variation.
Le volet Fondation est conçu pour contribuer à l'édification d'une assise durable formée de chefs de file dans le domaine de la recherche en santé en garantissant un soutien à long terme pour entreprendre des programmes de recherche novateurs qui produiront un impact important. Chaque année, un seul concours sera organisé dans le cadre du volet Fondation, dont le processus d'évaluation comptera trois étapes. Les deux premières étapes consisteront en une évaluation à distance réalisée par cinq évaluateurs. Les critères d'évaluation de l'étape 1 seront axés sur le calibre des candidats. À l'étape 2, certains critères relatifs au calibre des candidats seront pris en compte, mais l'accent sera mis sur la qualité du programme de recherche proposé. Tout comme dans le volet Projet, la dernière étape de l'évaluation consistera en une réunion en personne. Encore une fois, l'objectif de la dernière étape sera de colliger les résultats des évaluations indépendantes des experts et de discuter des demandes se trouvant dans la « zone grise », en particulier celles dont le classement par chaque évaluateur indépendant présente une forte variation.
Ces deux volets ont été conçus de façon à tenir compte des différentes manières d'effectuer des recherches et de les mettre en œuvre dans les divers domaines de la recherche en santé et de l'application des connaissances. Les IRSC s'attendent à ce que ces deux mécanismes de financement leur permettent d'atteindre les objectifs du programme de subventions de recherche libre et de faire progresser de façon importante les connaissances en santé, le système de soins de santé et les résultats sur la santé.
Tableau i. Résumé des principales caractéristiques des nouveaux volets de financement des programmes ouverts.
Volet Projet | Volet Fondation | |
---|---|---|
|
||
Proportion du budget de financement des programmes ouverts des IRSC | Environ 55 % | Environ 45 % |
Valeur de la subventioni (par année) | De 25 000 $ à 750 000 $ environ | De 50 000 $ à 1,5 M$ environ |
Durée de la subvention | 1 à 5 ans | 5ii ou 7 ans |
Admissibilité | Un ou plusieurs chercheurs indépendants ou utilisateurs de connaissances dans un domaine de la santé à n'importe quelle étape de la carrière | Un ou plusieurs chercheurs indépendants dans un domaine de la santé à n'importe quelle étape de la carrière |
Nombre de subventions accordées par année (en régime de croisièreiii) | Environ 939iv | Environ 114 |
Nombre de subventions activesv financées par année (en régime de croisière) | Environ 2 200 | Environ 750 |
Collège des évaluateurs
Pour faciliter la mise en œuvre des nouveaux volets de financement, les IRSC établiront un collège des évaluateurs. La création du collège des évaluateurs, qui servira de cadre d'organisation et de gestion des groupes d'évaluateurs, vise à :
« Établir une ressource centralisée reconnue à l'échelle internationale qui suscite un engagement commun dans l'ensemble de l'entreprise canadienne de recherche en santé afin de soutenir l'excellence de l'évaluation par les pairs, laquelle porte sur des activités diversifiées et émergentes de recherche en santé et d'application des connaissances couvrant l'éventail complet de la recherche en santé. »
Le collège des évaluateurs, qui vise à améliorer le système actuel d'évaluation par les pairs des IRSC, permettra :
- de trouver et de réunir, par une approche de recrutement systématique, l'expertise nécessaire pour évaluer toutes les demandes de financement présentées aux IRSC;
- de concevoir des programmes d'orientation et de développement adaptés pour fournir aux évaluateurs les connaissances et ressources nécessaires à la réalisation d'évaluations cohérentes et fiables;
- de mettre en place les mesures incitatives et les récompenses voulues pour attirer et retenir les évaluateurs possédant l'expertise étendue et approfondie dont a besoin le collège pour évaluer toute la gamme des demandes reçues.
Transition vers la nouvelle série de programmes et le nouveau processus d'évaluation par les pairs
La transition vers la nouvelle série de programmes ouverts sera un processus pluriannuel, qui commencera par la mise à l'essai des principaux éléments conceptuels en 2013. La mise en œuvre des changements à apporter à la série actuelle de programmes ouverts des IRSC et au processus d'évaluation par les pairs s'échelonnera sur plusieurs années, jusqu'à ce que le nombre de nouveaux titulaires de subventions atteigne le nombre prévu par les IRSC. Une fois la transition terminée, les IRSC financeront environ 750 subventions dans le volet Fondation et 2 200 subventions dans le volet Projet, pour un total de 2 950 subventions, grâce aux nouveaux mécanismes de financement des programmes ouverts. Si le budget de base des IRSC augmente, le nombre de subventions sera revu à la hausse.
Mise à l'essai des éléments conceptuels de l'évaluation par les pairs
Les IRSC effectueront plusieurs essais afin de tester le nouveau processus d'évaluation par les pairs entre le début de 2013 et le milieu de 2016. Ces essais permettront d'évaluer les éléments conceptuels proposés, les nouveaux processus et les systèmes servant à les appuyer. Si des changements importants doivent être apportés à la suite de ces essais, l'échéancier global de la transition sera ajusté en conséquence.
Les IRSC s'engagent à évaluer régulièrement les résultats du nouveau processus d'évaluation par les pairs. Des projets de recherche basés sur des analyses rigoureuses seront menés afin de mieux comprendre les subtilités de l'évaluation par les pairs et de déterminer la meilleure façon de mesurer en continu le rendement de la nouvelle série de programmes ouverts. Les IRSC ont l'intention de transmettre leurs résultats au milieu de la recherche et de publier des articles sur l'évaluation par les pairs.
Mise en place progressive de la nouvelle série de programmes ouverts
La mise en place progressive des nouveaux volets de financement des programmes ouverts s'effectuera sur plusieurs cycles de concours. Le volet Fondation sera lancé dans le cadre de deux concours pilotes (décrits à la page 35). La présentation des demandes pour ces concours devrait se faire à l'automne 2014 et à l'automne 2015. Le premier concours régulier du volet Fondation est prévu à l'automne 2016, et le premier concours du volet Projet, au printemps 2016.
Les IRSC s'assureront que les candidats, les évaluateurs et les établissements universitaires reçoivent le soutien nécessaire tout au long du processus de transition afin d'aider le milieu de la recherche à traverser cette période de transition sans heurts. Le collège des évaluateurs, dont le lancement est prévu au printemps 2013, permettra d'offrir un soutien immédiat.
Fin des programmes et des processus actuels
Les IRSC reconnaissent l'importance de faire preuve de circonspection dans la gestion des répercussions de ces changements sur les titulaires de subventions financés au moyen de la série actuelle de programmes ouverts. Ils organiseront encore trois concours dans le cadre du Programme ouvert de subventions de fonctionnement (au printemps 2013, à l'automne 2013 et au printemps 2014). De plus, un concours transitionnel du Programme ouvert de subventions de fonctionnement aura lieu au printemps 2015, parallèlement au premier concours pilote du volet Fondation. Les autres programmes ouverts seront éliminés graduellement après le lancement des premiers concours du volet Projet.
Compte tenu de la portée et de l'envergure des changements proposés, et des enseignements que nous tirerons des résultats futurs des concours pilotes, il faudra peut-être rectifier le tir et modifier l'échéancier en cours de route. Les IRSC ont l'intention de tenir le milieu de la recherche au courant de tout changement apporté à leur plan de transition au cours de la mise en œuvre de la version améliorée de la série de programmes ouverts et de l'évaluation par les pairs.
1. But et introduction
En février 2012, les IRSC ont publié un document de travail conceptuel qui énonçait leurs réflexions initiales sur les changements à la série de programmes ouverts des IRSC et au processus d'évaluation par les pairs. Ils ont sollicité l'avis du milieu de la recherche et recueilli des commentaires sur la nouvelle conception proposée. Un résumé des commentaires formulés a été consigné dans le rapport Les IRSC à votre écoute, publié en août 2012. Par la suite, les IRSC ont modifié certains éléments conceptuels et apporté d'autres changements à partir des suggestions et des préoccupations des membres du milieu de la recherche. Le présent document a pour but de décrire la conception générale révisée de la nouvelle série de programmes ouverts et du nouveau processus d'évaluation par les pairs. Il résume l'architecture et les mécanismes de la nouvelle série de programmes ouverts, décrit brièvement le collège des évaluateurs et présente les grandes lignes du plan de transition.
Nous tenons à remercier le milieu de la recherche, nos partenaires et les autres intervenants des IRSC d'avoir pris le temps de réfléchir à la mouture initiale de la nouvelle série de programmes ouverts et du nouveau processus d'évaluation par les pairs et d'avoir exprimé leurs commentaires.
Bien que ce document décrive les principaux éléments conceptuels de la nouvelle série de programmes ouverts et du nouveau processus d'évaluation par les pairs, il ne signale pas la fin du processus de conception. Il reste encore certains détails à confirmer avant la mise en œuvre de la conception, et le plan de transition prévoit un certain nombre de mises à l'essai majeures. Après chaque essai, il faudra prendre le temps d'ajuster le concept au besoin.
Il demeure prioritaire pour les IRSC de faire participer le milieu de la recherche et les autres intervenants, et de les tenir au courant de la mise en œuvre des changements proposés.
Les IRSC s'engagent à poursuivre le dialogue au cours de l'élaboration détaillée de la conception et du développement des plans de mise en œuvre de la nouvelle série de programmes ouverts et du nouveau processus d'évaluation par les pairs.
2. Nouvelle série de programmes ouverts
La conception de la nouvelle série de programmes ouverts prévoit des objectifs clairs pour le programme de subventions de recherche libre des IRSC. Ces objectifs comprennent l'intégration de la série actuelle de mécanismes de financement des programmes ouverts en un système simplifié assez souple pour s'adapter à la transformation du paysage de la recherche en santé. Par conséquent, la série initiale de mécanismes de financement des programmes ouverts a été réorganisée en deux nouveaux volets.
- Le volet Fondation a pour but de fournir du soutien à long terme à des chefs de file en recherche ayant déjà fait leurs preuves, peu importe où ils en sont dans leur carrière, y compris des nouveaux chercheurs ou des chercheurs en début de carrière possédant une excellente formation et ayant déjà démontré leur productivité, pour entreprendre des programmes de recherche en santé novateurs qui produiront un impact important (dont l'application des connaissances).
- Le volet Projet a pour but de financer des projets liés à la santé importants, novateurs et susceptibles de produire un impact qui sont proposés par des chercheurs et des utilisateurs des connaissances1 dans un but précis et pour une période donnée.
La nouvelle série de programmes ouverts doit s'adapter à des candidats diversifiés, peu importe où ils en sont dans leur carrière, de tous les domaines de la recherche en santé et de l'application des connaissances (figure 1).
Figure 1. Aperçu des objectifs de la nouvelle série de programmes ouverts (volet Fondation et volet Projet).
Cette stratégie a été conçue pour tenir compte des différentes manières d'effectuer des recherches et de les mettre en œuvre dans les divers domaines liés à la santé. Les IRSC s'attendent à ce que ces deux mécanismes de financement leur permettent d'atteindre les objectifs du programme de subventions de recherche libre et de faire progresser de façon importante les connaissances en santé, le système de soins de santé et les résultats sur la santé.
Les autres volets de financement de la recherche des IRSC (p. ex. initiatives stratégiques, bourses de formation) ne sont pas directement touchés par ces modifications, et feront toujours partie de la stratégie des IRSC visant à développer les domaines de recherche prioritaires et à appuyer le recrutement continu de nouveaux chercheurs et professionnels talentueux au sein de l'entreprise canadienne de recherche en santé.
3. Volet Projet
Aperçu de l'architecture
Le volet Projet a pour but d'exploiter les idées les plus susceptibles de faire progresser de façon importante les connaissances en santé, le système de soins de santé et les résultats sur la santé en appuyant des projets ayant une fin et un but précis. Les meilleures idées peuvent découler de questions de recherche ou d'approches d'application des connaissances nouvelles, progressives, novatrices ou qui comportent des risques élevés. Les IRSC ont l'intention d'exploiter toutes ces idées dans le cadre du volet Projet.
Le volet Projet devrait permettre :
- de financer un portefeuille diversifié de projets de recherche en santé et d'application des connaissances à toutes les étapes de leur réalisation, de la découverte à l'application, ce qui comprend la commercialisation;
- de faciliter la collaboration entre disciplines, professions et secteurs;
- de favoriser la création et l'utilisation des connaissances en santé.
Valeur et durée des subventions
La valeur et la durée des subventions du volet Projet dépendent des exigences des projets proposés et varient en fonction du domaine, de l'approche choisie et de la portée des activités. Dans le cadre du volet Projet, les candidats pourront présenter des demandes pour des subventions d'une valeur annuelle de 25 000 $ à 750 000 $ et d'une durée d'un à cinq ans, ce qui tient compte de la grande variété des projets financés par les nombreux programmes ouverts.
Certains intervenants se demandaient si l'étendue proposée des valeurs des subventions du volet Projet permettrait de financer certains types de recherche, notamment la recherche clinique, qui comprend les essais contrôlés randomisés. Par le passé, les candidats souhaitant réaliser des essais contrôlés randomisés ont demandé aux IRSC des subventions d'une valeur moyenne annuelle de 282 000 $ sur 3,6 ans, ce qui reste dans la fourchette des valeurs des subventions du volet Projet. De plus, une autre approche de financement des grandes subventions de projet par l'entremise de l'enveloppe de financement stratégique des IRSC est en cours d'élaboration.
D'après la part du budget de financement ouvert des IRSC allouée à ce volet (environ 55 %), les modèles actuels laissent présager qu'en régime de croisière, les IRSC seront en mesure de financer environ 939 nouvelles subventions de valeur et de durée variées par année, une fois la période de mise en place graduelle et de démarrage terminée. Il convient de souligner que les estimations de la modélisation sont basées sur une enveloppe budgétaire d'environ 500 millions de dollars, ce qui représente une estimation conservatrice des budgets combinés actuels du Programme ouvert de subventions de fonctionnement et des autres mécanismes de financement ouvert.
En régime de croisière, les IRSC prévoient financer environ 939 nouvelles subventions de valeur et de durée variées par année.
Admissibilité
Chefs de projet (candidat principal désigné, candidats principaux)
Dans le cadre du volet Projet, les IRSC prévoient financer divers projets dans tous les domaines de la recherche en santé; certains seront complètement nouveaux, alors que d'autres s'appuieront sur les résultats de projets précédents.
Les candidats admissibles comprendront au moins un chercheur indépendant ou un utilisateur des connaissances affilié à un établissement admissible.
Le volet Projet est accessible aux candidats admissibles qui travaillent de façon indépendante ou en équipe avec un ou plusieurs chefs de projet. Lorsque plusieurs candidats principaux présentent une demande collective (p. ex. en tant que cochefs équivalents), le candidat principal désigné doit être affilié à un établissement admissible.
Le chef de programme d'une subvention de fondation (p. ex. chercheur principal désigné ou chercheur principal du volet Fondation) ne pourra pas présenter de demande dans le cadre du volet Projet à titre de chef de projet (p. ex. à titre de chercheur principal désigné ou de chercheur principal). Toutefois, comme les IRSC appuient la collaboration dans les domaines de la recherche en santé et de l'application des connaissances, le chef de programme d'une subvention de fondation pourra participer à des projets à titre de collaborateur.
Collaborateurs et partenaires
Dans certains types de projets, la collaboration des partenaires ou la participation d'utilisateurs des connaissances peut être nécessaire, voire essentielle, pour réaliser les objectifs des projets et maximiser leur impact. Chaque étape du processus de recherche offre une possibilité de collaboration importante avec les utilisateurs des connaissances ou les partenaires à l'extérieur du milieu universitaire (p. ex. pour définir ou affiner les questions de recherche, choisir la méthodologie, recueillir des données et créer des outils, choisir des mesures des résultats, interpréter les conclusions, rédiger soigneusement le message et disséminer les résultats).
Les candidats seront évalués en fonction de leur capacité à recruter les experts appropriés pour mener à bien leur projet et devront démontrer dans leur demande que ces collaborateurs ou partenaires apporteront une contribution suffisante au projet.
Engagement de l'établissement
Le soutien attendu des établissements d'accueil des chefs de projet sera semblable à celui qu'on exige déjà des candidats dans le Programme ouvert de subventions de fonctionnement, conformément au Protocole d'entente sur les rôles et responsabilités en matière de gestion des subventions et des bourses fédérales. Les établissements admissibles doivent approuver toutes les demandes que leurs candidats principaux envoient aux IRSC.
Aperçu du mécanisme
Dans le document de travail conceptuel publié en février 2012,un processus de concours et d'évaluation des demandes en trois étapes a été proposé pour le volet Projet. Les membres du milieu de la recherche se sont dits préoccupés par la difficulté d'évaluer la qualité d'une idée ou d'un concept sans en évaluer également la faisabilité. À la suite de ces commentaires, les étapes d'évaluation à distance (étapes 1 et 2) ont été fusionnées en une seule pour le volet Projet. Le processus de concours et d'évaluation en deux étapes du volet Projet est illustré ci-dessous (figure 2).
Dans le cadre du volet Projet, il y aura deux concours de subventions par année (au printemps et à l'automne). Les candidats ne pourront présenter qu'une seule demande par année civile.
Aucune limite ne sera imposée quant au nombre de subventions de projet qu'un chercheur principal désigné peut détenir pendant la période de transition. Cette façon de faire pourra être revue après la transition.
Figure 2. Processus de concours en deux étapes du volet Projet. La figure ci-dessus illustre les résultats d'un seul concours.
Bien que les critères des demandes fassent toujours l'objet de discussions, on prévoit pour le moment que les demandes présentées à l'étape 1 compteront de cinq à sept pages et que des restrictions précises s'appliqueront aux pièces jointes. Il ne sera pas nécessaire de fournir des données préliminaires. À l'étape 1, les candidats devront soumettre une proposition complète où ils décriront l'idée ou le concept, son importance, l'approche choisie, les experts qui contribueront à l'atteinte des objectifs et à la réalisation des impacts prévus du projet, le caractère approprié du milieu de recherche et le budget du projet. Et, bien que les budgets n'affectent pas le classement général d'une demande, les évaluateurs donneront aux IRSC leur opinion sur ce qui constitue un niveau de soutien approprié.
Les détails précis de ces éléments conceptuels de l'évaluation par les pairs font toujours l'objet de discussions et pourraient être modifiés lors de la mise à l'essai des différents aspects de la conception.
À l'étape 1, les évaluateurs experts effectueront l'évaluation à distance et pourront communiquer dans un espace virtuel à l'aide d'une plateforme Internet.
- Phase 1 : Chaque demande sera assignée à cinq évaluateurs, en fonction du meilleur appariement possible entre le contenu de la demande et l'expertise de l'évaluateur. Chaque évaluateur devra évaluer jusqu'à 20 demandes.
- Phase 2 : Chaque évaluateur réalisera une évaluation structurée des demandes qui lui sont assignées selon les critères établis. L'évaluateur attribuera une cote pour chaque critère en fonction d'une échelle de sélection définie (annexe A). Chaque évaluateur produira ensuite un classement initial des demandes qui lui ont été assignées. Ce processus sera facilité par un outil de soutien en ligne.
- Phase 3 : Pour chaque demande, l'évaluation initiale produite par chacun des évaluateurs sera accessible aux quatre autres évaluateurs assignés à la demande. Les évaluateurs auront l'occasion d'entamer et d'alimenter des discussions en ligne.
- Phase 4 : Une fois les discussions terminées, les évaluateurs confirmeront les évaluations finales et le classement de leurs demandes, et transmettront les résultats par voie électronique.
- Phase 5 : Les IRSC établiront le classement moyen de chaque demande en se basant sur les résultats produits par chacun des évaluateurs.
- Phase 6 : Un classement général sera établi pour l'ensemble des demandes du concours. Tous les candidats recevront des commentaires structurés de chacun des évaluateurs assignés à leur demande.
L'étape 2, l'étape de l'évaluation finale, comportera des réunions en personne de comités interdisciplinaires (formés de 6 à 10 membres), qui seront chargés d'intégrer les résultats de l'étape 1. La discussion sera axée sur les demandes situées dans la « zone grise », en particulier celles dont le classement par chaque évaluateur indépendant présente une forte variation. Ces comités formuleront des recommandations quant au financement des demandes situées dans la « zone grise ».
Les IRSC investissent massivement dans l'évaluation par les pairs, et de nombreuses demandes méritoires ne sont pas financées. Dans le but de faire progresser la recherche en santé et de contribuer à la durabilité de l'entreprise de recherche en santé, les IRSC étudient la possibilité de transmettre leur bassin de demandes méritoires non financées à d'autres organismes de financement de la recherche en santé (partenaires, établissements universitaires, etc.) à la fin de chaque concours. Les IRSC sont actuellement en pourparlers avec des organismes de financement de la recherche en santé.
Importance de l'assignation des évaluateurs
L'attribution des demandes aux évaluateurs appropriés est essentielle à la bonne marche d'un système d'évaluation axée sur les demandes. Les IRSC évaluent actuellement divers outils informatiques qui pourraient faciliter le processus d'assignation. Ces outils visent à appuyer le jugement et l'expérience des personnes responsables de l'attribution des demandes en validant leur travail. Les IRSC prévoient que des experts externes contribueront à soutenir ce processus. Ils préparent actuellement un certain nombre de projets pilotes qui permettront d'évaluer l'efficacité de ces outils informatiques et de s'assurer que leurs résultats concordent avec le jugement des experts.
La participation directe du personnel des IRSC et de chercheurs expérimentés en matière d'évaluation des demandes permettra de garantir que les demandes sont évaluées par des évaluateurs possédant l'expertise appropriée.
Présentation de rapports et de nouvelles demandes
Conformément aux processus actuels des IRSC, les rapports de fin de subvention devront être remis dans les 18 mois suivant la date de fin des subventions de projet.
Les subventions de projet visent à atteindre un but précis dans une durée déterminée. On s'attend à ce que de nouveaux concepts, questions ou hypothèses se dégagent des résultats des travaux précédents, sur lesquels pourront se baser les propositions de projets ultérieures. Certaines de ces nouvelles questions et hypothèses pourraient être de nature progressive, c'est-à-dire qu'elles découleraient directement des résultats obtenus dans le cadre des projets subventionnés précédents. Les titulaires de subventions de projet qui souhaitent s'appuyer sur les résultats de projets précédents peuvent présenter une nouvelle demande dans le cadre du volet Projet, en mettant l'accent sur les pistes de recherche issues de ces projets.
Critères (de sélection) proposés pour l'évaluation structurée
Les IRSC continuent de travailler avec divers intervenants, notamment les établissements, les délégués universitaires, les conseils consultatifs des instituts et d'autres conseillers du milieu de la recherche, afin d'élaborer les critères proposés pour l'évaluation structurée. Les critères de sélection présentés ci-dessous donnent une idée des éléments qui devraient être évalués par les pairs dans le cadre du volet Projet (figure 3).
Les discussions se poursuivent et continuent de remodeler les critères de sélection proposés pour l'évaluation des demandes du volet Projet.
Figure 3. Critères de sélection proposés pour le volet Projet à chaque étape du processus d'évaluation et de concours en plusieurs étapes.
Les lignes directrices à l'intention des pairs évaluateurs mettront l'accent sur l'importance d'appliquer chaque critère en fonction du domaine de recherche, de l'étape de carrière et de l'établissement. Pour en savoir plus sur le point de vue actuel des IRSC sur les critères de sélection proposés pour le volet Projet, consultez l'annexe A.
En bref | |
---|---|
Volet Projet | |
|
|
Proportion du budget de financement des programmes ouverts des IRSC | Environ 55 % |
Valeur de la subvention (par année) | De 25 000 $ à 750 000 $ environ |
Durée de la subvention | 1 à 5 ans |
Admissibilité | Un ou plusieurs chercheurs indépendants ou utilisateurs des connaissances dans un domaine de la santé à n'importe quelle étape de la carrière |
Nombre de subventions accordées par annéei (en régime de croisièreii) | Environ 939 |
Nombre de subventions actives financées par année (en régime de croisière) | Environ 2 200 |
4. Volet Fondation
Aperçu de l'architecture
Le volet Fondation est conçu pour contribuer à l'édification d'une assise durable formée de chefs de file dans le domaine de la recherche en santé en garantissant du soutien à long terme pour entreprendre des programmes de recherche novateurs qui produiront un impact important.
Le volet Fondation devrait permettre :
- de financer un vaste bassin de chefs de file en recherche œuvrant dans tous les domaines et toutes les disciplines en lien avec la santé, à n'importe quelle étape de leur carrière;
- de développer et de soutenir la capacité de recherche en santé et dans les domaines connexes au Canada;
- d'offrir aux chefs de file en recherche la latitude voulue pour explorer des pistes de recherche nouvelles et novatrices;
- de contribuer à la création et à l'utilisation de connaissances liées à la santé au moyen d'une vaste gamme d'activités de recherche ou d'application des connaissances, notamment d'activités de collaboration pertinentes.
Comme le décrit le document de travail conceptuel publié en février 2012, un volet distinct sera mis en place pour soutenir les nouveaux chercheurs et les chercheurs en début de carrière qui deviendront les futurs chefs de file en recherche.
Valeur et durée des subventions
La valeur des subventions de fondation dépendra des exigences de la recherche proposée, ainsi que du domaine de recherche, de l'approche et de la portée des activités du programme. Les chercheurs pourront demander des subventions d'une valeur annuelle d'environ 50 000 $ à 1,5 million de dollars. Les chercheurs établis recevront des subventions d'une durée de sept ans, tandis que les nouveaux chercheurs et les chercheurs en début de carrière recevront des subventions d'une durée de cinq ans. On s'attend à ce que le dossier de financement des candidats constitue un des facteurs pour déterminer le montant des subventions futures.
D'après la part du budget de financement ouvert des IRSC allouée à ce volet (45 %), les modèles actuels laissent présager qu'en régime de croisière, les IRSC seront en mesure de financer environ 114 nouvelles subventions de valeur et de durée variées par année, une fois la période de mise en place graduelle et de démarrage terminée. Il convient de souligner que les estimations de la modélisation sont basées sur une enveloppe budgétaire d'environ 500 millions de dollars, ce qui représente une estimation conservatrice des budgets combinés actuels du Programme ouvert de subventions de fonctionnement et des autres mécanismes de financement ouvert.
En régime de croisière, les IRSC prévoient financer environ 114 nouvelles subventions de valeur et de durée variées par année.
Les membres du milieu de la recherche ont longuement discuté du transfert des titulaires actuels d'une subvention ou plus des IRSC vers le volet Fondation. On s'attend à ce que les candidats retenus qui détiennent déjà une ou plusieurs subventions obtenues dans le cadre de concours ouverts se voient attribuer une nouvelle subvention de fondation correspondant au total des subventions précédentes. Ce processus s'appliquerait aux titulaires qui détiennent actuellement plusieurs subventions obtenues dans le cadre de concours ouverts (p. ex. Programme ouvert de subventions de fonctionnement, programmes ouverts d'application des connaissances), ainsi qu'aux futurs titulaires de subventions de projet qui souhaitent fusionner leurs différents projets au sein d'un programme de recherche intégré ou faire la transition à un tel programme.
Pendant la période de transition, les candidats titulaires d'une de plusieurs subventions de fonctionnement actives dans le cadre d'un concours ouvert qui se voient refuser une demande de subvention de fondation ne perdront pas leur financement actuel avant la date prévue de fin de leurs subventions.
Admissibilité
Chefs de programme (candidat principal désigné, candidats principaux)
Les subventions de fondation visent à aider les chefs de file en recherche, à n'importe quelle étape de la carrière, à mettre sur pied et à diriger des programmes de recherche en santé dans tous les domaines couverts par le mandat des IRSC. On entend par candidat admissible les chercheurs indépendants, nouveaux ou établis, dont les preuves ne sont plus à faire en ce qui concerne l'excellence du travail ou l'incidence qu'ils ont eue dans leur discipline. Ces chercheurs doivent être affiliés à un établissement admissible.
Dans certains domaines, les programmes de recherche sont codirigés par deux ou trois chercheurs de même statut. L'admissibilité des cochefs de programme à une subvention de fondation conjointe a fait l'objet de nombreuses discussions dans le milieu de la recherche. À la suite de ces discussions, il a été décidé que les cochefs de programmes pourront présenter une demande conjointe dans le cadre du volet Fondation. Ces cocandidats devront prouver qu'ils entretiennent des relations synergiques et qu'ils ont déjà géré ensemble des programmes de recherche. Bien que l'équipe de recherche puisse évoluer avec le temps, on s'attend à ce que les chefs de programme (qu'il y en ait un ou plusieurs) demeurent les mêmes au cours de la période de subvention.
Les cochefs de programme qui demandent une subvention conjointe devront prouver qu'ils entretiennent des relations synergiques et qu'ils ont déjà géré ensemble des programmes de recherche.
Collaborateurs et partenaires
Dans le volet Fondation, il est fort probable que les chercheurs établissent des liens de collaboration et des partenariats, qui changeront avec le temps selon l'évolution du programme de recherche. Les candidats devront faire la preuve de l'expertise et du degré de participation de leurs collaborateurs au début du programme, et démontrer qu'ils ont ensuite l'intention de faire appel à d'autres experts. Le degré de participation ou de contribution requis des collaborateurs et des partenaires des chefs de programme du volet Fondation dépendra de l'importance de leur contribution (en argent ou en nature) pour l'atteinte des objectifs du programme. Les IRSC n'ont pas l'intention de mettre en place une exigence relative aux fonds de contrepartie pour les subventions de fondation.
Nouveaux chercheurs ou chercheurs en début de carrière et chercheurs en milieu de carrière
Dans le rapport Les IRSC à votre écoute : analyse de la rétroaction sur le document de travail conceptuel publié en août 2012, les IRSC ont indiqué que, selon les répondants, la création d'un volet distinct pour les nouveaux chercheurs et les chercheurs en début de carrière représentait un point fort, mais que la définition de ces chercheurs devrait être révisée afin de mieux refléter les cheminements actuels en début de carrière. Par conséquent, la définition de « nouveau chercheur ou chercheur en début de carrière » a été révisée :
« Tout candidat qui, au moment de soumettre sa demande, occupe son premier poste universitaire indépendant (p. ex. nomination au sein du corps professoral) depuis cinq ans (60 mois) ou moins. »
Dans le cadre du volet Fondation, la réussite des nouveaux chercheurs et des chercheurs en début de carrière fera l'objet d'un suivi actif. Les pairs évaluateurs recevront une formation sur la prise en compte dans leur évaluation de l'étape de la carrière, du domaine de recherche et de l'établissement de ces chercheurs. À l'étape 3, le comité évaluera séparément le bassin de nouveaux chercheurs et de chercheurs en début de carrière se trouvant dans la « zone grise ».
Certains membres du milieu de la recherche craignent également que le soutien offert aux chercheurs en milieu de carrière dans le volet Fondation soit insuffisant. Pourtant, ces chercheurs jouent un rôle important pour la viabilité de l'excellence de la recherche. Comme dans le cadre du processus de demande pour les nouveaux chercheurs et les chercheurs en début de carrière, les pairs évaluateurs recevront des directives sur l'application des critères de sélection aux chercheurs en milieu de carrière. Les IRSC s'engagent à surveiller les résultats des concours afin de s'assurer que des chercheurs de tous les domaines de la recherche en santé et à toutes les étapes de leur carrière sont retenus. Une stratégie particulière pour les chercheurs en milieu de carrière sera envisagée si une analyse pluriannuelle des concours en confirme la nécessité.
Engagement de l'établissement
Pour recevoir des fonds, les demandeurs de subvention de fondation devront obtenir de leur établissement d'accueil un engagement officiel à fournir un soutien plus important que celui décrit dans le Protocole d'entente sur les rôles et responsabilités en matière de gestion des subventions et des bourses fédérales.
L'exigence relative au soutien accru des établissements dans le volet Fondation vise à renforcer les partenariats entre les IRSC et les établissements afin qu'ils parviennent ensemble à :
- assurer la réussite des programmes de recherche des chefs de file de la recherche en santé;
- contribuer à la viabilité de l'entreprise canadienne de recherche en santé.
Les caractéristiques des subventions du volet Fondation (durée, valeur et autonomie accrues) offriront aux chercheurs la souplesse voulue pour mettre en œuvre des programmes de recherche novateurs d'envergure. Les IRSC ont envisagé de demander également un soutien accru des établissements dans le volet Projet, mais ont finalement décidé de n'appliquer cette exigence qu'aux subventions de fondation. Cela permettra de garantir que les candidats retenus reçoivent suffisamment de soutien de la part des établissements pour optimiser les investissements réalisés dans le cadre du volet Fondation et maximiser les résultats potentiels de la recherche en santé financée par les IRSC.
Les IRSC sont actuellement en pourparlers avec les établissements universitaires pour déterminer la meilleure façon de définir et de mettre en œuvre l'exigence relative au soutien accru des établissements.
Aperçu du mécanisme
Le volet Fondation reposera sur un processus de concours et d'évaluation des demandes en trois étapes selon lequel les évaluateurs tiendront compte de critères d'évaluation structurée précis à chacune des étapes (figure 4).
Dans le cadre du volet Fondation, il y aura un concours de subventions de fondation par année (au début de l'automne); les candidats pourront présenter une seule demande par concours.
Veuillez noter que les chefs de programme ne peuvent déternir qu'une seule subvention de fondation active à la fois.
Figure 4. Processus de concours en trois étapes du volet Fondation
Chaque étape de l'évaluation sera axée sur un aspect différent. L'étape 1 permettra d'évaluer le calibre des candidats (d'après leur vision du programme de recherche proposé), leurs principales réalisations et leurs contributions importantes. Bien que les exigences de présentation des demandes fassent toujours l'objet de discussions, les demandes présentées à l'étape 1 compteront probablement de trois à quatre pages et seront accompagnées d'une série de pièces jointes relatives au CV du chef de programme. Les candidats jugés compétitifs seront invités à présenter une demande à l'étape 2, où l'évaluation portera sur la qualité du programme de recherche proposé, la capacité de recherche et le soutien du milieu envers le programme proposé. Les candidats devront présenter leur concept et leur approche de recherche, le type d'experts dont la contribution sera nécessaire à l'atteinte des objectifs et à la réalisation des impacts prévus du programme, leur plan de formation et de mentorat de chercheurs et de professionnels talentueux dans le domaine de la santé, le caractère approprié du milieu de recherche (ce qui comprend le soutien de l'établissement) et le budget du programme. Actuellement, on s'attend à ce que les demandes présentées à l'étape 2 comptent de 10 à 12 pages. Et, bien que les budgets n'affectent pas le classement général d'une demande, les évaluateurs donneront aux IRSC leur opinion sur ce qui constitue un niveau de soutien approprié.
Les détails précis de ces éléments conceptuels de l'évaluation par les pairs font toujours l'objet de discussions et pourraient être modifiés lors de la mise à l'essai des différents aspects du concept.
Aux étapes 1 et 2, les évaluateurs experts effectueront l'évaluation à distance et pourront communiquer dans un espace virtuel à l'aide d'une plateforme Internet. Pour ces deux étapes, tous les candidats recevront des commentaires structurés de chacun des évaluateurs chargés de leur demande.
- Phase 1 : Chaque demande sera assignée à cinq évaluateurs, en fonction du meilleur appariement possible entre le contenu de la demande et l'expertise de l'évaluateur. Chaque évaluateur devra évaluer jusqu'à 20 demandes.
- Phase 2 : Chaque évaluateur réalisera une évaluation structurée de chacune des demandes qui lui sont assignées selon les critères établis. L'évaluateur attribuera une cote pour chaque critère en fonction d'une échelle de sélection définie (annexe B). Chaque évaluateur produira ensuite un classement initial des demandes qui lui ont été assignées. Ce processus sera facilité par un outil de soutien en ligne.
- Phase 3 : Pour chaque demande, l'évaluation initiale produite par chacun des évaluateurs sera accessible aux quatre autres évaluateurs assignés à la demande. Les évaluateurs auront l'occasion d'entamer et d'alimenter des discussions en ligne.
- Phase 4 : Une fois les discussions terminées, les évaluateurs confirmeront les évaluations finales et le classement de leurs demandes, et transmettront les résultats par voie électronique.
- Phase 5 : Les IRSC établiront le classement moyen de chaque demande en se basant sur les résultats produits par chacun des évaluateurs.
- Phase 6 : Un classement général sera établi pour l'ensemble des demandes de l'étape 1 du concours. Environ 350 candidats seront invités à présenter une demande à l'étape 2.
À l'étape 2, l'évaluation des demandes suivra un processus semblable. À la fin du processus, tous les classements seront intégrés afin d'établir un classement général pour l'ensemble des demandes de l'étape 2 du concours.
L'étape 3, l'étape de l'évaluation finale, comportera des réunions en personne d'un comité interdisciplinaire qui sera chargé d'intégrer les résultats des évaluations à distance des étapes 1 et 2. La discussion sera axée sur les demandes situées dans la « zone grise », en particulier celles dont le classement par chaque évaluateur indépendant présente une forte variation. Le comité formulera des recommandations quant au financement des demandes situées dans la « zone grise ». Les candidats non retenus qui se retrouvent au bas du classement ne seront pas admissibles au concours suivant du volet Fondation, mais pourront présenter une demande un an plus tard (c.-à-d. deux ans après la date limite de présentation des demandes à l'étape 1).
Les candidats non retenus qui se retrouvent au bas du classement ne seront pas admissibles au concours suivant du volet Fondation, mais pourront soumettre une demande deux ans après la date limite de présentation des demandes à l'étape 1.
Présentation de rapports et de nouvelles demandes
Pour respecter les exigences fédérales en matière de rapports et de responsabilisation, les titulaires de subventions de fondation devront régulièrement transmettre des rapports sur leur productivité et leurs réalisations. Ce processus est en cours d'élaboration; les rapports seront simples et faciles à remplir.
Les titulaires de subventions de fondation qui souhaitent poursuivre leur programme de recherche une fois leur financement échu pourront présenter une nouvelle demande au cours de la sixième année dans le cadre du concours régulier du volet Fondation. Dans des circonstances exceptionnelles, les titulaires de subventions de fondation pourront choisir de présenter une nouvelle demande plus tôt dans le but d'obtenir davantage de fonds. Dans tous les cas, les politiques actuelles sur la présentation de nouvelles demandes seraient en vigueur. Si le titulaire n'obtient pas de nouvelle subvention, il devra remettre son rapport de fin de subvention dans les 18 mois suivant la date de fin de sa subvention de fondation.
Les titulaires de subventions de fondation pourront choisir de présenter une nouvelle demande avant la sixième année. Les politiques actuelles sur la présentation de nouvelles demandes seront en vigueur.
Critères (de sélection) proposés pour l'évaluation structurée
Comme pour le volet Projet, les IRSC ont travaillé avec divers intervenants afin d'élaborer les critères proposés pour l'évaluation structurée du volet Fondation. Les critères de sélection présentés ci-dessous donnent une idée des éléments qui devraient être évalués par les pairs à chaque étape du processus de concours et d'évaluation en plusieurs étapes dans le cadre du volet Fondation (figure 5).
Les discussions se poursuivent et continuent de remodeler les critères de sélection proposés pour l'évaluation des demandes du volet Fondation.
Figure 5. Critères de sélection proposés pour le volet Fondation à chaque étape du processus d'évaluation et de concours en plusieurs étapes.
Les lignes directrices à l'intention des pairs évaluateurs mettront l'accent sur l'importance d'appliquer chaque critère en fonction du domaine de recherche, de l'étape de carrière et de l'établissement. Pour en savoir plus sur le point de vue actuel des IRSC sur les critères de sélection proposés pour le volet Fondation, consultez l'annexe B.
En bref | |
---|---|
Volet Fondation | |
|
|
Proportion du budget de financement des programmes ouverts des IRSC | Environ 45 % |
Valeur de la subvention | De 50 000 $ à 1,5 M$ par année environ |
Durée de la subvention | 5i ou 7 ans |
Admissibilité | Un ou plusieurs chercheurs indépendants dans un domaine de la santé à n'importe quelle étape de la carrière |
Nombre de subventions accordées par année (en régime de croisièreii) | Environ 114 |
Nombre de subventions actives financées par année (en régime de croisière) | Environ 750 |
5. Collège des évaluateurs
Vision et objectifs du collège des évaluateurs
Le collège des évaluateurs vise à établir une ressource centrale reconnue à l'échelle internationale qui suscite un engagement commun (dans l'ensemble de l'entreprise canadienne de recherche en santé) afin de soutenir l'excellence de l'évaluation par les pairs, laquelle porte sur des activités diversifiées et émergentes de recherche en santé et d'application des connaissances couvrant l'éventail complet de la recherche en santé.
La réussite du collège dépend des facteurs suivants :
- l'engagement commun de ses membres et des organismes de financement de la recherche en santé, qui se manifeste par l'exercice de leurs divers rôles et responsabilités;
- la diversité de l'expertise, de l'expérience et des points de vue entre les disciplines, les professions et les secteurs de la santé;
- la création d'une structure officielle qui permet de soutenir et d'orienter le collège, et d'en maintenir la qualité et la crédibilité;
- l'établissement d'un bassin d'experts qualifiés qui reçoivent le soutien nécessaire pour maintenir l'excellence du système d'évaluation par les pairs (figure 6).
Figure 6. Vision et composantes du collège des évaluateurs
Les facteurs de réussite présentés ci-dessus ont influencé l'élaboration des objectifs et des principaux éléments conceptuels du collège des évaluateurs (tableau 3).
Objectifs | Principaux éléments conceptuels du collège des évaluateurs |
---|---|
Attirer et retenir un bassin d'experts pour la sélection de demandes diversifiées dans le domaine de la santé |
|
S'assurer que les membres du collège possèdent les connaissances et les aptitudes nécessaires et reçoivent le soutien approprié pour réaliser d'excellentes évaluations par les pairs |
|
Maintenir, promouvoir et souligner la qualité de l'évaluation par les pairs |
|
Pour réaliser cette vision et ces objectifs, le collège des évaluateurs sera conçu comme une ressource nationale centralisée dont les composantes seront axées sur différents aspects : recrutement, orientation, gestion du rendement et reconnaissance des membres du collège.
Les membres du collège seront regroupés en « domaines d'expertise ». Ces domaines seront chapeautés par un président qui devra créer et mettre à jour sa liste d'évaluateurs. Plusieurs analyses sont en cours afin d'établir le profil des évaluateurs actuels et d'orienter les futures stratégies et cibles de recrutement.
Les IRSC prévoient commencer à travailler étroitement avec leurs partenaires financiers du domaine de la recherche en santé afin de mettre sur pied un collège des évaluateurs collaboratif à l'échelle nationale. Les partenaires, qui auront accès au bassin d'experts et aux autres composantes du collège, aideront les IRSC à accroître leur bassin d'experts, à offrir de l'orientation aux évaluateurs et à récompenser les évaluateurs exceptionnels.
Rôles et responsabilités au sein du collège des évaluateurs
Les IRSC songent à créer divers rôles au sein du collège des évaluateurs, qui seront caractérisés par différents degrés de responsabilité. Ces rôles ne seront pas uniquement liés à l'évaluation par les pairs, mais également au soutien de la qualité du système d'évaluation par les pairs dans son ensemble (p. ex. recrutement, mentorat et orientation, appariement des évaluateurs et des demandes).
Voici quelques exemples d'autres rôles et responsabilités proposés (figure 7) :
Figure 7. Exemples de rôles et de responsabilités des membres actifs du collège des évaluateurs.
Programme de recrutement du collège des évaluateurs
La stratégie de recrutement au sein du collège des évaluateurs permettra de garantir que le collège dispose d'un bassin approprié d'experts qualifiés afin de soutenir l'excellence du système d'évaluation par les pairs, lequel porte sur des activités diversifiées et émergentes de recherche en santé et d'application des connaissances dans l'éventail complet de la recherche en santé.
Une série de processus permettront de favoriser le recrutement. La figure 8 décrit chacun de ces processus.
Figure 8. Description des processus de recrutement au sein du collège des évaluateurs.
Les IRSC travailleront de concert avec un certain nombre d'intervenants principaux, notamment des établissements universitaires et des partenaires, dans le but de cibler et de proposer des candidats potentiels au collège des évaluateurs.
Programme d'orientation et de développement du collège des évaluateurs
Le programme d'orientation et de développement permettra aux membres du collège d'acquérir rapidement les connaissances et le soutien dont ils ont besoin pour effectuer des évaluations de haute qualité, conformément aux politiques et aux critères d'évaluation des IRSC. Ce programme, qui permettra aux membres de se familiariser avec leurs tâches et d'être appuyés dans leur travail au sein du collège, comportera des modules d'orientation spécialisés pour chacun des rôles. Un système de gestion des apprentissages sera mis en place pour permettre aux membres du collège d'avoir accès à du contenu en ligne.
Le milieu de la recherche a fait savoir aux IRSC qu'il est important d'offrir aux nouveaux chercheurs et aux chercheurs en début de carrière des occasions d'en apprendre plus sur l'évaluation par les pairs auprès de leurs pairs plus expérimentés. Dans le nouveau système d'évaluation par les pairs, on s'attend à ce que les membres plus expérimentés du collège soient formés pour agir à titre de mentors auprès des nouveaux pairs évaluateurs.
Programme de reconnaissance et de gestion du rendement du collège des évaluateurs
Le programme de reconnaissance et de gestion du rendement vise à mettre en place des politiques et des mécanismes d'évaluation et de promotion de la qualité de l'évaluation par les pairs, et à reconnaître la contribution et le rendement des membres.
Les IRSC travailleront de concert avec des chercheurs et des établissements universitaires à la conception et à la mise en œuvre de récompenses et de mesures incitatives significatives. Ils s'engagent également à collaborer avec les établissements afin d'améliorer la reconnaissance de la valeur du travail des pairs évaluateurs.
Les IRSC prendront note des grandes étapes franchies et des activités réalisées par les membres du collège des évaluateurs. Ces données serviront à orienter les activités de reconnaissance éventuelles et à connaître la distribution des tâches et la charge de travail des évaluateurs. Elles permettront ainsi de trouver des approches pour alléger le fardeau global de chaque évaluateur.
6. Transition vers la nouvelle série de programmes ouverts et le nouveau processus d'évaluation par les pairs
La mise en œuvre du concept de la série de programmes ouverts et du processus d'évaluation par les pairs représente un changement important, non seulement pour le milieu de la recherche, mais également pour les IRSC. Une grande partie des commentaires transmis par le milieu de la recherche étaient axés sur l'importance de mettre ces changements en place de façon graduelle.
La transition vers la nouvelle série de programmes ouverts sera un processus pluriannuel. La mise en œuvre des changements à la série de programmes ouverts des IRSC et au processus d'évaluation par les pairs s'échelonnera sur plusieurs années, jusqu'à ce que le nombre de nouveaux titulaires de subventions atteigne le nombre prévu par les IRSC.
Une fois la transition terminée, les IRSC financeront environ 750 subventions dans le volet Fondation et 2 200 subventions dans le volet Projet, pour un total de 2 950 subventions. Ces prévisions sont basées sur l'enveloppe budgétaire actuelle (figure 9).
Ces prévisions sont déterminantes pour permettre aux IRSC de respecter leur engagement de maintenir approximativement le même nombre de chercheurs principaux désignés que dans le système actuel.
Un certain nombre de scénarios ont été envisagés pour déterminer un nombre de nouveaux titulaires de subventions viable à long terme. Ces scénarios avaient comme paramètres la valeur et la durée moyennes des subventions, les cycles de concours et le budget disponible pour les futurs concours.
La modélisation, qui visait à respecter l'engagement de maintenir en régime de croisière le même nombre de chercheurs principaux désignés qu'avec les programmes actuels, était basée sur une estimation conservatrice du budget de financement des programmes ouverts, soit 500 millions de dollars (voir l'annexe C).
Fondation | Projet | Total | |
---|---|---|---|
Proportion du budget de financement des programmes ouverts des IRSC | 45 % | 55 % | 100 % |
Nombre de nouvelles subventions par année | 114 | 939 | 1 053 |
Nombre de subventions en régime de croisière | 750 | 2 200 | 2 950 |
Lors de l'élaboration de cette stratégie de transition, les IRSC ont tenu compte des éléments suivants :
- garantir l'équité et la transparence;
- permettre à un bassin diversifié de chercheurs et d'utilisateurs des connaissances d'avoir accès aux nouveaux volets de financement;
- limiter l'impact externe de l'échéancier proposé sur les établissements et le milieu de la recherche dans son ensemble;
- réaliser des essais poussés des systèmes et des solutions informatiques conçus pour appuyer l'évaluation axée sur les demandes afin de s'assurer de leur acceptation par les utilisateurs et de leur fonctionnalité;
- mettre en place un processus viable qui permettra de limiter les lacunes sur le plan des possibilités de financement de programmes ouverts, de gérer les futures répercussions financières et de garantir le recrutement de nouveaux chercheurs.
Compte tenu de la portée et de l'envergure des changements proposés, et des enseignements que nous tirerons des résultats des projets pilotes, il faudra peut-être rectifier le tir et modifier l'échéancier en cours de route.
Les IRSC comptent tenir le milieu de la recherche au courant de tout changement apporté à leur plan de transition au cours de la mise en œuvre de la version améliorée de la série de programmes ouverts et de l'évaluation par les pairs.
La stratégie de transition comporte trois phases :
- Mise à l'essai des principaux éléments conceptuels de l'évaluation par les pairs;
- Mise en place progressive des nouveaux volets de financement;
- Élimination graduelle des programmes de financement ouverts existants.
La figure ci-dessous (figure 10) illustre les trois phases de l'échéancier de transition provisoiredes IRSC. Ces phases sont décrites plus en détail dans les sections suivantes.
Figure 10. Échéancier de transition provisoire pour la mise à l'essai des éléments conceptuels de l'évaluation par les pairs, la mise en place progressive de la nouvelle série de programmes ouverts et du nouveau processus d'évaluation par les pairs, et l'élimination graduelle des programmes existants. Les IRSC reconnaissent que la transition aura des répercussions sur les chercheurs financés et non financés. Ils analysent actuellement des solutions visant à atténuer ces répercussions. Par conséquent, les dates de début des concours et de prise de décisions pourraient être devancées ou retardées.
Mise à l'essai des éléments conceptuels clés de l'évaluation par les pairs
Le succès de la transition des IRSC vers la nouvelle série de programmes ouverts et le nouveau processus d'évaluation par les pairs repose sur l'efficacité de la mise à l'essai de la fonctionnalité des éléments conceptuels de l'évaluation par les pairs.
Un des principaux moteurs de l'étape de mise à l'essai de la stratégie de transition est la nécessité de sélectionner et de tester les solutions de TI les mieux adaptées aux améliorations proposées à l'évaluation par les pairs. Comme l'illustre la figure 10 ci-dessus, les IRSC ont prévu du temps au cours de la période de transition pour analyser les résultats des études pilotes ainsi que pour entreprendre une mise à l'essai approfondie par les utilisateurs.
La mise à l'essai des éléments conceptuels de l'évaluation par les pairs permettra aux IRSC d'ajuster et de peaufiner les systèmes et les processus afin de faciliter la tâche aux candidats et aux évaluateurs. Deux programmes existants des IRSC ont été choisis pour faire la mise à l'essai de certains éléments du nouveau concept. Le concours du Programme de bourses salariales de nouveau chercheur, organisé en juin 2011, a permis de mettre à l'essai certains éléments du processus d'évaluation et de concours en plusieurs étapes. Le concours consistait en une première étape d'évaluation individuelle et indépendante, et en une deuxième étape d'examen des demandes retenues par un comité interdisciplinaire au cours d'une réunion en personne. Récemment, un concours de subventions d'équipe en soins de santé primaires communautaires a également servi à tester certains éléments des processus de concours et d'évaluation en plusieurs étapes, d'évaluation axée sur les demandes et d'évaluation structurée. Les leçons tirées dans le cadre de ces concours ont permis de peaufiner la conception des nouveaux volets de financement des programmes ouverts et du nouveau processus d'évaluation par les pairs.
Plusieurs mises à l'essai supplémentaires auront lieu entre le début de l'année 2013 et le milieu de l'année 2016 (tableau 4). Chacune d'entre elles visera l'évaluation d'un ou de plusieurs des éléments conceptuels suivants : le processus de concours en plusieurs étapes, le processus de présélection à distance (virtuel), l'évaluation axée sur les demandes, l'évaluation structurée, une version simplifiée de l'échelle de cotation, le nombre d'évaluateurs par demande et la fonctionnalité des mécanismes de discussion en ligne.
Ces mises à l'essai seront réalisées dans le cadre de concours de moindre envergure, ce qui permettra de bien former les candidats, de guider les évaluateurs et d'évaluer les résultats de façon organisée. Les participants seront invités à formuler des commentaires sur les éléments conceptuels dans le cadre d'enquêtes et de discussions dirigées.
Essais | Objectifs | Échéancier |
---|---|---|
Évaluation à distance : essais 1 et 2 |
|
|
Sélection : essais 1 et 2 |
|
|
Volet Fondation : concours pilotes 1 et 2 |
|
|
Appariement et attribution : essais |
|
|
En plus de ces essais, les IRSC évalueront les résultats à long terme du nouveau processus d'évaluation par les pairs, tel que le décrit l'aperçu du plan de recherche (annexe D).
Le plan de recherche a pour but de permettre la mise en place d'un processus d'évaluation par les pairs qui appuie le mieux possible la prise de décisions relatives au financement conformément aux objectifs des mécanismes de financement des IRSC.
Les projets de recherche seront basés sur des analyses rigoureuses afin non seulement d'orienter les ajustements à apporter au nouveau concept, mais aussi de mieux comprendre les subtilités de l'évaluation par les pairs. Les IRSC ont l'intention de transmettre leurs résultats au milieu de la recherche et de publier des articles sur l'évaluation par les pairs.
Mise en place progressive de la nouvelle série de programmes ouverts
La mise en place progressive des nouveaux volets de financement des programmes ouverts s'effectuera sur plusieurs cycles de concours, à mesure que les fonds actuellement consacrés à la série actuelle de programmes ouverts deviendront disponibles. Le volet Fondation sera lancé en premier (en tant que concours pilote), et il sera suivi du volet Projet (tableau 5).
Date de lancement du concours | Date limite pour soumettre une demande | Date de versement du financement | |
---|---|---|---|
Volet Fondation : concours pilote 1 | Été 2014 | Automne 2014 | Printemps 2015 |
Volet Fondation : concours pilote 2 | Été 2015 | Automne 2015 | Printemps 2016 |
Volet Projet 1 | Hiver 2016 | Printemps 2016 | Été 2016 |
Volet Projet 2 | Été 2016 | Automne 2016 | Hiver 2017 |
Volet Fondation (premier concours régulier) | Été 2016 | Automne 2016 | Printemps 2017 |
La mise en place progressive du volet Fondation commencera par deux concours pilotes. Ces concours seront des concours réguliers dans le cadre desquels les IRSC mettront en place certaines stratégies d'octroi de nouvelles subventions visant à contenir le volume de demandes.
Les titulaires de subventions actuels dont le financement se termine durant la période de transition, les nouveaux chercheurs, les chercheurs en début de carrière ainsi que ceux qui n'ont jamais reçu de subvention des IRSC seront invités à présenter une demande dans le cadre du premier concours pilote.
Les candidats retenus dans le cadre du premier concours pilote seront les premiers titulaires de subventions du volet Fondation. Les candidats et les évaluateurs seront invités à formuler leurs commentaires sur le processus du concours, lesquels permettront d'apporter des ajustements pour le deuxième concours pilote. Des stratégies semblables d'octroi de nouvelles subventions seront utilisées dans le cadre de ce deuxième concours afin de contenir le volume de demandes élevé.
Un concours transitionnel du Programme ouvert de subventions de fonctionnement (printemps 2015) sera organisé parallèlement au concours pilote, ce qui permettra aux chercheurs qui n'ont pas été retenus à la première étape du concours du volet Fondation de présenter une demande dans le cadre du Programme ouvert de subventions de fonctionnement.
Pour plus de renseignements sur le concours transitionnel du Programme ouvert de subventions de fonctionnement, voir la section suivante : Fin des programmes et des processus actuels.
Le premier concours sans restriction du volet Fondation aura lieu à l'été 2016, et la date limite de présentation des demandes sera à l'automne 2016. Les IRSC octroieront vraisemblablement un nombre supérieur à la moyenne de nouvelles subventions dans le cadre des trois premiers concours du volet Fondation (les deux concours pilotes et le premier concours régulier), dans le but de permettre au nouveau programme d'atteindre son régime de croisière en 2018.
Le premier concours du volet Projet sera ouvert à tous les candidats admissibles à l'hiver 2016, et la date limite de présentation des demandes sera au printemps 2016. Deux concours du volet Projet auront lieu chaque année, et les demandes se feront au printemps et à l'automne.
Fin des programmes et des processus actuels
Les IRSC reconnaissent l'importance de faire preuve de circonspection dans la gestion des répercussions de ces changements sur les titulaires de subventions financés au moyen de la série actuelle de programmes ouverts, et s'engagent à réduire les perturbations au minimum. La capacité budgétaire des IRSC à financer les nouveaux concours des volets Fondation et Projet repose sur l'élimination graduelle des investissements actuels et futurs prévus dans le cadre des mécanismes de financement ouverts déjà en place.
Programme ouvert de subventions de fonctionnement
Les IRSC organiseront encore trois concours dans le cadre du Programme ouvert de subventions de fonctionnement (au printemps 2013, à l'automne 2013 et au printemps 2014). De plus, un concours transitionnel de ce programme aura lieu parallèlement au premier concours pilote du volet Fondation (printemps 2015), ce qui permettra aux chercheurs qui ne participent pas au concours pilote de présenter une demande de financement, et à ceux qui n'ont pas été retenus à la première étape du concours du volet Fondation de présenter une demande dans le cadre du concours du Programme ouvert de subventions de fonctionnement.
Les candidats pourront s'inscrire dès octobre 2014 au concours transitionnel du Programme ouvert de subventions de fonctionnement du printemps 2015. Les IRSC devraient être en mesure d'octroyer environ 600 subventions dans le cadre de ce concours.
En raison de contraintes liées au flux de trésorerie et aux opérations, les IRSC ne pourront pas financer simultanément deux concours du Programme ouvert de subventions de fonctionnement au cours de la période de mise en place progressive. Ils n'organiseront donc aucun concours dont l'échéance serait à l'automne 2014. Les IRSC reconnaissent que cela pourrait avoir des répercussions pour les chercheurs dont la subvention de fonctionnement dans le cadre d'un concours ouvert se termine durant cette période, ainsi que pour les chercheurs non subventionnés à la recherche de financement. Des analyses sont en cours afin d'étudier les nombreuses options visant à atténuer cet effet. Les IRSC sont actuellement en pourparlers afin de déterminer la solution la plus réalisable et appropriée pour eux et pour le milieu de la recherche.
Les IRSC s'engagent à donner suffisamment de temps aux membres du milieu de la recherche pour planifier leurs demandes.
Programmes ouverts d'application des connaissances (AC)
Le nouveau volet Projet a été conçu pour éliminer les obstacles et appuyer une série de projets diversifiée, notamment des projets financés dans le cadre de programmes ouverts d'application des connaissances. Les IRSC reconnaissent l'importance du maintien de ces programmes jusqu'à la fin de la mise en œuvre du volet Projet. Ainsi, les mécanismes de financement des programmes ouverts d'application des connaissances seront éliminés de façon graduelle à compter de l'automne 2016.
Au cours de la conception des nouveaux volets projet et fondation, les IRSC ont procédé à une évaluation par programme des objectifs, des critères de sélection, des exigences de présentation des demandes et des dépenses admissibles des programmes ouverts d'application des connaissances dans le but de garantir que les projets et les programmes de recherche appuyés à l'heure actuelle par ces mécanismes de financement seront admissibles et concurrentiels dans le cadre des nouveaux volets. Un processus de surveillance sera mis en place afin de garantir que les types de projets financés par les programmes ouverts d'application des connaissances seront également financés dans les nouveaux volets.
Mise sur pied du collège des évaluateurs
La mise sur pied du collège des évaluateurs a été intégrée à la mise en œuvre des nouveaux volets de financement. Il est prévu que les vagues de recrutement au collège des évaluateurs en période de transition se dérouleront du printemps 2013 à l'année 2016. Le printemps 2013 marquera le lancement officiel du collège des évaluateurs, et les deux premières vagues influenceront les stratégies de recrutement continu. La figure ci-dessous illustre la stratégie des IRSC pour le recrutement des membres du collège des évaluateurs (figure 11).
Figure 11. Vagues de recrutement au collège des évaluateurs pendant la période de transition. Il pourrait s'avérer nécessaire de modifier l'échéancier en cours de route.
Calendrier | Description | |
---|---|---|
Vague 1 : Recrutement d'évaluateurs déjà actifs |
Printemps 2013 – 2014 |
Comprend environ 2 500 évaluateurs actifs du Programme ouvert de subventions de fonctionnement et des mécanismes ouverts de financement de l'application des connaissances et environ 1 500 évaluateurs de divers comités stratégiques. Objectif : Entre 2 500 et 3 500 recrues. |
Vague 2 : Recrutement d'évaluateurs actifs depuis peu |
Été 2013 – hiver 2014 |
Comprend des personnes qui ont mené des évaluations pour les IRSC dans les cinq dernières années, dans un ou plusieurs comités du Programme ouvert de subventions de fonctionnement, des mécanismes ouverts de financement de l'application des connaissances et des initiatives stratégiques. Objectif : Entre 1 000 et 3 000 recrues. |
Vague 3 : Recrutement d'évaluateurs ciblés |
Hiver 2013 – printemps 2015 |
Recrutement ciblé pour combler les lacunes du collège en matière d'expertise, lacunes relevées par les directeurs scientifiques, les présidents de domaine et les partenaires. |
Vague 4 : Recrutement ouvert à tous les types d'évaluateurs |
Automne 2014 et par la suite |
Recrutement ouvert à tous les types d'évaluateurs par autocandidature et mise en candidature par un tiers. |
Vague 5 : Inscription des titulaires de subventions |
Printemps 2015 et par la suite |
Inscription des titulaires de subvention dans le cadre du volet Fondation conformément aux conditions de financement. |
Chacune des vagues de recrutement sera appuyée par les politiques, les procédures et les technologies appropriées.
Appui à la transition : orientation pour les candidats et les évaluateurs
Les IRSC reconnaissent que la transition vers la nouvelle série de programmes ouverts et le nouveau processus d'évaluation par les pairs représentent un changement important pour les candidats, les évaluateurs, les établissements et les partenaires. C'est pourquoi ils veilleront en priorité à ce que le milieu de la recherche subisse le moins de perturbations possible au cours de cette période de transition. Pour ce faire, les IRSC travaillent à l'élaboration d'un programme d'orientation visant à :
- informer les candidats, les évaluateurs et les administrateurs de la recherche au sujet des nouveaux volets (objectifs, présentation de demandes, exigences, critères d'évaluation, etc.);
- aider à définir les rôles et responsabilités des membres du collège et des établissements;
- favoriser le mentorat des nouveaux évaluateurs et des évaluateurs en début de carrière.
Étant donné la répartition sur un vaste territoire des chercheurs et des évaluateurs, l'apprentissage autodirigé en ligne sera le principal mode de diffusion du programme d'orientation. Le matériel d'orientation interactif en ligne sera structuré en courts modules d'une durée maximale de cinq à dix minutes. Par ailleurs, des webinaires dirigés par un instructeur offriront un environnement interactif (échanges vocaux ou clavardage) afin de favoriser les discussions avec les participants. Les IRSC étudient également des approches visant les membres du personnel administratif des établissements qui soutiennent actuellement les chercheurs dans le processus de présentation de demandes.
Dans le cadre de leurs activités d'orientation, les IRSC fourniront des renseignements aux membres du milieu de la recherche et mettront des systèmes et des outils à leur disposition, afin de leur permettre de se familiariser avec les exigences du programme et les processus de concours. Les établissements auront également accès à ces éléments s'ils souhaitent offrir une formation ciblée sur l'utilisation des systèmes des IRSC à leurs étudiants et à leurs chercheurs.
Les IRSC continueront de s'assurer que le milieu de la recherche dispose de suffisamment de temps et de soutien pour traverser cette période de transition.
7. Conclusion
Le maintien et la consolidation de l'entreprise de recherche en santé au Canada sont un élément essentiel de la capacité du pays à innover continuellement et à demeurer concurrentiel dans le contexte actuel de mondialisation de l'économie du savoir. On assiste en ce moment à un changement de paradigme en ce qui concerne la façon dont s'effectue la recherche en santé partout dans le monde. Les collaborations multidisciplinaires, la création de réseaux et la recherche dans des domaines d'actualité deviennent rapidement la norme. Au cours des dernières années, nous avons pris conscience de la nécessité de moderniser les cadres et systèmes déjà en place afin de tirer davantage profit des forces de la recherche en santé canadienne et de mieux saisir l'évolution du paysage de la recherche en santé.
La stratégie de recherche libre des IRSC est un élément central de leur mandat. Les IRSC voient la conception de la nouvelle série de programmes ouverts et du nouveau processus d'évaluation par les pairs comme un moyen de mettre en place un système souple, durable et de haute qualité, capable de reconnaître et de soutenir l'excellence en recherche et en application des connaissances dans tous les domaines de la santé. Ces changements appuieront et accéléreront le processus déjà amorcé de transformation du paysage de la recherche en santé.
Le document de travail conceptuel publié enfévrier 2012 présentait la vision des IRSC ainsi que leur plan pour résoudre les importants problèmes actuels touchant les mécanismes de financement et le processus d'évaluation par les pairs. Le document Les IRSC à votre écoute : analyse de la rétroaction sur le document de travail conceptuel, publié enaoût 2012, présentait quant à lui les différents points de vue du milieu de la recherche à l'égard des changements proposés. Depuis, les IRSC travaillent en étroite collaboration avec divers intervenants afin de poursuivre et de peaufiner la conception.
En repensant la conception de la série de programmes ouverts, les IRSC et milieu de la recherche ont créé un système orienté vers l'avenir visant à accélérer la progression des connaissances en santé et l'amélioration de la recherche en santé, du système de soins de santé et des résultats sur la santé. Ils mènent actuellement des travaux visant à préciser les détails de la mise en œuvre et les approches pour la période de transition.
Compte tenu de l'ampleur des changements proposés, et des enseignements que nous tirerons des résultats des projets pilotes, il faudra peut-être rectifier le tir et modifier l'échéancier de mise en œuvre en cours de route. Maintenant que se termine l'étape de conception de la nouvelle série de programmes ouverts et du processus d'évaluation par les pairs, les IRSC invitent le milieu de la recherche à se joindre à eux pour la mise en œuvre d'un cadre de financement durable, qui sera en mesure de reconnaître et de soutenir l'excellence dans tous les domaines relevant du mandat des IRSC.
Les IRSC continueront d'informer et de faire participer le milieu de la recherche au cours de la mise en œuvre de la nouvelle série de programmes ouverts et du nouveau processus d'évaluation par les pairs.
Annexe A : Version préliminaire de la feuille de travail du processus de sélection pour le volet Projet
Titre :
Candidat :
Directives
- Étape 1 – Évaluer chacun des critères en fonction de l'échelle de sélection et indiquer de trois à cinq forces ou faiblesses en abrégé à l'endroit prévu.
- Étape 2 – Proposer une évaluation globale tenant compte de tous les critères.
Échelle de sélection
- A - Pour ce sous-critère, la demande fait preuve d'excellence à l'égard de la plupart ou de la totalité des aspects pertinents.
- B - Pour ce sous-critère, la demande fait preuve d'excellence à l'égard d'une bonne partie des aspects pertinents, et se révèle acceptable à l'égard de tous les autres.
- C - Pour ce sous-critère, la demande fait preuve d'excellence à l'égard de quelques aspects pertinents et se révèle acceptable à l'égard de tous les autres.
- D - Pour ce sous-critère, la demande se révèle acceptable à l'égard de tous les aspects pertinents, mais ne fait preuve d'excellence à l'égard d'aucun d'entre eux.
- E - Pour ce sous-critère, la demande ne présente pas d'arguments suffisamment convaincants ou comprend des lacunes ou des failles importantes.
Lorsqu'ils évaluent une demande, les pairs évaluateurs doivent tenir compte du domaine, de l'étape de la carrière et du contexte institutionnel des candidats.
Critère 1 : Concept
Les sous-critères suivants s'appliquent à l'évaluation du concept :
Qualité de l'idée (A, B, C, D ou E)
- Le but global et les objectifs du projet sont-ils clairs et suffisamment détaillés?
- L'idée s'appuie-t-elle sur une intégration logique des concepts?
- Les résultats potentiels sont-ils décrits clairement?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Importance de l'idée (A, B, C, D ou E)
- Les résultats proposés ont-ils le potentiel de faire progresser les connaissances ou d'apporter une contribution à la recherche en santé, au système de soins de santé ou à la santé?
- Combleront-ils une lacune ou un besoin important?
- Auront-ils une influence positive importante ou durable?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Critère 2 : Faisabilité
Les sous-critères suivants s'appliquent à l'évaluation de la faisabilité, donc du potentiel de réussite de la mise en œuvre et du potentiel du projet d'avoir un impact important et durable :
Approche (A, B, C, D ou E)
- Les objectifs et les jalons du projet sont-ils réalistes et réalisables?
- Les principales approches et méthodes permettent-elles de maximiser la probabilité que :
- les objectifs du projet soient atteints?
- le projet entraîne des répercussions ou des avantages potentiels?
- L'approche fait-elle état des problèmes potentiels et des stratégies d'atténuation appropriées?
- L'approche prévoit-elle des stratégies ou des méthodes appropriées de recherche ou d'application des connaissances?
- L'équipe disposera-t-elle des ressources financières nécessaires pour mener le projet à terme?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Expertise (A, B, C, D ou E)
- Le projet bénéficie-t-il d'un leadership suffisamment solide et démontre-t-il la combinaison d'expertise et d'expérience nécessaire pour maximiser la probabilité que :
- les objectifs du projet soient atteints?
- le projet entraîne les répercussions ou les avantages potentiels proposés?
- Le cas échéant, les rôles et responsabilités de tous les membres de l'équipe sont-ils clairement définis et appropriés?
- Le cas échéant, le degré de participation ou d'engagement financier (ou autre) des principaux collaborateurs de recherche ou utilisateurs des connaissances est-il approprié?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Qualité de l'environnement (A, B, C, D ou E)
- L'équipe a-t-elle un accès suffisant au personnel, aux installations, aux infrastructures et aux autres ressources nécessaires pour mener le projet à bien?
- L'environnement (institutionnel ou autre) convient-il au projet proposé?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Recommandations à propos du budget
Les évaluateurs doivent examiner le budget proposé du programme de recherche et émettre une recommandation justifiée déterminant si ce budget devrait être :
- accepté tel que décrit par le candidat;
- réduit.
Notons que les recommandations à propos du budget ne font pas partie de la cote globale de la demande; elles visent plutôt à influencer le niveau de financement et à informer le candidat.
Recommandations à propos du budget
- Les ressources demandées sont-elles suffisantes pour soutenir le projet (réalistes et bien justifiées), si l'on tient compte des autres sources de financement, le cas échéant?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Recommandation :
___ Je recommande le budget proposé, tel que décrit par le ou les candidats.
___ Je recommande que le budget proposé soit réduit pour passer à ________ $ par année.
Évaluation globale
Soumettre un résumé de l'évaluation globale de la demande, en fonction de votre compréhension de l'objectif du projet.
Annexe B : Version préliminaire de la feuille de travail du processus de sélection pour le volet Fondation
Étape 1
Candidat :
Titre :
Directives
- Étape 1 – Évaluer chacun des critères en fonction de l'échelle de sélection et indiquer de trois à cinq forces ou faiblesses en abrégé à l'endroit prévu.
- Étape 2 – Proposer une évaluation globale tenant compte de tous les critères.
Échelle de sélection
- A - Pour ce sous-critère, la demande fait preuve d'excellence à l'égard de la plupart ou de la totalité des aspects pertinents.
- B - Pour ce sous-critère, la demande fait preuve d'excellence à l'égard d'une bonne partie des aspects pertinents, et se révèle acceptable à l'égard de tous les autres.
- C - Pour ce sous-critère, la demande fait preuve d'excellence à l'égard de quelques aspects pertinents et se révèle acceptable à l'égard de tous les autres.
- D - Pour ce sous-critère, la demande se révèle acceptable à l'égard de tous les aspects pertinents, mais ne fait preuve d'excellence à l'égard d'aucun d'entre eux.
- E - Pour ce sous-critère, la demande ne présente pas d'arguments suffisamment convaincants ou comprend des lacunes ou des failles importantes.
Lorsqu'ils évaluent une demande, les pairs évaluateurs doivent tenir compte du domaine, de l'étape de la carrière et du contexte institutionnel des candidats.
Critère 1 : Vision ou orientation du programme
Vision/Orientation du programme (A, B, C, D ou E)
- La vision et les objectifs globaux du programme de recherche proposé sont-ils bien énoncés?
- La vision est-elle orientée vers l'avenir, créative et suffisamment ambitieuse?
- La vision a-t-elle pour objectif de faire progresser de façon significative les connaissances, la recherche en santé, le système de soins de santé et/ou les résultats sur la santé?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Critère 2 : Calibre des candidats
Leadership en recherche (A, B, C, D ou E)
- Le ou les candidats (chefs de programme) démontrent-ils un leadership ou un leadership conjoint clair et efficace à l'égard de :
- la mise sur pied et la direction d'un programme de recherche, ainsi que l'obtention des ressources?
- la gestion d'activités de mentorat, de formation et d'application des connaissances ainsi que des collaborations?
- la reconnaissance et l'influence qu'ils ont dans leur domaine de recherche, notamment en ce qui concerne la progression du domaine et la formation de réseaux ou de communautés?
Remarque : Pour les programmes ayant plusieurs chefs, examiner également les aspects susmentionnés dans le contexte des travaux conjoints antérieurs des chefs du programme.
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Productivité (A, B, C, D ou E)
- D'après leurs travaux antérieurs, le ou les candidats (chefs de programmes) ont-ils démontré un excellent niveau de résultats de recherche?
- Les travaux antérieurs du ou des candidats ont-ils produit des résultats de recherche de grande qualité?
Remarque : Pour les programmes ayant plusieurs chefs, examiner également les aspects susmentionnés dans le contexte des travaux conjoints antérieurs des chefs du programme.
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Importance des contributions (A, B, C, D ou E)
- Le ou les candidats ont-ils fait progresser de façon notable les connaissances, la recherche en santé, le système de soins de santé ou les résultats sur la santé?
- Le ou les candidats (chefs de programme) ont-ils fait l'embauche, assuré la formation ou lancé la carrière de personnes exceptionnelles en recherche ou dans d'autres domaines non universitaires liés à la santé?
Remarque : Pour les programmes ayant plusieurs chefs, l'examen des contributions importantes doit également tenir compte des travaux conjoints antérieurs des chefs du programme.
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Évaluation globale
Soumettre un résumé de l'évaluation globale de la demande, en fonction de votre compréhension de la portée du programme de recherche.
Étape 2
Candidat :
Titre :
Directives
- Étape 1 – Évaluer chacun des critères en fonction de l'échelle de sélection et indiquer de trois à cinq forces ou faiblesses en abrégé à l'endroit prévu.
- Étape 2 – Proposer une évaluation globale tenant compte de tous les critères.
Échelle de sélection
- A - Pour ce sous-critère, la demande fait preuve d'excellence à l'égard de la plupart ou de la totalité des aspects pertinents.
- B - Pour ce sous-critère, la demande fait preuve d'excellence à l'égard d'une bonne partie des aspects pertinents, et se révèle acceptable à l'égard de tous les autres.
- C - Pour ce sous-critère, la demande fait preuve d'excellence à l'égard de quelques aspects pertinents et se révèle acceptable à l'égard de tous les autres.
- D - Pour ce sous-critère, la demande se révèle acceptable à l'égard de tous les aspects pertinents, mais ne fait preuve d'excellence à l'égard d'aucun d'entre eux.
- E - Pour ce sous-critère, la demande ne présente pas d'arguments suffisamment convaincants ou comprend des lacunes ou des failles importantes.
Lorsqu'ils évaluent une demande, les pairs évaluateurs doivent tenir compte du domaine, de l'étape de la carrière et du contexte institutionnel des candidats.
Critère 1 : Qualité du programme de recherche
Idée de recherche (A, B, C, D ou E)
- Les buts et les objectifs du programme proposé sont-ils bien énoncés?
- Le programme de recherche fait-il preuve de cohérence conceptuelle?
- Les résultats potentiels du programme sont-ils importants? Ont-ils des chances de faire progresser de façon notable les connaissances, la recherche en santé, le système de soins de santé ou les résultats sur la santé?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Approche de recherche (A, B, C, D ou E)
- L'approche et les activités principales permettront-elles d'atteindre les objectifs du programme qui ont été proposés?
- L'approche prévoit-elle des stratégies ou des méthodes appropriées de recherche ou d'application des connaissances?
- L'approche prévoit-elle une certaine souplesse d'orientation au fil de l'évolution du programme?
- L'approche fait-elle état des problèmes potentiels et des stratégies d'atténuation appropriées?
- L'approche comprend-elle un plan ou un cadre permettant de mesurer les progrès et la réussite?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Critère 2 : Capacité de recherche
Expertise (A, B, C, D ou E)
- Le ou les candidats (chefs de programme) détiennent-ils l'expertise et l'expérience pertinente nécessaires pour diriger le programme de recherche et permettre l'atteinte des objectifs et la production des avantages potentiels?
- La combinaison et le degré de participation ou d'engagement (en argent ou en nature) des collaborateurs de recherche ou des utilisateurs des connaissances sont-ils suffisants pour permettre l'atteinte des objectifs du programme de recherche?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Mentorat (A, B, C, D ou E)
- Le programme de recherche comprend-il un plan complet prévoyant le recrutement, la formation et le mentorat de stagiaires, de nouveaux chercheurs et de chercheurs en début de carrière qui souhaitent faire carrière en recherche ou dans d'autres domaines non universitaires liés à la santé?
- Les activités, les projets et les mentors proposés sont-ils appropriés?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Critère 3 : Qualité de l'environnement de soutien
Qualité de l'environnement (A, B, C, D ou E)
- Le ou les établissements d'accueil du ou des candidats (chefs de programme) se sont-ils engagés de façon suffisamment claire à faciliter la réussite à long terme des diverses composantes du programme de recherche?
- Chaque établissement (ou environnement autre) est-il approprié pour mener les recherches, la formation et l'application des connaissances proposées, et pour exercer d'autres activités pertinentes?
- L'équipe a-t-elle un accès suffisant au personnel, aux installations et aux infrastructures nécessaires pour appuyer le programme de recherche proposé?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Recommandations à propos du budget
Les évaluateurs doivent examiner le budget proposé du programme de recherche et émettre une recommandation justifiée déterminant si ce budget devrait être :
- accepté tel que décrit par le candidat;
- réduit.
Notons que les recommandations à propos du budget ne font pas partie de la cote globale de la demande; elles visent plutôt à influencer le niveau de financement et à informer le candidat.
Recommandations à propos du budget
- Les ressources demandées sont-elles suffisantes pour soutenir le projet (réalistes et bien justifiées), si l'on tient compte des autres sources de financement, le cas échéant?
- Le budget annuel tient-il compte du potentiel d'évolution du programme?
Forces : [Entrer le texte en format libre ou en abrégé]
Faiblesses : [Entrer le texte en format libre ou en abrégé]
Recommandation :
___ Je recommande le budget proposé, tel que décrit par le ou les candidats.
___ Je recommande que le budget proposé soit réduit pour passer à ________ $ par année.
Évaluation globale
Soumettre un résumé de l'évaluation globale de la demande, en fonction de votre compréhension de la portée du programme.
Annexe C : Modélisation financière de la nouvelle série de programmes ouverts
Les IRSC financent actuellement environ 3 000 chercheurs principaux désignés dans le cadre de leur série de programmes ouverts. Ils ont l'intention de financer un nombre semblable de chercheurs principaux désignés au cours de la période de transition. Avec un budget annuel d'environ 500 millions de dollars, et compte tenu du nombre de subventions dans chaque volet et de la durée et du montant moyens des subventions, les IRSC prévoient affecter 45 % de leur budget de financement ouvert au volet Fondation et 55 % au volet Projet (tableau C1).
% (Fondation:Projet) des 500 M$ en fonds disponibles pour les programmes ouverts | ||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Allocation budgétaire prévue pour les subventions du volet Fondation par rapport aux subventions du volet Projet par année (en M$) | 10:90 | 20:80 | 30:70 | 40:60 | 50:50 | 60:40 | 70:30 | 80:20 | 90:10 | 45:55 | 55:45 | |||||||||||
50 | 450 | 100 | 400 | 150 | 350 | 200 | 300 | 250 | 250 | 300 | 200 | 350 | 150 | 400 | 100 | 450 | 50 | 225 | 275 | 275 | 225 |
Nombre visé de subventions par rapport au nombre de CPD (en régime de croisière) | ||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
10:90 | 20:80 | 30:70 | 40:60 | 50:50 | 60:40 | 70:30 | 80:20 | 90:10 | 45:55 | 55:45 | ||||||||||||
Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | |
Volet Fondation | 166 | 166 | 333 | 333 | 500 | 500 | 666 | 666 | 833 | 833 | 1 000 | 1 000 | 1 166 | 1 166 | 1 333 | 1 333 | 1 500 | 1 500 | 750 | 750 | 916 | 916 |
Volet Projet | 3 600 | 3 428 | 3 200 | 3 047 | 2 800 | 2 666 | 2 400 | 2 285 | 2 000 | 1 904 | 1 600 | 1 523 | 1 200 | 1 142 | 800 | 761 | 400 | 380 | 2 200 | 2 095 | 1 800 | 1 714 |
Total | 3 766 | 3 594 | 3 533 | 3 380 | 3 300 | 3 166 | 3 066 | 2 951 | 2 833 | 2 737 | 2 600 | 2 523 | 2 366 | 2 308 | 2 133 | 2 094 | 1 900 | 1 880 | 2 950 | 2 845 | 2 716 | 2 630 |
Nombre de nouvelles subventions par année par rapport au nombre de CPD (en régime de croisière) | ||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
10:90 | 20:80 | 30:70 | 40:60 | 50:50 | 60:40 | 70:30 | 80:20 | 90:10 | 45:55 | 55:45 | ||||||||||||
Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | Subv. | CPD | |
Volet Fondation | 25 | 25 | 50 | 50 | 75 | 75 | 101 | 101 | 126 | 126 | 152 | 152 | 176 | 176 | 202 | 202 | 228 | 228 | 114 | 114 | 139 | 139 |
Volet Projet | 1 540 | 1 464 | 1 367 | 1 301 | 1 196 | 1 139 | 1 026 | 975 | 854 | 812 | 682 | 649 | 513 | 487 | 340 | 323 | 169 | 161 | 939 | 894 | 770 | 870 |
Total | 1 565 | 1 489 | 1 417 | 1 351 | 1 271 | 1 214 | 1 127 | 1 076 | 980 | 938 | 834 | 801 | 689 | 663 | 542 | 525 | 397 | 389 | 1 053 | 1 008 | 909 | 1 009 |
Volet Fondation
Les subventions du volet Fondation seraient d'une durée de sept ans (chercheurs établis) ou de cinq ans (nouveaux chercheurs ou chercheurs en début de carrière), avec une valeur moyenne pondérée d'environ 300 000 $ par année. Compte tenu du budget annuel prévu de 225 millions de dollars pour le volet Fondation et du ratio d'une subvention de cinq ans pour cinq subventions de sept ans (durée moyenne de 6,7 ans), le nombre de nouvelles subventions par année accordées dans le cadre du volet Fondation serait d'environ 114, pour un total d'environ 750 subventions de fondation en régime de croisière (tableau C2).
Durée de la subventioni | Total | ||
---|---|---|---|
5 ans | 7 ans | ||
Ratio en régime de croisière | 1 | 5 | |
|
|||
Total en régime de croisière | 125 | 625 | 750 |
Nombre moyen de nouvelles subventions par année | 25 | 89 | 114 |
Volet Projet
La plupart des subventions du volet Projet auraient une durée de trois ou cinq ans, et leur valeur moyenne pondérée serait d'environ 125 000 $ par année. Les IRSC prévoient que le tiers des subventions du volet Projet seront d'une durée de un ou deux ans. Compte tenu du budget annuel prévu de 275 millions de dollars pour le volet Projet et des ratios des subventions de différentes durées, le nombre de nouvelles subventions par année dans le cadre du volet Projet sera d'environ 939, pour un total d'environ 2 200 subventions en régime de croisière (tableau C3).
Durée de la subventioni | Total | ||||
---|---|---|---|---|---|
1 an | 2 ans | 3 ans | 5 ans | ||
Ratio en régime de croisière | 1 | 1 | 2 | 2 | |
|
|||||
Total en régime de croisière | 366 | 366 | 733 | 733 | 2 200 |
Nombre moyen de nouvelles subventions par annéeii | 366 | 183 | 244 | 146 | 939 |
Annexe D : Aperçu du plan de recherche
En repensant la conception de la série de programmes ouverts et du processus d'évaluation par les pairs, les IRSC ont remarqué qu'il manquait d'ouvrages sur l'évaluation par les pairs et ont constaté des lacunes dans leurs propres données portant sur les demandes, l'évaluation par les pairs et le financement. Au cours du processus, le milieu de la recherche des IRSC a également souligné l'importance de la validation des changements proposés au moyen d'analyses des données, d'études pilotes et de la mise à l'essai des nouveaux systèmes, afin d'assurer que les décisions au sujet des modifications proposées sont appuyées par des données probantes.
Les IRSC ont donc élaboré un plan de recherche visant à mettre en place un processus d'évaluation par les pairs qui appuie le mieux possible la prise de décisions relatives au financement dans le contexte des objectifs des mécanismes de financement des IRSC. Le plan de recherche a été conçu dans le but de :
- mieux comprendre les subtilités de l'évaluation par les pairs;
- démontrer et valider des solutions aux problèmes relevés concernant l'évaluation par les pairs;
- améliorer la mesure, la surveillance et l'évaluation de façon continue du rendement du processus d'évaluation par les pairs et des programmes de financement;
- informer le milieu de la recherche des IRSC des activités et des conclusions du plan de recherche.
En plus des études pilotes à court terme décrites dans le document conceptuel, les IRSC ont commencé à mettre en place des projets de recherche à long terme visant l'évaluation des caractéristiques du nouveau processus d'évaluation par les pairs, notamment la fiabilité, l'uniformité et l'équité (tableau D1).
Projets de recherche à long terme | |
---|---|
Projet de recherche no 1 : Processus de concours en plusieurs étapes – reproductibilité et fiabilité | Cette étude évaluera la reproductibilité et la fiabilité des décisions de présélection de l'évaluation par les pairs à chaque étape du processus de concours. Elle comprendra l'évaluation continue du processus d'évaluation et s'inscrira dans le cadre de l'amélioration continue de la série de programmes ouverts et de l'évaluation par les pairs. |
Projet de recherche no 2 : Comportement des évaluateurs – détermination de l'équité | Cette étude effectuera un suivi du classement des demandes établi par les pairs évaluateurs afin de déterminer si le processus d'examen demeure équitable tout au long de la mise en œuvre et du déploiement des volets Fondation et Projet. Elle se penchera sur le processus d'évaluation par les pairs lui-même, notamment le lien entre le classement des demandes dans différents domaines de recherche et selon divers facteurs, comme la langue, le sexe ou l'étape de la carrière. |
Les IRSC maintiennent leur engagement à mettre à l'essai et à évaluer rigoureusement divers aspects des réformes et à examiner la possibilité d'étudier la faisabilité et la fonctionnalité des éléments conceptuels proposés. Ils ont l'intention d'user de circonspection pour évaluer leur réussite et déterminer des possibilités d'ajustements et d'améliorations du système, au besoin.
- Les IRSC définissent un utilisateur de connaissances comme une personne susceptible d'utiliser les connaissances issues de la recherche pour prendre des décisions éclairées au sujet de politiques, de programmes ou de pratiques en matière de santé, ou d'autres utilisateurs finaux des connaissances comme ceux du secteur privé.
- Date de modification :