Recommandations du groupe de travail sur l’évaluation par les pairs pour le concours de subventions Projet des IRSC

Les candidats seront autorisés à présenter un maximum de deux demandes à chaque concours de subventions Projet.

• Les candidats pourront présenter un maximum de deux demandes par concours de subventions Projet en tant que candidats principaux désignés (CPD).

Cette décision vise à alléger le fardeau pour les évaluateurs (bien que la plupart des candidats n’aient présenté qu’une ou deux demandes, certains CPD en ont présenté plus, dont un qui en a présenté sept lors du dernier concours de subventions Projet). Cependant, nous savons que certains chercheurs peuvent avoir besoin de renouveler plus d’une subvention; nous avons donc trouvé qu’une limite de deux demandes par concours était raisonnable.

Le nombre limite de pages sera porté à 10 (figures et tableaux compris) par demande, et les candidats pourront joindre un nombre illimité de documents, comme des références et des lettres d’appui.

• Les demandes de subventions Projet contiendront 10 pages (incluant les graphiques et les tableaux).
• Ces 10 pages seront de format libre (non imposé); les candidats pourront donc choisir comment aborder les critères d’évaluation.
• Les candidats pourront joindre un nombre illimité de références et de lettres d’appui.
• Les demandes seront évaluées en fonction des critères suivants : « importance et impact de la recherche » (25 % de la note finale); « approche et méthodes » (50 % de la note finale); « expertise, expérience et ressources » (25 % de la note finale).
• Le CV commun (CVC) pour les demandes de subventions Projet inclura les articles publiés depuis les sept dernières années et les candidats pourront télécharger un document PDF s’ils ont pris des congés au cours des sept dernières années.
• Une réfutation d’une page sera aussi incluse dans la structure révisée pour donner au candidat la possibilité d’expliquer comment la demande a été améliorée depuis la dernière demande.

Nous avons reçu beaucoup de rétroaction sur ce point : certains candidats ne voulaient aucun changement à la structure de la demande, car ils se croyaient sur le point d’obtenir du financement, tandis que d’autres voulaient jusqu’à 12 pages. Par ailleurs, d’autres pensaient qu’une demande de 12 pages représentait un changement trop radical, car le délai pour préparer une toute nouvelle demande n’est pas optimal. Il est aussi important de noter que beaucoup d’évaluateurs appréciaient les demandes courtes, mais croyaient néanmoins avoir besoin de plus d’information. Dans l’ensemble, une demande de 10 pages tient compte des besoins des évaluateurs et des candidats.

Il est impossible d’ajouter des renseignements sur les congés au CVC dans sa forme actuelle, mais les candidats pourront télécharger un document PDF (nombre de pages illimité) comme supplément. Ils pourront y indiquer des renseignements pour une période équivalente aux congés pris dans les sept dernières années. (p. ex. congé parental, de deuil, médical ou administratif). Ainsi, un candidat qui a pris un congé de maternité ou parental d’un an au cours des sept dernières années pourra télécharger un document PDF détaillant un an de financement et de publications au-delà de la limite de sept ans.

La rédaction d’une réfutation est un exercice intellectuel important, et le groupe a jugé bon de l’intégrer au processus du concours.

Les présidents seront désormais jumelés à des agents scientifiques. Ils gèreront ensemble un bloc de demandes et aideront les IRSC à s’assurer que toutes les demandes sont assignées à des évaluateurs hautement compétents.

• Mise à jour : L’assignation des évaluateurs sera approuvée par les présidents et les agents scientifiques. De plus, ils pourront ajouter ou retirer des évaluateurs une fois que ceux-ci auront rempli la nouvelle déclaration sur les conflits d’intérêts et la capacité d’évaluer pour un groupe de demandes.
• Les candidats peuvent faire des recommandations quant aux types d’expertise requis pour évaluer leur demande.

Le groupe de travail tient à ce que cette intervention humaine ait lieu tôt dans le processus pour garantir que chaque demande est assignée aux bons experts.

En plus de menus déroulants de mots clés, le groupe de travail a recommandé que les candidats aient la possibilité d’utiliser une boite de texte « Autre » dans RechercheNet pour faire des recommandations quant aux types d’expertise nécessaires pour évaluer leur proposition et souligner des nuances propres à leur milieu de recherche, au besoin. Le groupe croit qu’il est important que les présidents et les agents scientifiques reçoivent ces renseignements dans le cadre du processus de jumelage de l’expertise afin de mieux évaluer la pertinence des jumelages entre les demandes et les évaluateurs. Remarque : Des directives seront ajoutées dans RechercheNet.

Chaque demande fera l’objet de quatre ou cinq évaluations à la première étape.

• Chaque demande sera assignée à quatre (4) évaluateurs à l’étape 1.

Les membres du groupe de travail ont beaucoup discuté et débattu du bienfondé d’avoir quatre évaluateurs plutôt que cinq, et ont même envisagé de faire descendre ce nombre à trois. Le groupe a toutefois conclu que trois évaluateurs ne suffiraient pas, étant donné la possibilité que l’un d’entre eux ne soumette pas son évaluation, auquel cas la demande ne recevrait que deux évaluations. L’assignation de quatre évaluateurs offre un équilibre entre la charge de travail des évaluateurs et la prise de décisions de haute qualité. Le groupe croit qu’il s’agit d’un nombre gérable – surtout si on tient compte des nouvelles mesures de supervision mises en place pour garantir une évaluation de qualité.

Les candidats peuvent désormais être évaluateurs à l’étape 1 du concours. Toutefois, ils ne peuvent participer à l’évaluation du bloc de demandes dont leur propre demande fait partie.

• Résultat adopté.

Cette mesure permettra d’agrandir le bassin de pairs évaluateurs sans compromettre la qualité et l’équité.

La discussion en ligne asynchrone ne fera plus partie du processus de l’étape 1.

• Résultat adopté.

La discussion en ligne asynchrone a été retirée du processus du concours.

Les IRSC reviendront à un système de notation numérique (qui remplacera le système alphabétique actuel) pour faciliter le classement des demandes du concours de subventions Projet.

• Au lieu du système alphabétique (E+, O++), chacun des trois critères sera évalué sur une échelle de 101 points. Les demandes recevront une note totale entre 0 et 100 (en fonction de la pondération des critères).
• Les commentaires des évaluateurs pour l’étape 1 seront présentés dans une seule boite de texte en format libre (plutôt que dans des boites distinctes pour les forces et faiblesses de chaque critère). Il y aura aussi une boite de texte à part dans laquelle les évaluateurs résumeront la demande.

Il a été convenu que le système alphabétique causait des problèmes, mais l’ancienne échelle de 0 à 4,9 avait aussi ses faiblesses. Le groupe de travail est arrivé à la conclusion qu’une échelle de 0 à 100 augmenterait la transparence et clarifierait le processus pour les intervenants, y compris le public et le milieu de la recherche. Il est également important que le public et la source de financement gouvernementale comprennent qu’il arrive que des candidats ayant des notes très élevées ne reçoivent pas de financement parce que les fonds sont limités. Une note de 4,3, par exemple, signifiait peu pour le public ou les fonctionnaires.

Un certain nombre d’évaluateurs nous ont dit que le format d’évaluation structuré du dernier concours de subventions Projet les empêchait de fournir des commentaires cohérents. Les évaluateurs devront encore aborder les forces et les faiblesses de chaque demande, mais ils n’auront plus à le faire séparément, ce qui leur permettra de discuter plus librement de chaque demande. Les membres du groupe de travail ont convenu que la rédaction de résumés était importante pour les évaluateurs (qui démontrent ainsi qu’ils ont lu et compris la demande).

Environ 40 % des demandes évaluées à l’étape 1 passeront à l’étape 2, où elles seront évaluées au cours de réunions en personne à Ottawa.

• Résultat adopté.
• Le groupe de travail a recommandé que les 60 % restants soient examinés par les présidents et les AS pour garantir une évaluation adéquate.

Nous sommes conscients du malaise que suscite au sein de la communauté le fait que les demandes ne fassent pas toutes l’objet de discussions en personne, mais en raison du volume considérable de demandes attendues, nous avons conclu qu’il serait impossible pour les comités réunis en personne de discuter de toutes les demandes.

Seront évaluées à l’étape 2 les demandes les mieux notées et celles dont les notes s’écartent de façon marquée.

• Résultat adopté.

• Mise à jour : Le groupe de travail recommande l’adoption d’un processus selon lequel environ 30 % des demandes les mieux classées dans l’ensemble des blocs plus environ 30 % des demandes les mieux classées dans chaque bloc passeraient à l’étape 2. On recommande cette façon de faire jusqu’à ce que les données recueillies pendant le prochain concours de subventions Projet puissent éclairer cette stratégie de classement et régler la question des candidats qui remplissent aussi le rôle d’évaluateurs. Les autres demandes qui passeront à l’étape 2 comprendront celles dont les notes s’écartent de façon marquée, celles qui ont été désignées par le président du concours et celles qui ont les meilleures notes parmi leur bloc. Toutefois, la composition finale des demandes faisant partie du 40 % qui reste dépendra de l’ensemble des demandes présentées.

Il est important que les demandes jugées comme étant les plus prometteuses puissent faire l’objet d’une discussion détaillée lors d’une rencontre en personne pour garantir que les meilleurs projets sont financés. Le groupe de travail trouvait important de s’assurer que les subventions passent à l’étape suivante, qu’elles fassent partie des demandes les mieux classées dans un ou dans l’ensemble des blocs. Cela permettra aux IRSC d’évaluer laquelle des règles de passage à l’étape suivante conviendra le mieux pour décider des demandes dont on recommandera ultimement le financement.

Nous recommandons que les IRSC analysent la capacité de prédiction du classement entre les blocs et dans les blocs sur le classement final ou le statut final.

Les présidents travailleront avec les IRSC pour former des comités dynamiques, en fonction de la teneur des demandes qui passent à l’étape 2.

• Résultat adopté.

Le groupe de travail a convenu que la mise sur pied de comités en fonction de chaque concours assurerait la flexibilité du modèle d’évaluation. Ses membres étaient à l’aise avec un modèle prévoyant la création d’environ 20 à 30 comités à l’étape 2, selon le volume de demandes de chaque concours.

Les demandes qui passent à la réunion en personne de l’étape 2 seront évaluées par trois membres du comité. Un système de classement pour l’ensemble des comités réunis en personne sera établi afin de garantir que les demandes de la plus haute qualité continuent d’être financées.

• Mise à jour : Le groupe de travail recommande de ne pas faire appel à trois membres du comité, mais plutôt de faire participer deux des quatre évaluateurs de l’étape 1 aux réunions en personne de l’étape 2, qui rassemblent à Ottawa les comités associés à un bloc de demandes. Ces évaluateurs devront présenter leur propre évaluation et celle des deux autres évaluateurs de l’étape 1.
• Afin d’accroitre la responsabilisation, le nom des évaluateurs apparaitra sur leurs évaluations jusqu’à l’étape de l’évaluation finale.
• De plus, le groupe a recommandé le classement des demandes par blocs et non le classement au-delà d’un même comité pour l’étape 2.

Afin de réduire au minimum le parti pris, le choix des deux évaluateurs par demande qui participent à l’étape 2 sera fait en fonction de l’expertise recherchée et non du résultat de l’évaluation de la demande à l’étape 1. En d’autres termes, le processus de sélection sera indépendant de la note attribuée à la demande par l’évaluateur.

Nous croyons qu’il sera important d’informer les évaluateurs, dès qu’on leur propose leur rôle, qu’ils pourraient être choisis pour participer aux réunions en personne. De plus, les noms des évaluateurs à l’étape 1 et leur évaluation seront accessibles durant les réunions en personne. Selon nous, cette approche favorisera la responsabilisation de l’évaluateur au cours des deux étapes du processus.

Le groupe de travail reconnait que certains membres du milieu de la recherche s’inquiètent du fait que les demandes risquent de ne pas être vues par suffisamment d’évaluateurs à la réunion et qu’il pourrait être désavantageux de faire participer seulement deux évaluateurs à l’étape 2. Toutefois, on s’attend à ce que les évaluateurs invités à l’étape suivante représentent tous les évaluateurs, et que le président et l’AS soient aussi appelés à jouer un rôle dans le processus. C’est pourquoi nous recommandons qu’après le cycle de subventions de l’automne, les IRSC analysent les décisions finales de financement par rapport au classement des quatre évaluateurs initiaux et des deux évaluateurs à l’étape des discussions en personne.

La majorité des membres étaient d’avis que la façon la plus juste de procéder, compte tenu du financement disponible limité, était d’accorder la même proportion de subventions dans chaque bloc.

À la suite des commentaires formulés par le conseil scientifique des IRSC, le groupe a aussi tenu compte du fait que les réunions en personne engendrent des dépenses et que d’inviter des évaluateurs seulement pour une ou deux demandes n’était pas prudent.

• Les titulaires de subventions des IRSC seront fortement encouragés à faire des évaluations s’ils y sont invités. Le groupe de travail croit qu’il est important que les récipiendaires de subventions contribuent au processus. Les présidents du collège poursuivront cette discussion.
• Tenir une rencontre en personne de tous les présidents et agents scientifiques à l’automne. Le groupe de travail a accepté les critères de sélection proposés pour choisir les présidents. Nous pensons aussi qu’il est approprié que les présidents aident à choisir les agents scientifiques, mais nous recommandons que les IRSC rassemblent tout le monde. Les IRSC évaluent la faisabilité de tenir cette rencontre pour le concours de 2016.
• Rendre la formation sur l’évaluation par les pairs obligatoire pour tous les évaluateurs. La formation – qui comprend un module sur les préjugés inconscients – devrait être une exigence pour tous les évaluateurs, y compris les chercheurs chevronnés, les présidents et les agents scientifiques.
• Inviter les chercheurs en début de carrière à observer les rencontres d’évaluation par les pairs en personne de l’étape 2. Les présidents du collège des évaluateurs ont fait du mentorat des chercheurs en début de carrière une priorité. Ils travailleront donc avec les IRSC pour trouver des occasions de mentorat – dont l’observation du processus d’évaluation par les pairs – et discuteront de la possibilité d’utiliser le concours de subventions Projet à cette fin, que ce soit dans le cadre du concours de cet automne ou plus tard.

• Considérer une multitude de mécanismes qui pourraient garantir l’équité entre les candidats à différents stades de carrière et les candidats de sexes différents. Le groupe de travail sur l’évaluation par les pairs a fortement recommandé aux IRSC de poursuivre cette conversation avec son conseil scientifique. Tous étaient d’accord pour dire que ce sujet important nécessiterait une analyse et une consultation plus approfondies, et ce, pour tous les programmes de financement des IRSC.
• Le groupe de travail a unanimement approuvé la proposition d’équilibrer le taux de financement des chercheurs en début de carrière pour le programme de subventions Projet. Équilibrer le taux de financement veut dire s’assurer que le taux de financement des chercheurs en début de carrière à un concours correspond aux taux de financement général pour le concours. Le groupe de travail a recommandé que les 30 millions de dollars supplémentaires obtenus dans le dernier budget servent à cela, comme ce fut le cas pour les fonds supplémentaires utilisés pour le premier concours de subventions Projet.
• Diffuser les données appropriées relatives au concours de subventions Projet de l’automne 2016, après l’annonce des résultats. Le groupe de travail a conseillé aux IRSC de diffuser publiquement les données relatives au concours non seulement pour faire preuve de transparence, mais aussi pour que les IRSC puissent utiliser ces données dans leur prise de décisions importantes.
• Adapter les exigences du CVC pour les cocandidats en milieu non universitaire et les cocandidats d’établissements universitaires étrangers. Nous avons reçu un certain nombre de commentaires de la communauté sur l’utilisation du CVC pour les cocandidats non universitaires et non canadiens, particulièrement en ce qui concerne le fardeau qui leur est imposé. Le groupe de travail a proposé que ces candidats puissent télécharger d’autres documents, plutôt que d’utiliser le CVC. Un plan sera créé pour régler cette question en vue du concours du printemps 2017.
• Intégrer entre les étapes 1 et 2 un mécanisme par lequel les candidats pourront réagir aux commentaires des évaluateurs. Pour les demandes passant à l’étape 2, le groupe de travail a proposé de donner aux candidats la possibilité de présenter une réponse d’une page aux commentaires des évaluateurs; celle-ci pourrait ensuite être utilisée dans le cadre des délibérations de l’étape 2. Cette proposition sera étudiée plus en profondeur en vue d’une mise en œuvre pour le concours du printemps 2017.
• Les discussions et recommandations du groupe de travail sur l’évaluation par les pairs des IRSC étaient limitées par la quantité d’information et de données disponibles pour éclairer les décisions. Les IRSC évalueront les changements mis en œuvre et communiqueront les analyses au fur et à mesure (p. ex. données sur l’algorithme de jumelage du profil de l’évaluateur et sa validation). Il sera déterminant pour assurer la mise au point, l’amélioration et la transparence de l’évaluation par les pairs que les IRSC rendent publiques ces données avec le plus de précision possible, tout en protégeant les renseignements personnels et la confidentialité. La validation de l’algorithme de jumelage ne relevait pas du mandat du GT. Ce sera aux IRSC de déterminer comment mener à bien ce travail.