Trousse d'évaluation simulée : Exécution de la simulation
Sur cette page
5.1 Attribution des demandes et évaluations à faire à la maison
Après la signature de l'Accord sur les conflits d'intérêts et la confidentialité et la réception de tous les documents pour la formation préalable, les évaluateurs se voient attribuer des demandes à évaluer. Ils peuvent recevoir une série de demandes présélectionnées ou des demandes correspondant autant que possible aux thèmes ou aux domaines de recherche déclarés durant la période de promotion. On pourra aussi fournir aux évaluateurs un résumé des demandes et leur demander d'accomplir la tâche sur la capacité d'évaluation.
(Facultatif) Tâche sur la capacité d'évaluation
La tâche facultative sur la capacité d'évaluation permet aux évaluateurs d'indiquer dans quelle mesure leur expertise correspond aux demandes assignées. Les animateurs peuvent décider d'inclure cette tâche pour à la fois mieux reproduire le processus d'évaluation par les pairs des IRSC ou tenter de faire correspondre autant que possible les demandes avec l'expertise des évaluateurs.
Il est à noter que même si le processus sur la capacité d'évaluation est inclus, l'expertise des évaluateurs n'a pas besoin d'être parfaitement adaptée puisqu'il s'agit seulement d'un exercice. Rappelez aux participants que les évaluateurs sous-estiment souvent leur capacité d'évaluation en lisant les résumés de projet et qu'ils pourront sans doute contribuer bien davantage qu'ils ne l'auraient cru au départ.
Ressources
Modèle de courriel : Capacité d'évaluer
Si le processus sur la capacité d'évaluation est inclus, ce courriel est envoyé aux évaluateurs pour leur fournir une liste de résumés de demandes afin qu'ils désignent ceux qui correspondent avec leur expertise.
Gabarit de déclaration de la capacité d'évaluation
Les évaluateurs accompliront la tâche sur la capacité d'évaluation en se servant de ce gabarit, qui devrait être joint au courriel sur l'attribution des demandes.
Attribution des demandes aux évaluateurs
Il est recommandé d'attribuer 1-2 demandes à chaque évaluateur dans une évaluation simulée allégée (il peut s'agir des mêmes demandes pour tous les comités ou de demandes spécialement sélectionnées pour chaque comité), et d'augmenter la charge de travail à 2-4 demandes dans une évaluation simulée complète ou interne.
L'animateur voudra s'efforcer d'équilibrer le nombre d'évaluateurs affectés à l'étude de chaque demande. Dans un concours de subventions Projet typique, chaque demande est attribuée à trois évaluateurs, à savoir un évaluateur principal et deux évaluateurs secondaires. À la réunion, l'évaluateur principal est le premier à faire part de son appréciation de la demande avec une brève justification, tandis que les évaluateurs secondaires se concentrent sur les points où il y a accord ou désaccord.
Bien que nous recommandions de suivre le modèle courant (1 principal et 2 secondaires par demande), nous reconnaissons que, dans beaucoup de cas, la taille du comité ou le nombre de demandes disponibles obligera à affecter plus de trois évaluateurs à l'étude de la même demande. Les animateurs sont encouragés à adapter l'attribution des demandes en fonction des besoins de leur simulation, par exemple en affectant plus de trois évaluateurs à l'étude d'une même demande, en désignant plus d'un évaluateur principal ou même en confiant certaines tâches à des évaluateurs pour des demandes particulières (p. ex. présenter une perspective détaillée sur l'intégration du sexe et du genre). Pour plus de détails sur les rôles des évaluateurs principal et secondaires dans le cadre des réunions de comité, veuillez consulter la section Rôles, responsabilités et scénarios de la Trousse.
Utilisez le Planificateur principal pour vous aider à attribuer les demandes et à faire le suivi des évaluations. (Prière de communiquer avec le Collège des évaluateurs pour obtenir cette ressource.)
Envoi des demandes aux évaluateurs
Le gabarit de l'évaluation simulée doit être fourni aux évaluateurs avec leurs demandes à évaluer. Les évaluateurs évalueront leurs demandes à la maison, avant la réunion de comité, en se servant de ce gabarit. Le gabarit de l'évaluation simulée permet aux évaluateurs de résumer la demande, d'attribuer une cote générale, de relever les points forts et les points faibles, d'évaluer la prise en compte du genre et du sexe et de formuler une recommandation budgétaire.
Ressources
Modèle de courriel : Évaluations à faire à la maison
Instructions détaillées sur les évaluations à faire à la maison au moyen du gabarit de l'évaluation simulée
5.2 Réunions de comité
Confirmation et ordre du jour de la réunion de comité
Les animateurs peuvent s'inspirer des modèles de courriel et d'ordre du jour ci-dessous. S'il s'agit d'une visioconférence, nous recommandons aux animateurs d'inclure des éléments énumérés à la section Préparation et aménagement du local dans leur message destiné aux participants.
Ressources
Modèle de courriel : Confirmation de la réunion de comité
Gabarit de l'ordre du jour
À joindre au courriel de confirmation de la réunion de comité. Si la réunion a lieu en personne, le gabarit peut être imprimé pour tous les participants – voir la section Préparation et aménagement du local qui énumère d'autres éléments relatifs aux réunions.
Tenue de la réunion de comité
Préparation et aménagement du local
Nous avons fourni ci-dessous des idées pour aménager le local; n'hésitez pas à les adapter au besoin.
Si la réunion de comité a lieu en personne, ces éléments devraient être imprimés avant la réunion. Ces ressources peuvent aussi être envoyées aux participants avant la réunion avec le courriel de confirmation de la réunion.
Ressources pour la réunion
Nombre | Nom du document | Description |
---|---|---|
1 par participant | Séquence des étapes de la réunion de comité | Description détaillée du déroulement de la réunion. Utile pour tout le comité. |
1 par participant | Aide-mémoire pour assurer la qualité de l'évaluation | Outil pratique pour aider les évaluateurs à produire des évaluations de qualité. Utile pour tout le comité. |
1 par animateur | Fiche de notation | Fiche de notation qui permet aux animateurs OU à tous les participants de consigner les notes. |
1 par demande | Gabarit pour les notes de l'agent scientifique | Gabarit à l'usage des agents scientifiques pour la rédaction de leurs notes. |
1 par président et agent scientifique | Cadre – rôles, Responsabilités et scénarios | Scénarios pour soutenir les dirigeants de comité dans leur rôle. |
1 par évaluateur | Évaluateur – rôles, Responsabilités et scénarios | Scénarios pour soutenir les évaluateurs dans leur rôle. |
Dans le cas d'une réunion en personne, l'aménagement de salle ci-dessous est recommandé pour faciliter la discussion.
Séquence des étapes de la réunion de comité
1. Aperçu du processus |
|
2. Cotation initiale des demandes |
|
3. Les évaluateurs présentent la demande et leur évaluation |
|
4. Discussion en groupe |
Le président entame et anime la discussion du comité :
|
5. Agent scientifique |
|
6. Cote consensuelle établie par les évaluateurs |
|
7. Cotations individuelles du comité |
|
8. Points à signaler |
|
9. Agent scientifique |
|
10. (facultatif) Séance de récapitulation |
|
Rôles, responsabilités et scénarios
Animateur
L'animateur est responsable d'organiser la réunion et de s'assurer que chacun dispose de la documentation appropriée.
L'animateur doit :
- fournir tous les documents nécessaires;
- discuter des conflits d'intérêts;
- clarifier les politiques et/ou les processus administratifs;
- surveiller le temps;
- s'assurer que le président sait quand il est temps de faire une pause.
Président
Le président doit assurer le fonctionnement harmonieux, efficace et objectif du comité d'évaluation par les pairs, en plus d'instaurer et de maintenir un climat positif, constructif et équitable pour l'évaluation des projets de recherche.
Le président doit :
- prononcer le mot de bienvenue lors de la réunion du comité, et présenter un aperçu de la structure et de l'ordre du jour de la journée;
- expliquer le déroulement de la réunion, y compris les éléments à prendre en considération en lien avec la prise en compte de l'ACSG dans les demandes;
- discuter brièvement des éléments du budget et de la durée, et rappeler aux évaluateurs qu'ils ne font pas partie de la réunion;
- s'assurer que tous les membres du comité qui sont en situation de conflit d'intérêts par rapport à une demande quittent la salle avant le début des discussions;
- nommer un représentant à titre de président ou d'agent scientifique lorsqu'un ou l'autre doit quitter la salle en raison d'un conflit d'intérêts par rapport à une demande ou pour toute autre raison;
- assumer un rôle de supervision; il ne participe pas à la cotation des demandes et ne vote pas aux réunions du comité;
- voir à ce que tous les membres du comité participent à l'évaluation de chaque demande;
- travailler de concert avec les agents scientifiques, au besoin, pour résumer les discussions tenues à propos de chaque demande avant de parvenir à un consensus sur la cotation;
- s'assurer qu'une cote consensuelle est attribuée par les évaluateurs désignés;
- s'assurer que les préoccupations particulières d'ordre éthique et les autres exigences des IRSC sont abordées, et que les résultats des discussions sont consignés dans les notes de l'agent scientifique.
Agent scientifique
Les évaluateurs peuvent occuper le rôle d'agent scientifique à tour de rôle pour acquérir de l'expérience. En pareil cas, assurez-vous que toutes ces personnes reçoivent une copie du gabarit pour les notes de l'agent scientifique (disponible ci-dessus à la section Préparation et aménagement du local). Vous pouvez également leur fournir une note d'agent scientifique en exemple (incluse avec certaines demandes utilisées pour la simulation).
L'agent scientifique assume le rôle de preneur de notes. L'agent scientifique doit :
- prendre des notes officielles durant les discussions du comité pour chaque demande (notes de l'agent scientifique). Les notes de l'agent scientifique doivent permettre aux candidats de se faire une idée de la discussion du comité au sujet de leur demande. Elles doivent être claires et concises, fournir aux candidats une rétroaction objective et constructive et :
- mentionner les forces et les faiblesses des demandes évaluées par le comité;
- aborder les questions qui ont eu le plus grand impact sur l'évaluation, en fonction des critères d'évaluation du programme;
- traiter des aspects des discussions du comité dont ne font pas mention les rapports des évaluateurs;
- décrire comment les désaccords entre évaluateurs, exprimés dans les rapports d'évaluation individuels, ont été résolus en expliquant le point de vue qui a été favorisé par le comité;
- relire ses notes pour les faire valider par les membres du comité et pour recueillir d'autres commentaires avant que les évaluateurs établissent une cote consensuelle et que tous les membres du comité votent;
- veiller à ce que les considérations particulières liées à l'éthique et/ou à d'autres questions soient également consignées dans ses notes, s'il y a lieu.
Évaluateurs
L'évaluateur évalue chacune des demandes qui lui sont assignées en fournissant une évaluation critique des demandes, ainsi qu'une rétroaction constructive basée sur les objectifs du programme et les critères de sélection de la possibilité de financement.
L'évaluateur doit :
- prendre en considération tous les facteurs ainsi que les forces et les faiblesses des demandes par rapport à chaque critère de sélection;
- centrer ses commentaires sur les facteurs les plus pertinents par rapport à ses cotes;
- fournir des commentaires sur la prise en compte du sexe (comme variable biologique) et/ou du genre (comme déterminant socioculturel de la santé) dans les demandes, s'il y a lieu;
- fournir des commentaires sur les budgets demandés et une recommandation officielle dans la section « Budget », y compris les raisons précises et détaillées de toute réduction de budget ou de la durée du projet, s'il y a lieu; (*Remarque : La discussion sur le budget et la durée du soutien ne s'inscrit pas dans le cadre de la présente trousse d'évaluation simulée.)
- fournir des commentaires sur des points à signaler, au besoin (ces préoccupations ne doivent pas influer sur la cote ni sur les recommandations budgétaires, à moins qu'elles concernent le mérite scientifique de la proposition);
- attribuer une cote initiale (à une décimale) en utilisant les gabarits fournis;
- se familiariser avec toutes les demandes assignées à son comité en vue de participer aux discussions durant la réunion;
- présenter les évaluations des demandes qui lui ont été assignées;
- participer à la discussion du comité;
- voter sur toutes les demandes évaluées par le comité s'il n'est pas en conflit d'intérêts.
Scénarios des évaluateurs
Scénarios des évaluateurs principaux
- Une fois que le président a présenté les évaluateurs, communiquer les cotes initiales au comité.
- Présenter un aperçu de la demande, des prémisses de la recherche, de la méthodologie de l'étude, etc.
- Discuter des forces et des faiblesses
- Écouter les autres évaluations
- Après la présentation des évaluateurs secondaires, discuter de la cote consensuelle
- Discuter davantage si nécessaire
- Confirmer le contenu des notes de l'agent scientifique à la fin de la discussion
Scénario des évaluateurs secondaires
- ne fois que le président a présenté les évaluateurs, communiquer les cotes initiales au comité
- Écouter l'aperçu de la demande et les commentaires de l'évaluateur principal
- Présenter les forces et les faiblesses non mentionnées par les autres évaluateurs
- Une fois que toutes les discussions ont eu lieu, les évaluateurs discutent de la cote consensuelle
- Discuter davantage si nécessaire
- Confirmer le contenu des notes de l'agent scientifique à la fin de la discussion
- Date de modification :