Réserver!

Trousse d'évaluation simulée : Exécution de la simulation

Sur cette page

5.1 Attribution des demandes et évaluations à faire à la maison

Description détaillée

Tâches :

  • (Facultatif) Tâche sur la capacité d'évaluation
  • Attribution des demandes aux évaluateurs
  • Envoi des demandes aux évaluateurs

Semaine 6 : Simulation allégée

Semaine 7-8 : Simulation complète

Semaine 8-10 : Simulation interne

Après la signature de l'Accord sur les conflits d'intérêts et la confidentialité et la réception de tous les documents pour la formation préalable, les évaluateurs se voient attribuer des demandes à évaluer. Ils peuvent recevoir une série de demandes présélectionnées ou des demandes correspondant autant que possible aux thèmes ou aux domaines de recherche déclarés durant la période de promotion. On pourra aussi fournir aux évaluateurs un résumé des demandes et leur demander d'accomplir la tâche sur la capacité d'évaluation.

(Facultatif) Tâche sur la capacité d'évaluation

La tâche facultative sur la capacité d'évaluation permet aux évaluateurs d'indiquer dans quelle mesure leur expertise correspond aux demandes assignées. Les animateurs peuvent décider d'inclure cette tâche pour à la fois mieux reproduire le processus d'évaluation par les pairs des IRSC ou tenter de faire correspondre autant que possible les demandes avec l'expertise des évaluateurs.

Il est à noter que même si le processus sur la capacité d'évaluation est inclus, l'expertise des évaluateurs n'a pas besoin d'être parfaitement adaptée puisqu'il s'agit seulement d'un exercice. Rappelez aux participants que les évaluateurs sous-estiment souvent leur capacité d'évaluation en lisant les résumés de projet et qu'ils pourront sans doute contribuer bien davantage qu'ils ne l'auraient cru au départ.

Ressources

Modèle de courriel : Capacité d'évaluer
Si le processus sur la capacité d'évaluation est inclus, ce courriel est envoyé aux évaluateurs pour leur fournir une liste de résumés de demandes afin qu'ils désignent ceux qui correspondent avec leur expertise.


Gabarit de déclaration de la capacité d'évaluation
Les évaluateurs accompliront la tâche sur la capacité d'évaluation en se servant de ce gabarit, qui devrait être joint au courriel sur l'attribution des demandes.

Attribution des demandes aux évaluateurs

Il est recommandé d'attribuer 1-2 demandes à chaque évaluateur dans une évaluation simulée allégée (il peut s'agir des mêmes demandes pour tous les comités ou de demandes spécialement sélectionnées pour chaque comité), et d'augmenter la charge de travail à 2-4 demandes dans une évaluation simulée complète ou interne.

L'animateur voudra s'efforcer d'équilibrer le nombre d'évaluateurs affectés à l'étude de chaque demande. Dans un concours de subventions Projet typique, chaque demande est attribuée à trois évaluateurs, à savoir un évaluateur principal et deux évaluateurs secondaires. À la réunion, l'évaluateur principal est le premier à faire part de son appréciation de la demande avec une brève justification, tandis que les évaluateurs secondaires se concentrent sur les points où il y a accord ou désaccord.

Bien que nous recommandions de suivre le modèle courant (1 principal et 2 secondaires par demande), nous reconnaissons que, dans beaucoup de cas, la taille du comité ou le nombre de demandes disponibles obligera à affecter plus de trois évaluateurs à l'étude de la même demande. Les animateurs sont encouragés à adapter l'attribution des demandes en fonction des besoins de leur simulation, par exemple en affectant plus de trois évaluateurs à l'étude d'une même demande, en désignant plus d'un évaluateur principal ou même en confiant certaines tâches à des évaluateurs pour des demandes particulières (p. ex. présenter une perspective détaillée sur l'intégration du sexe et du genre). Pour plus de détails sur les rôles des évaluateurs principal et secondaires dans le cadre des réunions de comité, veuillez consulter la section Rôles, responsabilités et scénarios de la Trousse.

Utilisez le Planificateur principal pour vous aider à attribuer les demandes et à faire le suivi des évaluations. (Prière de communiquer avec le Collège des évaluateurs pour obtenir cette ressource.)

Envoi des demandes aux évaluateurs

Le gabarit de l'évaluation simulée doit être fourni aux évaluateurs avec leurs demandes à évaluer. Les évaluateurs évalueront leurs demandes à la maison, avant la réunion de comité, en se servant de ce gabarit. Le gabarit de l'évaluation simulée permet aux évaluateurs de résumer la demande, d'attribuer une cote générale, de relever les points forts et les points faibles, d'évaluer la prise en compte du genre et du sexe et de formuler une recommandation budgétaire.

Ressources

Modèle de courriel : Évaluations à faire à la maison
Instructions détaillées sur les évaluations à faire à la maison au moyen du gabarit de l'évaluation simulée


Gabarit de l'évaluation simulée


5.2 Réunions de comité

Description détaillée

Tâches :

  • Confirmation et ordre du jour de la réunion
  • Tenue de la réunion de comité

Semaine 5 : Simulation allégée

Semaine 7 : Simulation complète

Semaine 8 : Simulation interne

Confirmation et ordre du jour de la réunion de comité

Les animateurs peuvent s'inspirer des modèles de courriel et d'ordre du jour ci-dessous. S'il s'agit d'une visioconférence, nous recommandons aux animateurs d'inclure des éléments énumérés à la section Préparation et aménagement du local dans leur message destiné aux participants.

Ressources

Modèle de courriel : Confirmation de la réunion de comité


Gabarit de l'ordre du jour
À joindre au courriel de confirmation de la réunion de comité. Si la réunion a lieu en personne, le gabarit peut être imprimé pour tous les participants – voir la section Préparation et aménagement du local qui énumère d'autres éléments relatifs aux réunions.

Tenue de la réunion de comité

Préparation et aménagement du local

Nous avons fourni ci-dessous des idées pour aménager le local; n'hésitez pas à les adapter au besoin.

Si la réunion de comité a lieu en personne, ces éléments devraient être imprimés avant la réunion. Ces ressources peuvent aussi être envoyées aux participants avant la réunion avec le courriel de confirmation de la réunion.

Ressources pour la réunion
Nombre Nom du document Description
1 par participant Séquence des étapes de la réunion de comité Description détaillée du déroulement de la réunion. Utile pour tout le comité.
1 par participant Aide-mémoire pour assurer la qualité de l'évaluation Outil pratique pour aider les évaluateurs à produire des évaluations de qualité. Utile pour tout le comité.
1 par animateur Fiche de notation Fiche de notation qui permet aux animateurs OU à tous les participants de consigner les notes.
1 par demande Gabarit pour les notes de l'agent scientifique Gabarit à l'usage des agents scientifiques pour la rédaction de leurs notes.
1 par président et agent scientifique Cadre – rôles, Responsabilités et scénarios Scénarios pour soutenir les dirigeants de comité dans leur rôle.
1 par évaluateur Évaluateur – rôles, Responsabilités et scénarios Scénarios pour soutenir les évaluateurs dans leur rôle.

Dans le cas d'une réunion en personne, l'aménagement de salle ci-dessous est recommandé pour faciliter la discussion.

Description détaillée

Haut : Évaluateurs

Bas : Évaluateurs

Gauche : Agent Scientifique, Président, Animateur

Séquence des étapes de la réunion de comité
1. Aperçu du processus
  • L'animateur donne un aperçu de la simulation, y compris des étapes décrites ci-dessous, et effectue un rappel sur l'assurance de la qualité des évaluations
  • (Pour allégée simulée) Les participants forment de petits comités (de 6 à 8 évaluateurs en plus d'un président et d'au moins un agent scientifique).
  • Tous les participants se présentent à tour de rôle
2. Cotation initiale des demandes
  • Le président annonce la demande qui doit être évaluée.
  • Le président annonce qui sont les évaluateurs en conflit; ceux-ci doivent ensuite quitter la salle (ne s'applique pas à toutes les simulations).
  • Le président annonce qui sont les évaluateurs.
  • Les évaluateurs désignés dévoilent leur cote initiale. Les animateurs utilisent la Fiche de notation pour consigner les cotes initiales des évaluateurs ou tous les participants reçoivent la Fiche de notation pour consigner les cotes
3. Les évaluateurs présentent la demande et leur évaluation
  • L'évaluateur principal (c'est-à-dire l'évaluateur n° 1) présente un résumé (~5 minutes) de la proposition et expose son évaluation, en décrivant les forces et les faiblesses de la proposition, y compris les commentaires sur la prise en compte du sexe et/ou du genre dans le plan de recherche, les méthodes, l'analyse et/ou la diffusion des résultats, le cas échéant.
  • Les évaluateurs secondaires (c'est-à-dire les évaluateurs n° 2 et 3) s'attardent ensuite sur les points où ils sont en accord et en désaccord avec les autres évaluateurs et ils discutent des points qui n'ont pas encore été abordés.
4. Discussion en groupe

Le président entame et anime la discussion du comité :

  • Les évaluateurs sont encouragés à y participer.
  • La discussion devrait porter sur les éléments de la demande mis en évidence durant les évaluations, en particulier ceux sur lesquels repose sa cote.
  • Les divergences d'opinions entre les évaluateurs doivent faire l'objet de discussions.
  • y Si les évaluateurs assignés n'ont pas fait de commentaire sur les éléments de la demande relatifs au sexe et/ou au genre, le président leur demandera, ainsi qu'aux autres membres du comité, de faire des commentaires sur l'intégration d'une ACSG dans la proposition, s'il y a lieu. Ces commentaires doivent être consignés dans les notes de l'agent scientifique, en suivant le gabarit pour les notes de l'agent scientifique, et doivent être émis avant de discuter de la cote consensuelle.
5. Agent scientifique
6. Cote consensuelle établie par les évaluateurs
  • Le président demande aux évaluateurs concernés d'en arriver à une cote consensuelle. Les évaluateurs peuvent se référer à l'échelle de cotation pour les guider dans l'attribution de leur cote.
  • Si un consensus ne peut être atteint, le président déterminera la cote consensuelle en effectuant la moyenne des cotes attribuées par les évaluateurs après la discussion.
  • Les animateurs utilisent la Fiche de notation pour consigner les cotes initiales des évaluateurs OU tous les participants reçoivent la Fiche de notation pour consigner les cotes.
7. Cotations individuelles du comité
  • Tous les membres du comité sont invités à coter la demande; un écart de ± 0,5 par rapport à la cote consensuelle est permis.
  • Les animateurs utilisent la Fiche de notation pour consigner les cotes initiales des évaluateurs OU tous les participants reçoivent la Fiche de notation pour consigner les cotes.
  • Le président et les agents scientifiques ne votent pas.
8. Points à signaler
  • Questions éthiques, admissibilité, utilisation de cellules souches humaines, autres préoccupations, recherche d'intérêt général (en particulier les demandes dont la cote et le niveau attribués par le comité sont élevés)
9. Agent scientifique
  • L'agent scientifique lit les notes finales à des fins de validation/d'approbation par le comité.
10. (facultatif) Séance de récapitulation
  • Discussion sur les leçons apprises et questions des évaluateurs plus expérimentés (présidents). Tous les comités (s'il y en a plus d'un) doivent se rassembler pour cette discussion

Rôles, responsabilités et scénarios

Animateur

L'animateur est responsable d'organiser la réunion et de s'assurer que chacun dispose de la documentation appropriée.

L'animateur doit :

Président

Le président doit assurer le fonctionnement harmonieux, efficace et objectif du comité d'évaluation par les pairs, en plus d'instaurer et de maintenir un climat positif, constructif et équitable pour l'évaluation des projets de recherche.

Le président doit :

Agent scientifique

Les évaluateurs peuvent occuper le rôle d'agent scientifique à tour de rôle pour acquérir de l'expérience. En pareil cas, assurez-vous que toutes ces personnes reçoivent une copie du gabarit pour les notes de l'agent scientifique (disponible ci-dessus à la section Préparation et aménagement du local). Vous pouvez également leur fournir une note d'agent scientifique en exemple (incluse avec certaines demandes utilisées pour la simulation).

L'agent scientifique assume le rôle de preneur de notes. L'agent scientifique doit :

Évaluateurs

L'évaluateur évalue chacune des demandes qui lui sont assignées en fournissant une évaluation critique des demandes, ainsi qu'une rétroaction constructive basée sur les objectifs du programme et les critères de sélection de la possibilité de financement.

L'évaluateur doit :

Scénarios des évaluateurs

Scénarios des évaluateurs principaux

Scénario des évaluateurs secondaires

Date de modification :