Trousse d'évaluation simulée : Types d'évaluation simulée
Sur cette page
2. Types d'évaluation simulée
Répondez au questionnaire ci-dessous pour définir le but, le public visé et le champ d'étude de votre évaluation simulée. Puis, lisez la description des types d'évaluation simulée et choisissez-en un en fonction de vos réponses.
2.1 Questionnaire : but, public visé et champ d'étude
Quels sont vos objectifs?
- Un survol rapide de l’évaluation par les pairs, incluant une réunion de comité simulée dans le cadre d’un atelier? Si tel est le cas, envisagez une évaluation simulée allégée.
- Une simulation de l’intégralité du processus d’évaluation par les pairs du programme de subventions Projet, incluant la simulation d’une réunion de comité complète? Si tel est le cas, envisagez une évaluation simulée complète.
- Conduite d’une évaluation interne de demandes provenant de votre propre établissement à des fins d’amélioration de la qualité? Si tel est le cas, l’évaluation simulée interne est appropriée.
Qui est votre public et quelle est l'étendue de votre expertise?
- Prévoyez-vous accueillir des participants ayant un vaste champ de compétences? Voudriez-vous que chaque comité se consacre à un thème général?
Dans l’affirmative, envisagez l’évaluation simulée allégée. - Prévoyez-vous accueillir des participants ayant des expériences variées? Avez-vous besoin que le groupe puisse s’adapter à plusieurs comités consacrés à différents thèmes, domaines de recherche ou mandat de comités du concours de subventions Projet?
Si tel est le cas, envisagez une évaluation simulée complète.
Combien de demandes pouvez-vous consacrer à la réunion d'évaluation simulée?
- Disposez-vous de seulement quelques exemples de demandes ou d’un temps limité pour la réunion de comité?
Dans l’affirmative, l’évaluation simulée allégée est plus appropriée. - Prévoyez-vous disposer d’un bon nombre d’exemples de demandes et voulez-vous consacrer une demi-journée à la réunion de comité?
Si tel est le cas, une évaluation simulée complète ou interne est plus appropriée.
Quel est votre échéancier général?
- Devez-vous exécuter la simulation à l'intérieur d'un échéancier comprimé ou sur court préavis?
Dans l'affirmative, l'évaluation simulée allégée serait peut-être à privilégier.
2.2 Choisissez un type d'évaluation simulée
Allégée
But
Cette simulation est conçue comme une initiation à l’évaluation par les pairs aux IRSC
Public visé
Cette simulation convient à un large public composé de personnes ayant des expériences variées et peut fonctionner avec le plus grand nombre de participants.
Description
Les évaluateurs reçoivent 1-2 demande(s) à évaluer chez eux avant de participer à la réunion d’évaluation simulée. À la réunion, les participants se diviseront en petits comités de 6-8 évaluateurs, et un évaluateur expérimenté occupera le rôle de président dans chaque comité. Les évaluateurs discuteront des exemples de demandes qui auront été confiées à leurs comités respectifs, avant de se réunir de nouveau en grand groupe pour une discussion avec animateur sur l’évaluation par les pairs.
Demandes
Les exemples de demande sont fournis dans la Trousse d’évaluation simulée ou sont offerts par la personne à l’animation. On suggère 1-2 demande(s) par simulation, durant laquelle les membres de tous les comités évaluent les mêmes demandes sur un même thème général.
Veuillez noter que le nombre de comités et leur champ d’application ne sont que des suggestions. Vous pouvez choisir de modifier les paramètres d’un type de simulation au besoin. Par exemple, lors de l’évaluation simulée allégée, chaque comité peut se concentrer sur un domaines de recherche ou mandat des comités du concours de subventions Projet précis et ainsi évaluer un ensemble unique de demandes.
Logistique
Temps nécessaire
- Durée totale : 4-8 semaines
- Planification : ~4 semaines
- Préparation des évaluateurs : ~1-2 heure(s) (~3-4 heures avec la formation préalable facultative)
- Réunion de comité : Entre une heure et demie et trois heures (*estimation basée sur un total de 1-3 demandes à évaluer)
Participants
- 2 animateurs
- 6-8 évaluateurs par comité (idéal)
- Le nombre d'évaluateurs et de comités dépend de la disponibilité des présidents
- 1 président par comité
- Au moins 1 agent scientifique par comité
- Le rôle d'agent scientifique peut être occupé en alternance par les évaluateurs ou les animateurs.
Complète
But
Cette simulation est conçue pour reproduire un processus d’évaluation par les pairs du concours de subventions Projet des IRSC.
Public visé
Convient aux stagiaires, aux boursiers postdoctoraux et aux chercheurs en début de carrière qui souhaitent acquérir de l’expérience pratique en évaluation par les pairs. L’expertise des participants peut être diverse.
Description
Les évaluateurs reçoivent 2-4 demandes à évaluer avant de participer à la réunion d’évaluation. Les participants se réunissent en comité, où ils présentent leurs demandes assignées, en discutent et leur attribuent une cote en présence d’un évaluateur expérimenté agissant comme président.
Demandes
Les exemples de demande sont fournis dans la Trousse d’évaluation simulée ou sont offerts par la personne à l’animation. On suggère un total de 4-8 demandes par comité. Chaque demande est évaluée par un maximum de trois évaluateurs, et chaque évaluateur se penche sur 2 à 4 demandes. Le contenu du groupe de demandes peut couvrir plusieurs thèmes, domaines de recherche ou mandats de comité du concours de subventions Projet.
Veuillez noter que le nombre de comités et leur champ d’application ne sont que des suggestions. Vous pouvez choisir de modifier les paramètres d’un type de simulation au besoin. Par exemple, lors de l’évaluation simulée complète, un comité peut plutôt se concentrer sur un thème général.
Logistique
Temps nécessaire
- Durée totale : 9-11 semaines
- Planification : ~10 semaines
- Préparation des évaluateurs : ~2-3 heures (4-5 heures avec la formation préalable facultative)
- Réunion de comité : 3-5 heures
Participants
- 2 animateurs
- 9 évaluateurs par comité (idéalement)
- 1 président par comité
- 1 ou plusieurs agents scientifiques par comité
- Les évaluateurs ou les animateurs peuvent occuper le rôle d'agent scientifique en alternance afin d'acquérir de l'expérience.
Interne
But
Cette simulation est conçue pour reproduire un processus d'évaluation interne À cette fin, l'animateur doit demander à son établissement de lui fournir des ébauches de demandes, pour un concours de subventions Projet à venir, qu'il pourra utiliser pour la simulation
Public visé
Cette simulation convient à la fois aux évaluateurs chevronnés et peu expérimentés. L'expertise des participants peut être vaste (tous les thèmes) ou limitée (domaine de recherche particulier)
Description
Le processus est le même que celui de l'évaluation simulée complète; cependant, les commentaires écrits de l'agent scientifique et des évaluateurs seront fournis aux candidats au terme de la réunion afin de leur permettre d'améliorer leur demande avant de la soumettre
Demandes
Demandes internes fournies par les établissements On suggère 4-8 demandes par comité Chaque demande est évaluée par un maximum de trois évaluateurs Le contenu du groupe de demandes peut être vaste (tous les thèmes) ou limité (un thème, domaine de recherche ou mandat de comité du concours de subventions Projet), tout dépendant de votre public visé
Logistics
Temps nécessaire
- Durée totale : 13-15 semaines
- Doit débuter au moins 16 semaines avant la date limite fixée pour le concours de subventions Projet
- Planification : ~12 à 14 semaines
- Préparation des évaluateurs : ~3 4 heures (5 6 heures avec la formation préalable facultative)
- Réunion de comité : 3-5 heures
Participants
- 2 animateurs
- 9 évaluateurs par comité (idéalement)
- 1 président par comité
- 1 ou plusieurs agents scientifiques par comité
- Les évaluateurs peuvent occuper le rôle d'agent scientifique en alternance afin d'acquérir de l'expérience.
- Date de modification :