Choisir des chefs de file de haut calibre dans le domaine de la recherche en santé pour les programmes de subventions fondation et projet des IRSC :
Étude bibliométrique du nouveau processus d’évaluation par les pairs

Observatoire des Sciences et des Technologies

Novembre 2016

Table des matiéres

1. Introduction et contexte
2. Méthodes
   • 2.1. Base de données
   • 2.2. Population cible et échantillon
   • 2.3. Reconstitution des dossiers de publication
   • 2.4. Indicateurs
3. Résultats
   • 3.1. Foundation Grant Program
   • 3.2. Programme de subventions Fondation
   • 3.3. Indicateurs de référence
4. Conclusion
5. Annexes
   • 5.1. Indicateurs du programme de subventions Fondation, par années de concours
   • 5.2. Indicateurs de productivité et d’impact pour la période allant de 2000 à l’année précédant le concours
   • 5.3. Taux de croissance du nombre de publications des candidats (de 2000 à 2015)

Remerciements
L’équipe de l’Observatoire tient à remercier Kwadwo (Nana) Bosompra et Shevaun Corey, des IRSC, pour leurs précieux commentaires et conseils tout au long du projet.

1 Introduction et contexte

Dans le cadre de la réforme actuelle de leur série de programmes ouverts, les IRSC ont récemment lancé deux programmes de financement distincts pour soutenir la recherche libre dans le domaine de la santé. Le programme de subventions Fondation (PSF) est conçu pour contribuer à l’édification d’une assise durable formée de chefs de file dans le domaine de la recherche en santé en garantissant un soutien à long terme pour entreprendre des programmes de recherche novateurs qui produiront un impact important. Le programme de subventions Projet (PSP), quant à lui, a pour but de faire valoir les idées les plus susceptibles de faire progresser de façon importante les connaissances en santé, le système de soins de santé ou les résultats sur la santé en appuyant des projets ayant une fin et un but précis^{Note en bas de page 1}. Ces deux programmes ont été lancés en même temps que le nouveau processus d’évaluation par les pairs pour la sélection de candidats au financement.

Le PSF repose sur un processus d’évaluation et de concours en trois étapes. L’étape 1 est axée sur le calibre des candidats ainsi que la vision et la direction de leur programme. Une fois l’étape 1 réussie, les candidats sont invités à présenter une demande à l’étape 2, où l’on évalue la qualité du programme de recherche proposé et la qualité de l’expertise, de l’expérience et des ressources. Ensuite, le groupe de candidats est divisé en trois sous-groupes : 1) la « zone verte », composée des demandes les mieux classées, qui sont retenues d’emblée; 2) la « zone rouge », composée des demandes les moins bien classées, qui sont refusées; 3) la « zone grise », composée de demandes bien classées, mais qui comportent un écart-type important en raison de divergences dans les cotes des évaluateurs. Les demandes de la zone grise passent à l’étape 3, qui comprend une réunion en personne du comité aboutissant à la décision finale.

Ainsi, les demandes présentées dans le cadre du PSF peuvent s’inscrire dans l’une des cinq catégories suivantes :

1. Refusée à l’étape 1
2. Refusée à l’étape 2 (zone rouge)
3. Financée à l’étape 2 (zone verte)
4. Incluse à l’étape 2 (zone grise), et refusée à l’étape3
5. Incluse à l’étape 2 (zone grise), et financée à l’étape 3

En revanche, le processus d’évaluation du PSP compte seulement deux étapes. À l’étape 1, les demandes sont évaluées et classées en trois sous-groupes semblables à ceux du PSF : la « zone verte », composée des candidats retenus; la « zone rouge », composée des candidats non retenus; et la « zone grise », composée des demandes se trouvant près du seuil de financement, mais qui passent à l’étape 2, où le comité se réunit en personne pour prendre la décision finale.

Par conséquent, les demandes présentées dans le cadre du PSP peuvent s’inscrire dans l’une des quatre catégories suivantes :

1. Refusée à l’étape 1 (zone rouge);
2. Financée à l’étape 1 (zone verte);
3. Incluse à l’étape 1 (zone grise), et refusée à l’étape 2;
4. Incluse à l’étape 1 (zone grise), et financée à l’étape 2.

L’étude proposée vise à évaluer, au moyen de données bibliométriques, la mesure dans laquelle le nouveau processus d’évaluation par les pairs des IRSC permet de sélectionner les meilleurs chercheurs (PSF) et les idées de recherche les plus prometteuses et les plus réalisables (PSP). Elle traite également de la capacité des deux programmes d’attirer des chercheurs en santé exceptionnels en comparant les indicateurs bibliométriques du bassin de candidats à ceux des chercheurs en santé du Canada, de certains pays membres de l’Organisation de coopération et de développement économiques (OCDE) et du reste du monde.

Plus précisément, l’étude vise à répondre aux questions suivantes :

• Le processus d’évaluation par les pairs permet-il de sélectionner les meilleurs chercheurs pour les programmes de subventions Fondation et Projet? Comment les indicateurs bibliométriques des candidats retenus se comparent-ils à ceux des candidats non retenus?
• Comment les indicateurs bibliométriques des candidats du premier concours de subventions Fondation se comparent-ils à ceux des candidats du deuxième concours Fondation?
• Les pairs évaluateurs des programmes Fondation et Projet semblent-ils utiliser les mêmes critères pour la sélection de candidats? Le lien entre le classement de l’évaluation par les pairs et les indicateurs bibliométriques est-il le même d’un programme à l’autre?
• Les programmes Fondation et Projet attirent-ils les meilleurs chercheurs en santé? Comment les indicateurs bibliométriques de leur bassin respectif de candidats (retenus et non retenus) se comparent-ils à ceux des chercheurs en santé du Canada, de certains pays de l’Organisation de coopération et de développement économiques (OCDE) et du reste du monde?

D’après notre hypothèse de travail, le classement découlant des indicateurs bibliométriques des candidats des diverses catégories concorderait (plus ou moins) avec les décisions du comité d’évaluation par les pairs. Ainsi, pour le programme Fondation, dont les réalisations des chercheurs constituent un important critère d’évaluation, les candidats financés à l’étape 2 (zone verte) auraient une meilleure cote que ceux (de la zone grise) financés à l’étape 3. Les cotes de ces derniers seraient meilleures que celles des candidats inclus à l’étape 2 (zone grise), mais non retenus à l’étape 3. Dans le même ordre d’idées, les cotes des candidats non retenus à l’étape 3 seraient supérieures à celles des candidats non retenus à l’étape 2, et les candidats non retenus à l’étape 1 seraient derniers au classement. Par conséquent, si les candidats étaient classés en ordre croissant selon leurs indicateurs bibliométriques, ils appartiendraient à l’une des cinq catégories suivantes :

1. Non retenus à l’étape 1
2. Non retenus à l’étape 2
3. Inclus à l’étape 2, et non retenus à l’étape 3
4. Inclus à l’étape 2, et financés à l’étape 3
5. Financés à l’étape 2

Mentionnons que les graphiques à barres illustrant les indicateurs bibliométriques des candidats du PSF, dans la section « Résultats », sont présentés dans cet ordre.

Quant au programme de subventions Projet, les résultats pourraient être quelque peu différents, car contrairement au programme Fondation, où les demandes sont surtout évaluées en fonction des réalisations des candidats, les demandes au PSP le sont surtout selon la pertinence, l’originalité et la faisabilité de l’idée de recherche proposée. La concordance des étapes successives du processus d’évaluation par les pairs avec les indicateurs bibliométriques sera donc vraisemblablement plus faible pour le programme Projet que pour le programme Fondation.

Par conséquent, si les candidats étaient classés en ordre croissant selon leurs indicateurs bibliométriques, ils appartiendraient à l’une des quatre catégories suivantes :

1. Non retenus à l’étape 1
2. Non retenus à l’étape 2
3. Financés à l’étape 2
4. Financés à l’étape 1

Mentionnons que les graphiques à barres illustrant les indicateurs bibliométriques des candidats du PSP, dans la section « Résultats », sont présentés dans cet ordre.

2 Méthodes

La section 2 présente la base de données et les méthodes utilisées pour sélectionner le groupe de chercheurs étudié et produire les indicateurs bibliométriques.

2.1 Base de données

Les données bibliométriques présentées ici proviennent de la Banque de données bibliométriques canadienne (BDBCMC), construite par l’Observatoire des sciences et des technologies (OST) à l’aide du Web of Science (WoS) de Thomson Reuters. Le WoS est constitué de trois bases de données (le Science Citation Index Expanded^MC, le Social Sciences Citation Index^MC et l’Arts & Humanities Citation Index^MC), qui englobaient en 2015 environ 12 000 publications dans tous les champs de connaissance. Le WoS est la principale banque de données servant aux analyses bibliométriques. Il répertorie les principales revues dans chaque discipline en fonction du nombre de citations. Par ailleurs, son traitement des articles scientifiques demeure stable au fil du temps^{Note en bas de page 2}. PubMed offre un traitement plus complet des publications en sciences de la santé. Toutefois, contrairement au WoS, il ne s’agit pas d’un « indice des citations »; il ne permet donc pas le calcul de mesures des retombées scientifiques, qui sont pourtant des indicateurs essentiels dans le contexte de la présente étude. La banque de données Scopus, créée et tenue à jour par l’éditeur Elsevier-Reed, est un autre indice de citations qui pourrait servir aux analyses bibliométriques. Cependant, la littérature indique que Scopus et le WoS donnent des résultats très semblables^{Note en bas de page 3}.

Il convient de noter que les indicateurs bibliométriques, lorsqu’ils sont conçus et utilisés minutieusement, fournissent une excellente mesure des activités de recherche^{Note en bas de page 4}, en particulier dans le domaine des sciences de la santé^{Note en bas de page 5}, dont la grande majorité des résultats de recherche pertinents sont publiés dans des revues répertoriées dans les bases de données bibliométriques^{Note en bas de page 6}.

Ainsi, les statistiques présentées ici ne comprennent pas tous les documents publiés par les chercheurs étudiés, car certains travaux sont diffusés par d’autres médias scientifiques non indexés par le WoS (p. ex. des revues très spécialisées, des revues nationales, la littérature grise et, surtout, les travaux de congrès non publiés dans des revues). Ce que ces statistiques mesurent, toutefois, c’est la partie des résultats scientifiques des chercheurs qui est la plus visible pour les milieux scientifiques canadiens et internationaux, et qui a donc le plus de chances d’être citée^{Note en bas de page 7}.

2.2 Population cible et échantillon

L’étude porte sur les cohortes de candidats du PSF de 2014 et de 2015 et sur celle du PSP de 2016. Le tableau 2-1 présente la répartition de la population de candidats par concours et par statuts de financement, ainsi que la répartition correspondante pour l’échantillon.

Comme convenu avec les IRSC, nous avons reconstitué les dossiers de publication (de 2000 à 2015) de 2 000 chercheurs^{Note en bas de page 8} ayant participé à au moins un des trois concours. Il convient de noter que l’étude porte sur l’ensemble de la population de candidats financés dans le cadre d’au moins un des trois concours (n = 707). Parmi les 3 223 candidats non financés (dans ni l’un ni l’autre des concours), nous avons également choisi un échantillon aléatoire de 1 293 chercheurs (environ 40 %), que nous avons contrôlé pour effectuer la répartition des chercheurs par concours, par sexes, par thèmes, par instituts des IRSC et par classifications principales de la recherche. L’échantillon s’est avéré assez représentatif de l’ensemble des 3 223 candidats jamais financés (dans ces trois concours).

À noter aussi que la somme des candidats pour chaque concours est supérieure au total de candidats distincts (dernière ligne du tableau 2-1 ) étant donné que certains chercheurs peuvent avoir participé à plus d’un concours. La situation est la même pour l’échantillon. Par ailleurs, pour chaque ligne, la somme des candidats financés et jamais financés équivaut au nombre total de candidats (colonne « Tous les candidats »). Si, à un concours donné, un chercheur a présenté plus d’une demande et a été retenu au moins une fois, il est compté dans les candidats financés (tableau 2-1 ).

Tableau 2-1 Population et groupe étudié de candidats aux concours de subventions Projet et Fondation, par statuts de financement (2014 à 2016)

Le statut de financement de chaque chercheur est classé séparément pour chaque concours. Ainsi, le dossier de publication d’un chercheur qui, par exemple, n’aurait pas été retenu en 2014, mais l’aurait été en 2016, serait compté dans les demandes refusées pour l’analyse du concours Fondation (FDN) de 2014 et dans les demandes acceptées pour l’analyse du concours Projet (PJT) de 2016. Il est aussi important de mentionner que le contenu du dossier utilisé pour le concours de 2014 diffèrerait de celui du concours de 2016, comme le dossier rendrait alors compte de deux années de publication supplémentaires.

Tous les chercheurs financés sont inclus dans l’analyse du concours où ils ont été retenus, mais pas nécessairement dans celle des autres concours auxquels ils ont participé. Étant donné que seulement 40,1 % (1 293 sur 3 223) des chercheurs jamais financés font partie de l’échantillon de candidats non financés, le fait d’y inclure tous (100 %) les chercheurs financés dans le cadre d’un autre concours entraînerait un biais important dans notre échantillon : la probabilité de faire partie de l’échantillon serait de 40,1 % pour les chercheurs jamais financés, mais de 100 % pour les chercheurs financés dans le cadre d’au moins un concours. Pour éviter ce biais, nous avons donc veillé à ce que la fraction sondée (proportion de la population incluse dans l’échantillon) des chercheurs financés au moins une fois soit, pour chaque concours, la même que celle des chercheurs jamais financés. Ainsi, pour chaque concours, nous avons sélectionné aléatoirement une proportion de chercheurs financés au moins une fois équivalente à la proportion de chercheurs jamais financés inclus dans l’échantillon. Comme l’illustre le tableau 2-2 , la proportion de chercheurs financés au moins une fois dans le cadre d’autres concours est à peu près la même dans notre échantillon de candidats non financés que dans notre population.

Tableau 2-2 Population et échantillon de candidats non financés pour chaque concours, par statuts de financement aux deux autres concours (jamais financés et financés au moins une fois)

Les demandes sont également analysées de façon individuelle, ce qui signifie que le dossier de publication d’un chercheur ayant présenté plus d’une demande pour un concours donné peut être comptabilisé dans plus d’un statut de financement (p. ex. une demande financée et une demande non financée). Notons toutefois que cette situation s’applique uniquement aux concours Projet (PJT), étant donné qu’un chercheur ne peut présenter qu’une demande par concours Fondation (FDN) [tableau 2‑3]. Cela dit, plusieurs chercheurs non financés dans le cadre du concours Fondation (FDN) de 2014 ont présenté une nouvelle demande en 2015, ce qui explique pourquoi on compte 865 chercheurs distincts aux deux concours, mais 1 037 demandes.

Tableau 2-3 Nombre de candidats et de demandes dans le groupe étudié, par concours et par statuts de financement (2014 à 2016)

Dans le cadre du concours Projet (PJT), les chercheurs peuvent présenter plusieurs demandes et obtenir du financement pour plus d’un projet.En 2016, il y a eu 1 507 candidats, dont 468 ont été retenus, et 1 950 demandes, dont 492 ont été financées (tableau 2-3 ).

Comme nous l’avons expliqué précédemment, si un chercheur présente plus d’une demande dans le cadre d’un concours donné, son dossier de publication peut être compté sous plusieurs statuts de financement (p. ex. s’il compte une demande acceptée et une demande refusée). Par contre, chaque publication n’est calculée qu’une seule fois pour chaque statut de financement, ce qui veut dire que si un chercheur présente deux demandes qui reçoivent le même statut, ses publications seront comptées une seule fois. De même, si l’une de ses publications a été produite en collaboration (corédigée) avec un autre chercheur qui a soumis lors du même concours une demande ayant reçu le même statut, cette publication sera également comptée une seule fois. Autrement dit, peu importe le nombre de demandes ou de dossiers de publication auxquels une publication est associée, celle-ci n’est calculée qu’une seule fois pour chaque statut de financement aux fins de comparaison des indicateurs bibliométriques par statuts de financement.

2.3 Reconstitution des dossiers de publication

Nous avons reconstitué la liste complète des publications (de 2000 à 2015) des chercheurs inclus dans les échantillons au moyen d’un processus en deux temps. Nous avons d’abord effectué un appariement automatique des noms inscrits dans les listes de candidats aux concours PSF et PSP avec les noms des auteurs figurant dans la base de données bibliométriques. Ensuite, afin d’éviter les surestimations causées par des homonymes, nous avons épuré manuellement le dossier de chaque chercheur.

Avant de procéder à l’appariement automatique, nous avons transformé les noms des 2 000 chercheurs financés pour les mettre sous la même forme que le nom des auteurs contenus dans la base de données bibliométriques, puisque les noms des auteurs dans cette dernière n’incluent pas les prénoms, mais seulement leurs initiales. Par exemple, « Jean A. Tremblay » est transformé en « Tremblay-JA » et également en « Tremblay-J », pour éviter que les publications où le deuxième prénom (ou l’initiale) a été omis ne soient oubliées. Nous avons ensuite lancé le processus d’appariement automatique, qui a fait ressortir, pour chaque chercheur, une liste provisoire de tous les articles canadiens qu’il a signés comme auteur de 2000 à 2015. Cet appariement rudimentaire a permis d’extraire 171 066 articles. Puis, nous avons retiré manuellement les publications attribuées par erreur à un chercheur lors du processus, ce qui a fait passer à 88 446 le nombre d’articles pour la période de 2000 à 2015.

2.4 Indicateurs

Afin d’évaluer la production scientifique des candidats aux concours Fondation et Projet, nous avons déterminé les indicateurs suivants à partir du dossier de publication épuré de chaque chercheur inclus dans l’étude, puis ventilé les données par statuts de financement et par années de concours.

• Nombre de publications
• Nombre moyen de publications par année
• Taux de croissance du nombre de publications pour deux périodes (de 2000 à 2007 et de 2008 à 2015)
• Facteur d’impact relatif moyen (FIRM)
• Moyenne des citations relatives (MCR)
• Taux de collaboration internationale
• Taux de collaboration entre établissements
• Nombre et proportion d’articles faisant mention du soutien financier des IRSC

Nombre de publications : Chaque publication rédigée par un chercheur est prise en compte une fois pour ce chercheur, peu importe le nombre de coauteurs. Cependant, lorsqu’un groupe de chercheurs est considéré dans son ensemble (p. ex. la cohorte de candidats non retenus à l’étape 1 ’du concours Projet), chaque publication est prise en compte une seule fois, même si elle a été rédigée par plus d’un chercheur appartenant à ce groupe. Bien que la banque de données de l’OST recense plusieurs types de documents, seuls les articles, les notes de recherche et les articles de synthèse ont été retenus pour l’analyse bibliométrique, étant donné qu’il s’agit des principaux moyens de diffusion de nouvelles connaissances.

Nombre moyen de publications par année : Le nombre total de publications distinctes attribuées à un groupe de chercheurs a été divisé par le nombre de chercheurs dans le groupe et le nombre d’années prises en compte durant la période étudiée. Par exemple, le groupe de 133 candidats au concours Fondation non retenus à l’étape 2 a publié 5 593 articles au cours des sept années ayant précédé le concours. Par conséquent, son nombre moyen de publications par année est de 6,0 (5 593/(133 x 7)) [figure 3-1 ].

Facteur d’impact relatif moyen (FIRM) : Cet indicateur permet de mesurer l’impact scientifique des revues dans lesquelles publient un groupe de chercheurs. Chaque revue a son propre indice de facteur d’impact (FI), calculé chaque année d’après le nombre moyen de citations des articles qui y ont été publiés au cours des deux années précédentes. Le FI de chaque revue est par la suite attribué à chacun des articles qu’elle publie. Afin de tenir compte de différentes caractéristiques de citation dans l’ensemble des domaines et sous-domaines (p. ex. on compte davantage de citations en recherche biomédicale qu’en mathématiques), le FI de chaque article est divisé par le FI moyen des articles de sa spécialité en vue d’obtenir un facteur d’impact relatif (FIR). Le FIRM d’un établissement donné (ou d’un groupe de chercheurs) est calculé en utilisant le FIR moyen de tous les articles qui en proviennent. Lorsque le FIRM est supérieur à 1, cet établissement (ou ce groupe de chercheurs) publie des articles dans des revues citées plus souvent que la moyenne mondiale; inversement, lorsqu’il est inférieur à 1, c’est qu’il publie dans des revues citées moins souvent que la moyenne mondiale. Soulignons que cet indicateur est considéré comme non significatif (n. s.) lorsque le nombre de publications en question est inférieur à 30. Par ailleurs, étant donné que la distribution des facteurs d’impact relatif est faussée, nous avons réalisé des tests de Mann‑Whitney pour évaluer la signification statistique des différences observées.

Facteur d’impact de l’article (p) du sous-domaine (s) publié durant une année donnée (a)

Facteur d’impact moyen des articles du sous-domaine (s) publiés la même année (a)

Nombre total d’articles (d’un pays ou d’un établissement)

Moyenne des citations relatives (MCR) : Cet indicateur est fondé sur le nombre de citations d’un article publié durant la période visée par la banque de données après l’année de publication. Ainsi, pour les articles publiés en 2007, les citations obtenues de 2008 à 2013 sont comptées. Pour les articles publiés en 2008, les citations obtenues de 2009 à 2013 sont comptées, et ainsi de suite. Les citations d’auteurs qui se sont cités eux-mêmes sont incluses. Le nombre de citations obtenu pour chaque article est normalisé selon le nombre moyen de citations récolté pour tous les articles publiés la même année dans le même sous-domaine, de manière à tenir compte du fait que les articles plus anciens sont cités plus souvent et que les pratiques en matière de citation varient d’une spécialité à l’autre. Lorsque la MCR est supérieure à 1, cela signifie qu’un article ou un groupe d’articles a obtenu un meilleur score que la moyenne mondiale dans sa spécialité; inversement, si la MCR est inférieure à 1, les publications ont été citées moins souvent que la moyenne mondiale. Soulignons que cet indicateur est considéré comme non significatif (n. s.) lorsque le nombre de publications en question est inférieur à 30. Par ailleurs, étant donné que la distribution des citations relatives est faussée, nous avons réalisé des tests de Mann‑Whitney pour évaluer la signification statistique des différences observées.

Nombre de citations obtenues par l’article (p) du sous-domaine (s) publié durant une année donnée (a)

Nombre moyen de citations des articles du sous-domaine (s) publiés la même année (a)

Nombre total d’articles (d’un pays ou d’un établissement)

Taux de collaboration internationale : Il s’agit d’un indicateur de l’intensité relative de la collaboration scientifique entre pays. Un article est considéré comme écrit dans le cadre d’une collaboration internationale s’il porte les adresses d’au moins deux pays, par exemple si un chercheur canadien publie un article en collaboration avec un chercheur d’un établissement étranger. Le taux est calculé en divisant le nombre de collaborations internationales par le nombre total d’articles.

Taux de collaboration entre établissements : Il s’agit d’un indicateur de l’intensité relative de la collaboration scientifique entre établissements. Un article est considéré comme écrit dans le cadre d’une collaboration entre établissements s’il porte les adresses d’au moins deux établissements, par exemple si un chercheur de l’Hôpital d’Ottawa publie un article en collaboration avec un chercheur de l’Université de Toronto. Le taux est calculé en divisant le nombre de collaborations entre établissements par le nombre total d’articles.

Taux de croissance : Cet indicateur, qui rend compte du nombre de publications d’une entité (personne ou population) au cours de deux périodes, sert à évaluer la croissance de ce nombre. Il mesure le changement de ratio (ou de pourcentage) du nombre de publications entre une période récente (ici, 2008 à 2015) et une période antérieure (2000 à 2007).

3 Résultats

Pour chacun des deux programmes, les indicateurs bibliométriques ont été calculés pour la période de sept ans précédant chaque concours et pour la période allant de 2000 à l’année précédant le concours. Les résultats étaient essentiellement les mêmes; c’est pourquoi les résultats pour la période de sept ans sont présentés ici, tandis que ceux de l’autre période prise en compte se trouvent dans l’annexe (sous-section 5.2). Pour le sous-ensemble d’articles publiés par les candidats dans les domaines de la médecine clinique et de la recherche biomédicale, des indicateurs de référence sont également fournis afin de permettre la comparaison entre les candidats (PSF et PSP) et les chercheurs de l’ensemble du Canada et des pays de l’OCDE sélectionnés (Australie, France, Allemagne, Pays-Bas, Suisse, Royaume-Uni et États-Unis).

3.1 Programme de subventions Fondation

Les résultats présentés ci-dessous (figures 3-1 et 3-2) montrent que le processus d’évaluation par les pairs du programme Fondation permet effectivement de financer les meilleurs chercheurs en santé.

Figure 3-1 Nombre de publications et impact des articles des candidats aux concours de subventions Fondation (2014 et 2015), par statuts de financement, pour la période de sept ans précédant le concours

La figure 3-1 montre le nombre de publications et l’impact des publications des deux cohortes (2014 et 2015) de candidats aux concours Fondation. Il en ressort les éléments suivants :

• Le nombre moyen de publications par année des candidats financés (7,5) est presque deux fois plus élevé que celui des candidats non financés (3,7). Notons également que les candidats non financés des trois catégories (non retenus à l’étape 1, 2 ou 3) sont, en moyenne, moins productifs que ceux des deux catégories de candidats financés. Toutefois, la différence est relativement faible entre les chercheurs financés à l’étape 3 (6,8) et ceux non retenus à l’étape 3 (6,6) et à l’étape 2 (6,0). Sans surprise, les chercheurs les plus productifs sont ceux qui ont été financés à l’étape 1 (9,2).
• Dans le même ordre d’idées, les indicateurs d’impact montrent que les candidats financés de toutes les catégories ont publié dans des revues ayant un meilleur facteur d’impact relatif moyen (FIRM) et ont une moyenne des citations relatives (MCR) plus élevée que leurs pairs non financés.
• Toutes les différences entre les FIRM sont statistiquement significatives (p < 0,001), sauf pour les candidats non retenus à l’étape 1 (1,35), à l’étape 2 (1,39) ou à l’étape 3 (1,27). Autrement dit, les différences entre les FIRM des candidats non financés des trois catégories ne sont pas statistiquement significatives; en revanche, celles entre leurs FIRM et ceux des candidats financés des deux catégories le sont.
• De même, toutes les différences entre les MCR sont statistiquement significatives (p < 0,001), sauf pour les candidats non retenus à l’étape 1 (1,59), à l’étape 2 (1,62) ou à l’étape 3 (1,67). Autrement dit, les différences entre les MCR des candidats non financés des trois catégories ne sont pas statistiquement significatives; en revanche, celles entre leurs FIRM et ceux des candidats financés des deux catégories le sont.

Figure 3-2 Collaboration et mention du soutien des IRSC dans les articles des candidats aux concours de subventions Fondation (2014 et 2015), par statuts de financement, pour la période de sept ans précédant le concours

La figure 3-2 présente le taux de collaboration des candidats et la part de leurs publications faisant mention du soutien financier des IRSC. Il en ressort les éléments suivants :

• Les taux de collaboration internationale et entre établissements des candidats financés, toutes catégories confondues, sont légèrement plus élevés que ceux de leurs pairs non financés. Comme les candidats financés et non financés ont rédigé plus de 14 000 articles au cours de la période étudiée, la marge d’erreur de leurs taux de collaboration respectifs est d’environ un point de pourcentage, 99 fois sur 100. Par conséquent, les différences entre les taux de collaboration internationale et entre établissements des candidats financés et ceux des candidats non financés sont statistiquement significatives. Il faut toutefois garder en tête que concrètement, les différences de cinq points de pourcentage ou moins demeurent relativement faibles.
• Les candidats financés sont plus susceptibles (47 %) que les candidats non financés (37 %) d’avoir signé des publications faisant mention du soutien financier des IRSC avant les concours. La différence entre ces taux est considérable. Cette constatation viendrait appuyer les efforts actuels de l’Unité des plans, des rapports, des mesures et des données des IRSC visant à utiliser ces mentions, entre autres, comme mesures substitutives de l’impact du soutien des IRSC pour les chercheurs.

Figure 3-3 Nombre de publications, impact des articles et mention du soutien des IRSC dans les articles des candidats aux concours de subventions Fondation, par années de concours et par statuts de financement, pour la période de sept ans précédant le concours

Comment les indicateurs bibliométriques des candidats du premier concours de subventions Fondation se comparent-ils à ceux des candidats du deuxième concours Fondation? Cette comparaison a fait ressortir le fait que les résultats étaient bien différents de ceux attendus a priori. En effet, comme l’illustre la figure 3-3, la plupart des indicateurs bibliométriques des candidats financés ont diminué d’une année de concours à l’autre, tandis que ceux des candidats non financés ont augmenté. Plus précisément :

• Le nombre moyen de publications par année des candidats financés est passé de 8,2 en 2014 à 7,6 en 2015. De même, leur FIRM et leur MCR ont diminué, passant respectivement de 1,71 à 1,61 et de 2,33 à 2,05, deux différences statistiquement significatives (p < 0,001).
• Pendant ce temps, le nombre moyen de publications par année des candidats non financés est passé de 3,1 à 4,8. Leur FIRM et leur MCR ont également légèrement augmenté (p < 0,01), passant respectivement de 1,34 à 1,38 et de 1,55 à 1,64.

Les candidats financés en 2014 ont obtenu de meilleures cotes que ceux financés en 2015 relativement au nombre moyen de publications, au FIRM et à la MCR. En outre, pour chaque concours, l’écart entre les candidats financés et les candidats non financés pour chacun des indicateurs était plus important en 2014 qu’en 2015. Ces résultats combinés indiquent que la concurrence était plus féroce en 2014 qu’en 2015. Il convient de noter que les chercheurs financés en 2014 n’étaient plus de la partie l’année suivante, alors que plusieurs candidats non financés en 2014 se sont réessayés en 2015, bénéficiant d’une chance supplémentaire de faire partie du groupe de chercheurs financés. Autrement dit, comme les meilleurs candidats de 2014 n’étaient pas du concours de 2015 (puisqu’ils avaient été financés en 2014), les dossiers de publication du groupe de chercheurs financés en 2015 étaient forcément moins impressionnants que ceux du groupe de 2014. Par ailleurs, l’amélioration des indicateurs bibliométriques des candidats non financés observée entre 2014 et 2015 s’explique probablement, en partie, par le fait que le concours de 2015 a attiré moins de candidats (n = 419) que celui de 2014 (n = 618). Vraisemblablement, les candidats non financés en 2014 qui n’ont pas présenté de demande en 2015 étaient ceux dont les dossiers de publication étaient les moins étoffés. Dans le même ordre d’idées, notons qu’en 2014, 357 candidats ont essuyé un refus à l’étape 1 du concours, alors qu’en 2015, ce nombre a baissé à 249. Dans l’ensemble, la figure 3-3 démontre clairement que dans les deux concours, les candidats retenus affichaient de meilleurs dossiers de publication que les candidats non retenus. On pourrait donc dire que le processus d’évaluation par les pairs joue pleinement le rôle attendu.

3.2 Programme de subventions Fondation

Les données présentées dans les deux figures ci-dessous montrent que le processus d’évaluation par les pairs du programme Projet permet effectivement de financer les meilleurs chercheurs en santé. Toutefois, elles révèlent également que l’excellence du dossier de publication n’est pas nécessairement le seul critère des évaluateurs.

Figure 3-4 Nombre de publications et impact des articles des candidats au concours de subventions Projet (2016), par statuts de financement, pour la période de sept ans précédant le concours

Figure 3-5 Collaboration et mention du soutien des IRSC dans les articles des candidats au concours de subventions Projet (2016), par statuts de financement, pour la période de sept ans précédant le concours

La figure 3-5 présente le taux de collaboration des candidats et la part de leurs publications faisant mention du soutien financier des IRSC. Il en ressort les éléments suivants :

• Les taux de collaboration internationale des candidats financés, toutes catégories confondues, sont légèrement plus élevés que ceux de leurs pairs non financés. Toutefois, les différences entre les groupes sont plutôt faibles, sauf pour les candidats financés à l’étape 2. De même, on n’observe pratiquement aucune différence entre les taux de collaboration entre établissements des différents groupes.
• Comme pour le programme Fondation, les candidats financés de toutes les catégories ont rédigé plus de publications faisant mention du soutien des IRSC que les candidats non financés (46 % c. 55 %).

3.3 Indicateurs de référence

Les indicateurs de référence présentés ci-après montrent que les programmes de subventions Fondation et Projet ont tous deux attiré des chercheurs de haut calibre qui, en général, ont un plus grand impact scientifique dans le domaine de la recherche en santé que le chercheur moyen du Canada ou d’un autre pays de l’OCDE sélectionné. Cela s’applique aux chercheurs financés, mais aussi à la plupart des chercheurs non financés. De plus, tous les candidats aux deux programmes, peu importe leur statut de financement, affichent de meilleurs résultats que les chercheurs du reste du monde (tous les indicateurs bibliométriques sont supérieurs à 1,0).

Figure 3-6 Facteur d’impact relatif moyen (FIRM) des articles de recherche en santé des candidats aux concours de subventions Fondation et Projet et des chercheurs des pays de l’OCDE (2008 à 2015)

Les articles de recherche en santé, soit les articles publiés dans des revues de médecine clinique et de recherche biomédicale, représentent environ 85 % des publications produites par les candidats aux concours Fondation et Projet. Par conséquent, ces articles constituent un bon point de départ pour comparer la production scientifique des candidats des IRSC à celle des chercheurs de l’ensemble du Canada et des autres pays de l’OCDE.

La figure 3-6 présente le FIRM de chaque groupe de chercheurs de 2008 à 2015. Il en ressort les éléments suivants :

• Le FIRM des candidats financés dans le cadre des programmes Fondation (1,71) et Projet (1,49) est beaucoup plus élevé que celui des chercheurs de l’ensemble du Canada (1,22) et plus élevé que celui des chercheurs des autres pays de l’OCDE. Cela signifie que les chercheurs financés par les IRSC tendent à publier leurs résultats de recherche dans des revues ayant une meilleure visibilité que leurs pairs canadiens et étrangers.
• En outre, le FIRM des candidats non financés dans le cadre des programmes Fondation (1,36) et Projet (1,33) est supérieur à celui des chercheurs de l’ensemble du Canada et supérieur ou égal à celui des chercheurs des autres pays de l’OCDE.

Figure 3-7 Moyenne des citations relatives (MCR) des articles de recherche en santé des candidats aux concours de subventions Fondation et Projet et des chercheurs des pays de l’OCDE (2008 à 2015)

La figure 3-7 présente la MCR des chercheurs pour la période allant de 2008 à 2015. Il en ressort les éléments suivants :

• La MCR des candidats financés dans le cadre des programmes Fondation (2,26) et Projet (1,78) est beaucoup plus élevée que celle des chercheurs de l’ensemble du Canada (1,42) et plus élevée que celle des chercheurs des autres pays de l’OCDE. Cela signifie que les publications des chercheurs financés par les IRSC sont, en moyenne, plus citées que celles de leurs pairs canadiens et étrangers.
• De plus, la MCR des candidats non financés dans le cadre des programmes Fondation (1,62) et Projet (1,54) est supérieure à celle des chercheurs de l’ensemble du Canada et de la plupart des pays de l’OCDE sélectionnés.

Ces constatations confirment que les deux programmes attirent des candidats affichant de meilleurs résultats que leurs pairs canadiens et étrangers en ce qui a trait à la visibilité des revues dans lesquelles ils publient et à la fréquence à laquelle leurs travaux sont cités.

4 Conclusion

Le tableau ci-dessous présente chaque question d’étude ainsi que la conclusion générale et les figures qui y sont associées.

Tableau 4-1 Question d’étude, conclusion et figures

Notre étude a permis de mesurer, au moyen de données bibliométriques, les résultats en matière de publications de trois cohortes récentes de candidats – deux du programme Fondation (2014 et 2015) et une du programme Projet (2016) – afin d’évaluer le nouveau processus d’évaluation par les pairs des IRSC. Plus précisément, nous avons évalué les dossiers de publication des candidats avant le concours pour déterminer la mesure dans laquelle le nouveau processus permet de sélectionner les meilleurs candidats (programme Fondation) et les idées de recherche les plus prometteuses et les plus réalisables (programme Projet).

Les résultats obtenus pour les deux cohortes du programme Fondation corroborent en grande partie notre hypothèse de travail. En effet, les candidats non retenus au début du processus (étape 1) sont ceux qui génèrent le plus faible rendement en matière de publications. Ils sont moins productifs que les candidats des autres catégories (ceux passant aux étapes suivantes), en plus d’avoir un impact scientifique (FIRM et MCR) moindre et d’afficher des taux de collaboration (internationale et entre établissements) parmi les plus faibles. Sur le plan de la productivité et de l’impact scientifique, ils sont suivis, dans l’ordre, par les candidats non retenus à l’étape 2, les candidats non retenus à l’étape 3^{Note en bas de page 9}, les candidats financés à l’étape 3 et, enfin, les candidats financés à la première étape possible (étape 2) des concours. Ces tendances sont moins prononcées pour les indicateurs de collaboration, mais dans l’ensemble, les taux des candidats financés sont légèrement plus élevés que ceux des candidats non financés. En somme, nos résultats confirment que dans le cadre du programme Fondation, les étapes successives de l’évaluation par les pairs tendent à permettre la sélection des meilleurs chercheurs, du moins en matière de publications.

Les résultats obtenus pour le programme Projet offrent un portrait quelque peu différent. Dans l’ensemble, les candidats retenus présentent en moyenne un meilleur dossier de publication que les candidats non financés. En revanche, les tendances observées d’une étape à l’autre de l’évaluation par les pairs ne sont pas aussi marquées que pour le programme Fondation. Elles viennent même, dans une certaine mesure, infirmer notre hypothèse de travail sur la concordance des étapes successives du processus d’évaluation par les pairs avec la progression des indicateurs bibliométriques. Par exemple, les candidats au concours Projet non retenus à l’étape 2 ont rédigé plus de publications que ceux financés à l’étape 1, en plus d’avoir affiché une meilleure MCR. Dans le même ordre d’idées, les candidats financés à l’étape 2 sont également plus productifs que ceux financés à l’étape 1. Ces résultats tendent à démontrer que la qualité du dossier de publication d’un chercheur n’est pas nécessairement le seul critère utilisé dans l’évaluation de sa demande. Ils peuvent aussi indiquer que d’autres facteurs (p. ex. la qualité, la pertinence et l’originalité du projet proposé) sont également pris en compte dans le cadre du programme Projet.

Enfin, les indicateurs de référence présentés dans la sous-section 3.3 montrent que dans le domaine de la recherche en santé, les deux programmes attirent des chercheurs de haut calibre étant donné que les candidats, peu importe leur statut de financement, ont un impact scientifique supérieur à celui de tous les chercheurs du Canada et, dans la plupart des cas, des autres pays de l’OCDE.

5 Annexes

5.1 Indicateurs du programme de subventions Fondation, par années de concours

Figure 5-1 Nombre de publications et impact des articles des candidats aux concours de subventions Fondation, par années de concours et par statuts de financement, pour la période de sept ans précédant le concours

Concours de 2014

Concours de 2015

Figure 5-2 Collaboration et mention du soutien des IRSC dans les articles des candidats aux concours de subventions Fondation, par années de concours et par statuts de financement, pour la période de sept ans précédant le concours

Concours de 2014

Concours de 2015

5.2 Indicateurs de productivité et d’impact pour la période allant de 2000 à l’année précédant le concours

La figure 5-3 présente les mêmes indicateurs que la figure 3-1 (programme Fondation), mais porte sur la période allant de 2000 à l’année précédant le concours, plutôt que sur la période de sept ans précédant le concours. Bien que la période étudiée soit deux fois plus longue, les tendances demeurent essentiellement les mêmes :

• Dans toutes les catégories, les indicateurs d’impact (FIRM et MCR) des publications des candidats financés sont nettement plus élevés que ceux des candidats non financés.
• De façon générale, les candidats financés sont également plus productifs que les candidats non financés. Seule exception : les candidats non retenus à l’étape 3 semblent avoir publié un peu plus d’articles (5,7) que leurs pairs financés à la même étape (5,3).

Figure 5-3 Nombre de publications et impact des articles des candidats aux concours de subventions Fondation (2014 et 2015), par statuts de financement, pour la période allant de 2000 à l’année précédant le concours

De surcroît, la figure 5-4 présente les mêmes indicateurs que la figure 3-2, mais porte sur une plus longue période (à partir de 2000). Il en ressort les conclusions suivantes :

• Les taux de collaboration internationale et entre établissements des candidats financés sont légèrement plus élevés que ceux de leurs pairs non financés, toutes catégories confondues.
• Bien que la période étudiée soit plus longue, les parts de publications faisant mention du soutien des IRSC sont inférieures à celles de la période de sept ans, comme les mentions sont seulement intégrées aux dossiers du Web of Science depuis 2008. Cependant, la tendance observée dans la figure 5-4 reste essentiellement la même que celle illustrée dans la figure 3-2 pour la période de sept ans. Les parts de publications mentionnant le soutien des IRSC des candidats non financés de toutes les catégories sont légèrement inférieures à celles des candidats financés.

Figure 5-4 Collaboration et mention du soutien des IRSC dans les articles des candidats aux concours de subventions Fondation (2014 et 2015), par statuts de financement, pour la période allant de 2000 à l’année précédant le concours

La figure 5-5 présente les mêmes indicateurs que la figure 3-4 (programme Projet), mais porte sur la période allant de 2000 à l’année précédant le concours, plutôt que sur la période de sept ans précédant le concours. Bien que la période étudiée soit deux fois plus longue, les tendances demeurent essentiellement les mêmes :

• Le nombre moyen de publications par année des candidats financés (3,4) est nettement plus élevé que celui des candidats non financés (2,7).
• De même, les indicateurs d’impact montrent que les candidats financés ont publié dans des revues ayant une meilleure visibilité (FIRM de 1,47) que leurs pairs non financés (1,33), et que leurs articles sont plus fréquemment cités (MCR de 1,73 c. 1,49).
• Comme ce qui a été observé pour la période de sept ans, les résultats de certains groupes se sont avérés différents de ceux auxquels on aurait pu s’attendre si l’excellence des réalisations antérieures des chercheurs avait été le seul critère des évaluateurs. Par conséquent, les candidats non retenus à l’étape 2 ont une MCR plus élevée (1,71) que ceux financés à la même étape (1,53), mais égale à celle des candidats financés. Toutefois, il convient de noter que ces résultats doivent être interprétés avec prudence étant donné que les cotes obtenues pour ce groupe s’appuient sur un nombre relativement petit de publications (n = 2 760) et que les différences par rapport aux autres groupes ne sont pas statistiquement significatives.
• Un autre résultat qui tend à confirmer que les réalisations professionnelles des candidats ne sont pas le seul critère pris en compte par les évaluateurs : le nombre moyen de publications par année des candidats financés à l’étape 2 (5,7) est beaucoup plus élevé que celui de tout autre groupe. Cependant, il faut encore une fois faire preuve de prudence dans l’interprétation de ce résultat, comme ce groupe ne compte que 20 chercheurs, dont deux ont rédigé plus de 120 articles au cours de la période étudiée de 15 ans.

Figure 5-5 Nombre de publications et impact des articles des candidats au concours de subventions Projet (2016), par statuts de financement, pour la période allant de 2000 à l’année précédant le concours

De surcroît, la figure 5-6 présente les mêmes indicateurs que la figure 3-5, mais porte sur une plus longue période (à partir de 2000). Il en ressort les conclusions suivantes :

• À l’exception des candidats financés à l’étape 2 (47 %), il n’y a presque aucune différence quant aux taux de collaboration internationale des divers groupes. Ces taux varient de 40 % à 42 %.
• À l’échelle des établissements, tous les groupes affichent un taux de collaboration se situant entre 75 % et 78 %, sauf les candidats non retenus à l’étape 2, dont le taux est légèrement plus élevé (82 %).
• Les candidats financés de toutes les catégories ont signé plus de publications faisant mention du soutien des IRSC avant le concours que leurs pairs non financés. Notons toutefois que la différence est minime entre les candidats non retenus à l’étape 2 (31 %) et ceux retenus à la même étape (32 %).

Figure 5-6 Collaboration et mention du soutien des IRSC dans les articles des candidats au concours de subventions Projet (2016), par statuts de financement, pour la période allant de 2000 à l’année précédant le concours

5.3 Taux de croissance du nombre de publications des candidats (de 2000 à 2015)

Les données présentées dans la figure 5-7 indiquent un taux de croissance du nombre de publications plus élevé chez les chercheurs non financés que chez les chercheurs financés. Elles devraient être interprétées d’après le contexte. En effet, il ne faut pas oublier que nous avons obtenu ce taux en comparant, pour chaque groupe de chercheurs, le nombre total d’articles rédigés de 2008 à 2015 à celui de 2000 à 2007 . Comme les chercheurs financés ont en moyenne plus d’expérience que les chercheurs non financés – en particulier ceux du programme Fondation –, il est parfaitement normal qu’ils affichent un taux de croissance plus faible que ces derniers, puisqu’il est beaucoup plus facile d’augmenter ce taux lorsque le nombre de publications de la première période (utilisé comme dénominateur) est relativement petit.

Fait à noter : les différences entre les taux de croissance des groupes reflètent assez bien celles observées entre les nombres moyens d’années d’expérience. En effet, les candidats financés dans le cadre du concours Fondation de 2014 comptaient 18,4 années d’expérience, alors que leurs pairs non financés n’en comptaient que 10,8. Nous avons fait le même constat pour les candidats de 2015 : 17,8 années pour les chercheurs financés comparativement à 14,2 pour leurs pairs. Enfin, les chercheurs financés (15,5) du programme Projet avaient aussi plus d’expérience que les chercheurs non financés (14,3).

Figure 5-7 Taux de croissance du nombre de publications entre la période de 2000 à 2007 et celle de 2008 à 2015, par programmes et par statuts de financement

Date de modification :

2017-05-30