Section 6.1 : Méthodes d'évaluation de l'efficacité des interventions d'application des connaissances
Onil Bhattacharyya, M.D., Ph.D.
Elizabeth Estey, M.A.
Institut Li Ka Shing de l'hôpital St. Michael's, Université de Toronto
Merrick Zwarenstein, M.B.B.S., M.Sc.
Institut de recherche Sunnybrook, Université de Toronto
Cadre global : cycle des connaissances à la pratique
Thème principal : Évaluation des résultats
- Contexte et raison d'être : la nécessité d'évaluer
- Méthodes d'évaluation
- Randomisée
- Non randomisée
- Méthodes pragmatiques
- Avantages et inconvénients
- Conclusion
Contexte
Problèmes liés aux études d'application des connaissances (AC) :
- L'AC encourage la médecine factuelle, mais les méthodes utilisées pour encourager cette dernière ne sont pas factuelles.
- On fait pression pour améliorer les soins, mais on manque d'information pour savoir quelles interventions fonctionnent.
- 350 000 ECR en médecine clinique, contre 2 400 essais expérimentaux sur les interventions visant à améliorer la prestation des soins.
Changement de priorité...
- ... de la création de traitements à la recherche de nouvelles manières d'utiliser ce qui fonctionne déjà
- ... pour créer et évaluer des interventions à partir des connaissances factuelles
La nécessité d'évaluer
L'évaluation des initiatives d'amélioration de la qualité (AQ) est importante pour :
- connaître l'efficacité des efforts fournis;
- réduire le gaspillage des ressources;
- produire un savoir qui peut profiter à autrui.
Méthodes d'évaluation
Connaissances locales et généralisables
- Locales : gestionnaires responsables de l'AQ dans un établissement
- Généralisables : chercheurs en AC étudiant l'AQ en général
Validité interne
Définition : La relation entre l'intervention et ses répercussions a été adéquatement mesurée.
L'évaluation vise à déterminer si :
- l'aspect étudié s'est amélioré;
- cette amélioration est attribuable à l'intervention étudiée.
Quand une intervention semble efficace... sans l'être
Exemple : le rhume
Un traitement du rhume peut sembler fonctionner lorsqu'une personne guérit quelques jours plus tard. Cependant, cette amélioration ne vient pas nécessairement du traitement; elle peut être due au processus naturel inhérent à une maladie résolutive qui ne dure que quelques jours.
Study Designs [à traduire]
- Randomisation → principe primordial
- Essai contrôlé randomisé (ECR)
- Non randomisé ou quasi expérimental
- Contrôle avant-après
- Séries chronologiques interrompues
- Sans contrôle avant-après
Essais contrôlés randomisés
- La grande taille de l'échantillon permet une évaluation juste de l'effet de l'intervention
- La probabilité que les variables confusionnelles connues et inconnues soient également réparties entre les deux groupes augmente
Méthodes d'ECR
Nombre de groupes de traitement
Nombre le plus courant : deux
Unités de randomisation
Taille de l'échantillon
- Un grand échantillon augmente la capacité à déterminer l'absence d'effet
- La taille est importante quand l'effet est faible; la répartition en grappes nécessite des modifications
Méthodes non randomisées
- Plus grande probabilité de biais
- Nécessite moins de ressources
- Plus simple à réaliser
Types:
- Contrôle avant-après
- Séries chronologiques interrompues
Aussi :
- Sans contrôle avant-après
Études avec contrôle avant-après
Séries chronologies interrompues
Capacité de généralisation
- Validité interne : méthodologie rigoureuse, taille d'échantillon suffisante, répartition des groupes à l'insu des évaluateurs et des participants (lorsque possible)
- Une étude parfaitement valide peut ne pas permettre de déterminer le degré d'applicabilité des résultats aux conditions habituelles de la pratique.
- Les essais pragmatiques sont conçus pour maximiser la pertinence des résultats pour la prise de décision réelle.
Types d'essais pragmatiques
Essais pragmatiques et explicatifs
- Pragmatiques : visent à choisir des options de traitement
- Explicatifs : visent à vérifier des hypothèses de recherche causales
| Explicatif | Pragmatique | |
|---|---|---|
| Objectif | Vérifier l'efficacité théorique | Vérifier l'efficacité réelle |
| Conditions | Conditions « idéales »; environnement contrôlé | Pratique normale |
| Sélection des participants | Processus de sélection et de contrôle minutieux | Indication clinique |
| Interventions | Application et contrôle de l'adhésion stricts | Application souple; adaptée à la pratique normale |
| Résultats | Substituts à court terme ou mesures du processus | Résultats pertinents pour les participants, les bailleurs de fonds, les fournisseurs de soins, les décideurs et les autres parties concernées |
| Pertinence pour la pratique | Indirecte : on s'efforce peu de faire correspondre la méthodologie aux besoins des décideurs. | Directe : on s'efforce de faire correspondre la méthodologie à la pratique quotidienne. |
Avantages et inconvénients
- Les études randomisées et non randomisées nous aident à comprendre le « quoi », mais non le « pourquoi »
- Les études qualitatives peuvent combler cette lacune
- Bien qu'un grand nombre d'études portent sur les interventions d'AC, nous en savons toujours très peu sur ce qui fonctionne et ne fonctionne pas
- Il faut évaluer rigoureusement les initiatives d'AQ pour en savoir plus sur l'AC et améliorer la qualité des soins
Conclusion
- La mise en oeuvre est complexe en soi
- Malgré le grand nombre d'études, certaines lacunes demeurent
- Le choix du type d'évaluation dépend de ce qu'on veut savoir
- Ce qui fonctionne dans notre contexte ou dans la plupart des contextes
- Rigueur dans la méthodologie et dans les approches pragmatiques
- La combinaison des études qualitatives et quantitatives nous permet de savoir si un traitement fonctionne et pourquoi
- Étant donné le coût de mise en oeuvre, l'évaluation est essentielle et n'a pas besoin d'être difficile
Pour en savoir plus, communiquez avec nous :
Onil Bhattacharyya : bhattacharyyao@smh.toronto.on.ca
Elizabeth Estey : esteye@smh.toronto.on.ca
- Date de modification :