Modèle de Kirkpatrick : évaluer un programme

La coordination d'un cursus de médecine vient de lancer, pour la première fois, un module de simulation de consultation pour la quatrième année. Les étudiants ont adoré : le formulaire du dernier jour est revenu rempli de notes maximales et de commentaires élogieux. En réunion de collégial, quelqu'un demande si le module doit devenir obligatoire. Une autre enseignante lève la main : « ils ont aimé, mais ont-ils appris ? Et, s'ils ont appris, cela change-t-il quelque chose à l'internat ? ». Personne n'a la réponse, parce que personne n'a prévu comment mesurer.

Cette scène se répète dans les ligues académiques, les résidanats et les programmes de formation continue. Le modèle de Kirkpatrick est l'outil le plus utilisé pour organiser cette conversation : il sépare ce que signifie « réussir » en quatre niveaux, de la satisfaction des participants à l'impact sur les résultats. Ce guide explique les niveaux avec des exemples de l'éducation médicale, montre ce que les revues ont trouvé lorsqu'elles ont appliqué le modèle, présente les critiques les plus sérieuses et propose une façon pratique de concevoir l'évaluation d'un programme avant qu'il ne commence.

Points principaux

• Le modèle de Kirkpatrick organise l'évaluation d'un programme d'enseignement en quatre niveaux : réaction, apprentissage, comportement et résultats.
• Dans l'éducation médicale, la plupart des évaluations publiées s'arrêtent au premier ou au deuxième niveau ; peu mesurent un changement de pratique et encore moins les devenirs des patients.
• Une satisfaction élevée ne garantit pas l'apprentissage, et l'apprentissage lors d'un test ne garantit pas un changement de comportement en service.
• Les critiques principales : le modèle ne regarde que les résultats, suppose une chaîne causale entre les niveaux et ignore le contexte et les effets non prévus.
• La version appelée New World Kirkpatrick et des modèles comme le CIPP et le modèle logique aident à expliquer comment et pourquoi un programme fonctionne.
• L'évaluation doit être conçue avant le programme, en partant du résultat que l'on veut atteindre.

Sommaire

• Qu'est-ce que le modèle de Kirkpatrick
• Les quatre niveaux dans l'éducation médicale
• Ce que les revues ont trouvé
• Les critiques du modèle
• Alternatives et compléments
• Comment concevoir l'évaluation d'un programme
• Kirkpatrick au quotidien de ceux qui enseignent
• Comment NEXO entre dans l'évaluation d'un programme
• Questions fréquentes
• Checklist de l'évaluation d'un programme

Qu'est-ce que le modèle de Kirkpatrick

Le modèle a été proposé par Donald Kirkpatrick à la fin des années 1950 pour évaluer des formations en entreprise. La question était pratique : comment savoir si un cours offert aux employés a valu l'investissement ? La réponse a été de diviser l'évaluation en quatre niveaux, chacun plus exigeant que le précédent. D'abord, comment les participants ont réagi. Ensuite, ce qu'ils ont appris. Puis, s'ils ont changé de comportement au travail. Enfin, si l'organisation a obtenu les résultats attendus.

L'éducation médicale a adopté le modèle avec enthousiasme, parce qu'il offre un vocabulaire commun pour une question difficile. Quand un article dit qu'il a évalué un cours « au niveau deux », tout lecteur sait qu'il y a eu une mesure de l'apprentissage, et pas seulement de la satisfaction. Le guide AMEE de Frye et Hemmer décrit le modèle de Kirkpatrick aux côtés d'autres modèles d'évaluation et rappelle que le choix dépend de la complexité du programme et de ce que les éducateurs ont besoin de savoir.

Une adaptation pour l'éducation médicale

Dans la tradition de l'éducation médicale fondée sur les preuves, Belfield et collègues ont proposé cinq niveaux d'efficacité : participation, réaction, apprentissage, comportement et résultats de santé. En analysant plus de trois cents résumés, ils ont trouvé peu de recherche sur les devenirs en santé et beaucoup d'ambiguïté sur ce qui compte comme mesure d'efficacité. Beaucoup de revues systématiques du domaine utilisent encore une version de cette échelle, avec le niveau deux divisé en changement d'attitudes et changement de connaissances ou de compétences, et le niveau quatre divisé en changement dans l'organisation et bénéfice pour les patients.

Évaluation de résultat et évaluation de programme

Il vaut la peine de séparer dès maintenant deux types de question. L'évaluation de résultat veut savoir si le programme a produit l'effet attendu. L'évaluation de programme veut savoir comment et pourquoi l'effet est apparu ou n'est pas apparu, dans quel contexte et pour qui. Le modèle de Kirkpatrick répond très bien à la première et peu à la seconde, et cette différence explique la majeure partie des critiques qui apparaissent plus loin.

Les quatre niveaux dans l'éducation médicale

Chaque niveau répond à une question différente et demande des instruments différents. Le tableau ci-dessous résume les niveaux avec des exemples typiques d'un module de raisonnement clinique ou de simulation.

Niveau	Question	Exemple de mesure	Limite principale
1. Réaction	Les participants ont-ils aimé et trouvé cela utile ?	Questionnaire de satisfaction lors de la dernière séance	Aimer n'est pas apprendre
2. Apprentissage	Y a-t-il eu un gain de connaissances, d'habileté ou d'attitude ?	Examen avant et après ; station de compétences	Le gain au test peut ne pas arriver jusqu'au service
3. Comportement	La pratique dans le service a-t-elle changé ?	Observation directe ; revue de dossiers	Dépend du contexte, de l'encadrement et du temps
4. Résultats	Les patients ou l'institution en ont-ils bénéficié ?	Indicateurs de qualité et de sécurité	De nombreux facteurs au-delà du programme

Niveau 1 : réaction

La réaction est le niveau le plus facile à mesurer et le plus mesuré. Un court questionnaire à la fin du cours révèle si le contenu a paru pertinent, si le format a fonctionné et si les participants recommanderaient l'expérience. Cette donnée a de la valeur : un cours que personne ne supporte n'enseigne difficilement quelque chose. Le problème est de s'arrêter là. La satisfaction dépend de facteurs comme le charisme de l'enseignant, l'horaire et les attentes, et n'a pas de lien garanti avec l'apprentissage.

Niveau 2 : apprentissage

Le deuxième niveau demande s'il y a eu un gain mesurable de connaissances, d'habileté ou d'attitude. Examens avant et après, stations pratiques, évaluation de cas écrits et échelles d'attitude entrent ici. La qualité de l'instrument compte beaucoup. En évaluation fondée sur la simulation, la revue d'Ilgen et collègues a comparé des checklists et des échelles globales et a trouvé une corrélation élevée entre les deux types d'instrument, avec une fiabilité inter-évaluateurs semblable, ce qui aide à choisir selon la tâche et l'expérience de celui qui évalue.

Niveau 3 : comportement

Le troisième niveau veut savoir si la personne s'est mise à faire quelque chose de différent au travail. C'est ici que l'évaluation devient coûteuse : elle exige une observation dans le service, une revue de dossiers ou des récits de collègues, et il faut du temps pour que le changement apparaisse. C'est aussi ici que le contexte pèse le plus. Un interne qui a appris à faire une pause pour revoir ses hypothèses peut ne pas utiliser ce qu'il a appris si l'équipe ne laisse pas de place pour cela.

Niveau 4 : résultats

Le quatrième niveau demande si les patients, les équipes ou l'institution en ont bénéficié. Dans l'éducation médicale, cela peut signifier moins d'erreurs, une meilleure adhésion aux protocoles ou de meilleurs résultats cliniques. C'est le niveau le plus souhaité et le plus difficile à attribuer au programme, parce que de nombreux facteurs changent en même temps dans un hôpital.

Ce que les revues ont trouvé

Quand les chercheurs utilisent le modèle pour classer des études publiées, le constat se répète : beaucoup d'évaluation de réaction et d'apprentissage, peu de comportement et presque aucune de résultats.

Formation continue et stages

Dans une revue sur la formation médicale continue par internet, Curran et Fleet ont trouvé que la plupart des évaluations reposaient sur la satisfaction des participants, avec peu de recherche sur le changement de pratique et aucune étude montrant un effet sur les résultats des patients. Dans la revue de Turkeshi et collègues sur les stages de médecine de famille en premier cycle, 26 études ont évalué le niveau un, 26 le niveau deux et seulement 6 le niveau trois.

Enseignement espacé et récits numériques

La revue de Phillips et collègues sur l'enseignement espacé dans la formation continue a utilisé le modèle pour séparer les gains de connaissances des changements dans la pratique et dans les résultats des patients, et a montré comment l'effet devient moins certain à mesure que l'on monte de niveau. La revue de Moreau et collègues sur les récits numériques dans l'éducation des professions de santé n'a inclus que des études avec des résultats aux niveaux deux ou trois ; sur les seize articles analysés, quatorze portaient sur l'apprentissage et seulement deux étudiaient aussi un changement de comportement.

Simulation : un cas à part

La simulation est le domaine le plus documenté aux niveaux les plus élevés. La méta-analyse de Cook et collègues a réuni 609 études portant sur plus de 35 000 participants et a trouvé des effets favorables de la simulation par rapport à aucune intervention sur les connaissances, les compétences et les comportements, avec des effets modérés sur les critères de jugement des patients. Pourtant, la plupart des études utilisaient un plan à groupe unique avec mesure avant et après. Et la revue de Brydges et collègues a montré que la corrélation entre la performance en simulation et les critères de jugement des patients sur le terrain était bien plus faible que la corrélation avec les comportements des professionnels, ce qui rappelle qu'un bon résultat au niveau deux ne se traduit pas automatiquement par un résultat au niveau quatre.

Les critiques du modèle

La popularité du modèle s'est accompagnée de critiques solides. Elles ne demandent pas d'abandonner le modèle, mais de l'utiliser en sachant ce qu'il mesure et ce qu'il laisse de côté.

Les niveaux ne forment pas une échelle causale

Le modèle est souvent lu comme une chaîne : une bonne réaction mène à l'apprentissage, qui mène au comportement, qui mène aux résultats. La revue de Allen, Hay et Palermo cite cette supposition de liens causaux positifs entre les niveaux parmi les principales critiques, aux côtés de l'accent exclusif sur les résultats, de l'idée que les niveaux plus élevés sont toujours plus importants et du manque d'attention aux effets non prévus.

Il convient aux programmes simples

Yardley et Dornan ont analysé l'usage des niveaux comme instrument d'évaluation critique des preuves et ont conclu qu'ils portent tant de suppositions implicites qu'ils ne conviennent qu'à des plans pédagogiques relativement simples, à des critères de jugement à court terme et à des bénéficiaires qui ne sont pas les apprenants eux-mêmes ; des conditions réunies par peut-être un cinquième des revues en éducation médicale. Pour le reste, l'usage hiérarchique des niveaux apporte peu.

Il ignore le contexte

Un même cours peut fonctionner dans un hôpital et échouer dans un autre, à cause de la culture, de la charge de travail ou du soutien de la hiérarchie. Le modèle original ne s'interroge sur aucun de ces facteurs. Pour qui coordonne un programme, cela signifie qu'un mauvais résultat au niveau trois peut avoir peu à voir avec la qualité de l'enseignement et beaucoup à voir avec l'environnement dans lequel l'apprenant est retourné.

Les niveaux élevés ne sont pas toujours meilleurs

Une autre critique fréquente est l'idée qu'une étude au niveau quatre vaut automatiquement plus qu'une étude au niveau deux. En pratique, une étude bien conçue sur l'apprentissage, avec un instrument fiable et un groupe de comparaison, peut apporter bien plus qu'une association lâche entre un cours et un indicateur de l'hôpital. Le niveau dit ce qui a été mesuré ; la qualité du plan dit à quel point on peut se fier au résultat. Pour qui lit des articles d'éducation médicale, il vaut la peine d'examiner les deux choses séparément avant de tirer des conclusions, et pour qui écrit, il vaut la peine de décrire le plan avec le même soin que celui apporté à décrire le niveau atteint.

Alternatives et compléments

La réponse aux critiques est venue de deux directions : actualiser Kirkpatrick lui-même et combiner le modèle avec d'autres qui s'intéressent au processus et au contexte.

New World Kirkpatrick

La version appelée New World Kirkpatrick inverse l'ordre de planification : elle part des résultats souhaités et remonte jusqu'à la réaction. Elle ajoute aussi des éléments comme les comportements critiques que l'on s'attend à voir, les facteurs qui renforcent ou gênent le changement et les indicateurs intermédiaires. Moreau décrit comment cette version tente de répondre à trois critiques centrales du modèle original et invite les éducateurs médicaux à la tester dans des programmes complexes.

Modèle logique et CIPP

Le modèle logique dessine la chaîne qui relie ressources, activités, produits et résultats, et oblige l'équipe à expliciter pourquoi elle croit que le programme va fonctionner. Le modèle CIPP évalue le contexte, les intrants, le processus et le produit, et il est utile quand le programme est encore en cours d'ajustement. Le guide de Frye et Hemmer présente ces modèles et les théories qui les sous-tendent, de la vision réductionniste à la théorie de la complexité.

Quand utiliser chacun

• Kirkpatrick : pour communiquer les résultats de façon standardisée et les comparer à la littérature.
• New World Kirkpatrick : pour planifier un programme à partir du résultat visé et suivre des indicateurs intermédiaires.
• Modèle logique : pour expliciter la théorie du programme et repérer les maillons faibles avant de commencer.
• CIPP : pour les programmes nouveaux ou en cours d'ajustement, quand le processus et le contexte comptent autant que le résultat.
• Plans expérimentaux : quand la question porte sur l'effet et que les conditions permettent un groupe de comparaison.

Comment concevoir l'évaluation d'un programme

Une évaluation qui fonctionne se planifie en même temps que le programme, et non après. Le canevas ci-dessous convient à un module de licence, à une activité de ligue académique ou à un programme de résidanat.

1. Commencez par la fin. Définissez le résultat qui justifierait l'effort : un comportement que vous voulez voir pendant l'internat ou un indicateur du service.
2. Explicitez la théorie du programme. Écrivez pourquoi vous pensez que les activités mènent à ce résultat, et quelles conditions doivent exister.
3. Choisissez un indicateur par niveau. Un court questionnaire de réaction, une mesure d'apprentissage avec un instrument fiable et une façon réaliste d'observer le comportement.
4. Planifiez la mesure de référence. Mesurez avant de commencer, ou prévoyez un groupe de comparaison.
5. Cherchez les effets non prévus. Demandez aux participants ce qui a changé sans que vous l'ayez prévu, en bien comme en mal.
6. Utilisez les données pour ajuster. L'évaluation existe pour améliorer le programme, pas seulement pour justifier son existence.

Exemple : un module de raisonnement clinique

Imaginez un module de huit semaines avec des cas cliniques hebdomadaires en quatrième année. Au niveau un, un questionnaire de cinq questions à la fin. Au niveau deux, une épreuve avec des cas écrits avant et après, corrigée avec un corrigé défini. Au niveau trois, la relecture d'un échantillon d'observations rédigées pendant l'internat, à la recherche de la mention d'un diagnostic différentiel. Au niveau quatre, mesurer un critère de jugement chez le patient n'est peut-être pas réaliste, et il n'y a aucun mal à le dire clairement. Le guide sur l'apprentissage par cas cliniques aide à concevoir le module, et le texte sur le feedback dans les cas cliniques montre comment rendre les résultats aux apprenants.

Erreurs fréquentes

Mesurer seulement la satisfaction et appeler cela une évaluation. Utiliser une épreuve faite à la hâte, sans savoir si elle mesure ce que l'on veut. Attendre un changement de comportement en deux semaines. Attribuer au programme une amélioration venue d'un autre changement dans le service. Et, peut-être le plus fréquent, décider de ce qu'il faut mesurer une fois le programme terminé. Pour comprendre comment entretenir ce qui a été appris, le guide sur la rétention des connaissances médicales complète la discussion, et le texte sur l'apprentissage actif aide à choisir des activités qui tendent à produire de l'apprentissage.

Kirkpatrick au quotidien de ceux qui enseignent

Le modèle apparaît souvent dans les articles et les rapports institutionnels, mais il est aussi utile à plus petite échelle : une ligue académique, un stage, une séance hebdomadaire de discussion de cas. Dans ces situations, personne ne va monter une étude contrôlée, et ce n'est pas nécessaire. Il suffit d'utiliser les niveaux comme rappel des questions qui valent la peine d'être posées.

Dans la ligue académique

Les ligues organisent des cours, des symposiums et des formations pratiques avec beaucoup d'énergie et peu de temps pour évaluer. Une voie réaliste consiste à associer une question de réaction à la fin de chaque rencontre à une petite mesure d'apprentissage chaque semestre, comme trois cas courts résolus avant et après un cycle de cours. Si la ligue forme à une compétence, comme une séquence de prise en charge, il vaut la peine d'observer quelques membres en simulation et de noter ce qui a changé. Cela place déjà la ligue au-dessus de la plupart des évaluations publiées, qui s'arrêtent à la satisfaction.

Dans le stage et l'internat

Le tuteur a un accès privilégié au niveau trois : il voit l'étudiant dans le service. Une façon simple d'en profiter est de définir, au début du stage, deux ou trois comportements attendus à la fin, comme présenter le cas avec un diagnostic différentiel ou vérifier les résultats en attente avant la relève de garde. Au fil des semaines, le tuteur note si ces comportements apparaissent. Ce relevé sert à donner du feedback à l'étudiant et, additionné à celui d'autres tuteurs, à évaluer le stage lui-même.

Dans le résidanat

Les programmes de résidence collectent déjà beaucoup de données : évaluations de performance, registres de procédures, indicateurs du service. Le défi est de relier ces données à des changements précis du programme. Quand la résidence introduit une activité nouvelle, comme une séance hebdomadaire de raisonnement clinique, il vaut la peine de choisir à l'avance un indicateur de comportement déjà collecté et de suivre la tendance avant et après, en gardant toujours à l'esprit que d'autres changements surviennent en même temps.

Parler des résultats avec les étudiants

Évaluer un programme est aussi une occasion d'enseignement. Montrer à la classe ce qui a été mesuré, ce qui s'est amélioré et ce qui ne s'est pas amélioré enseigne, en pratique, comment se lit une preuve éducative. Et cela ouvre un espace pour que les étudiants eux-mêmes suggèrent des changements, ce qui améliore souvent le programme plus vite que n'importe quel questionnaire.

Comment NEXO entre dans l'évaluation d'un programme

NEXO peut servir d'activité de pratique au sein d'un programme de raisonnement clinique. Le cas du jour arrive en six indices au maximum, et à chaque Sans hypothèse, la proximité dans la CIM-10 en cinq niveaux montre à quelle distance l'hypothèse est restée du diagnostic. Les cas sont fictifs avec une présentation clinique réelle. Pour qui conçoit l'évaluation, la question est la même que pour toute activité : à quel niveau attendez-vous un effet et comment allez-vous le mesurer ?

Le guide qu'est-ce que NEXO explique toute la partie, et le texte sur la gamification dans l'éducation médicale résume ce que montrent les preuves sur les jeux dans l'enseignement. La façon dont les modes sont débloqués figure sur la page économie de NEXO.

Si vous coordonnez une faculté, une ligue ou une résidence et souhaitez utiliser NEXO avec une classe, découvrez NEXO Closer. Les chercheurs en éducation médicale qui veulent concevoir des études d'évaluation peuvent proposer des projets via NEXO Researcher. Les médecins qui révisent des cas participent via NEXO Curator, et ceux qui créent du contenu de santé sur les réseaux peuvent participer via NEXO Creators.

Questions fréquentes

Quels sont les quatre niveaux du modèle de Kirkpatrick ?

Réaction, apprentissage, comportement et résultats. Chaque niveau répond à une question : si les participants ont aimé, s'ils ont appris, s'ils ont changé leur pratique et s'il y a eu un bénéfice pour les patients ou pour l'institution.

Faut-il mesurer les quatre niveaux dans tout programme ?

Non. Choisissez les niveaux qui ont du sens pour l'objectif et pour les ressources disponibles, et dites clairement ce qui n'a pas été mesuré. Un programme court peut être bien évalué aux niveaux un et deux.

Une satisfaction élevée signifie que le cours a fonctionné ?

Pas nécessairement. La satisfaction montre que l'expérience a été bien accueillie, mais ne garantit ni l'apprentissage ni le changement de pratique.

Quelle est la principale critique du modèle ?

La supposition que les niveaux forment une chaîne causale et l'accent mis sur les résultats sans regarder le contexte ni les effets non planifiés. C'est pourquoi le modèle fonctionne mieux combiné à des approches d'évaluation de programme.

Qu'est-ce que le New World Kirkpatrick ?

Une mise à jour qui commence la planification par les résultats souhaités et ajoute des comportements critiques, des facteurs de renforcement et des indicateurs intermédiaires.

Quel modèle utiliser à la place de Kirkpatrick ?

Cela dépend de la question. Le modèle logique et le CIPP aident à comprendre comment et pourquoi un programme fonctionne ; les devis expérimentaux répondent mieux aux questions d'effet. Beaucoup de programmes en combinent plusieurs.

Checklist de l'évaluation d'un programme

• Définissez le résultat qui justifierait le programme avant de planifier les activités.
• Écrivez la théorie du programme : pourquoi les activités mèneraient au résultat.
• Choisissez un indicateur réaliste pour chaque niveau que vous allez mesurer.
• Utilisez des instruments avec des preuves de validité pour mesurer l'apprentissage.
• Mesurez la ligne de base ou associez un groupe de comparaison.
• Interrogez les effets non planifiés.
• Rapportez clairement ce qui n'a pas été mesuré.
• Utilisez les résultats pour ajuster le programme lors de la prochaine classe.

Vous voulez une activité quotidienne de raisonnement clinique pour votre classe ? Jouez le cas du jour sur NEXO.

Références

1. Yardley S, Dornan T. Kirkpatrick's levels and education 'evidence'. Med Educ. 2012. PubMed 22150201
2. Allen LM, Hay M, Palermo C. Evaluation in health professions education-Is measuring outcomes enough?. Med Educ. 2022. PubMed 34463357
3. Moreau KA. Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox?. Med Teach. 2017. PubMed 28649887
4. Curran VR, Fleet L. A review of evaluation outcomes of web-based continuing medical education. Med Educ. 2005. PubMed 15910431
5. Turkeshi E, Michels NR, Hendrickx K, Remmen R. Impact of family medicine clerkships in undergraduate medical education: a systematic review. BMJ Open. 2015. PubMed 26243553
6. Phillips JL, Heneka N, Bhattarai P, Fraser C, Shaw T. Effectiveness of the spaced education pedagogy for clinicians' continuing professional development: a systematic review. Med Educ. 2019. PubMed 31144348
7. Moreau KA, Eady K, Sikora L, Horsley T. Digital storytelling in health professions education: a systematic review. BMC Med Educ. 2018. PubMed 30200945
8. Frye AW, Hemmer PA. Program evaluation models and related theories: AMEE guide no. 67. Med Teach. 2012. PubMed 22515309
9. Belfield C, Thomas H, Bullock A, Eynon R, Wall D. Measuring effectiveness for best evidence medical education: a discussion. Med Teach. 2001. PubMed 11371293
10. Cook DA, Hatala R, Brydges R, Zendejas B, Szostek JH, Wang AT, et al. Technology-enhanced simulation for health professions education: a systematic review and meta-analysis. JAMA. 2011. PubMed 21900138
11. Brydges R, Hatala R, Zendejas B, Erwin PJ, Cook DA. Linking simulation-based educational assessments and patient-related outcomes: a systematic review and meta-analysis. Acad Med. 2015. PubMed 25374041
12. Ilgen JS, Ma IW, Hatala R, Cook DA. A systematic review of validity evidence for checklists versus global rating scales in simulation-based assessment. Med Educ. 2015. PubMed 25626747