Modèle de Kirkpatrick : évaluer un enseignement

La formation en raisonnement clinique est terminée, et la coordination demande un rapport. La première idée est toujours la même : un formulaire le dernier jour, avec des notes de un à cinq pour l'enseignant, le matériel et les horaires. Les notes sont hautes, et tout le monde est satisfait. Pourtant, personne ne sait si le groupe a mieux raisonné, si quelque chose a changé pendant le stage ou si un patient a été pris en charge autrement à cause de la formation.

NEXO est un jeu quotidien de diagnostic médical : un cas clinique par jour, six indices progressifs et un retour de proximité dans la CIM-10 sur cinq niveaux.

La question « la formation a-t-elle fonctionné ? » comporte plusieurs couches, et le modèle de Kirkpatrick est la façon la plus connue de les séparer. Ce guide explique les quatre niveaux, montre ce que les revues ont trouvé lorsqu'elles ont appliqué le modèle à l'éducation médicale, présente les critiques les plus sérieuses et propose un canevas pour concevoir l'évaluation d'une formation, d'un stage ou d'une ligue.

Points principaux

• Le modèle de Kirkpatrick organise l'évaluation d'un programme en quatre niveaux : réaction, apprentissage, comportement et résultats.
• Dans les revues d'éducation médicale, la plupart des études restent aux deux premiers niveaux, et peu atteignent le comportement ou le patient.
• Une analyse critique a conclu que le modèle ne convient bien qu'aux dispositifs simples, condition remplie par environ un cinquième des revues du domaine.
• Les principales critiques : l'accent sur le résultat sans expliquer le pourquoi, la supposition qu'un niveau mène au suivant et l'idée que le niveau le plus élevé vaut plus.
• Une version révisée, la New World Kirkpatrick, tente de répondre à une partie de ces critiques, mais l'évaluation exige encore des questions sur le processus.

Qu'est-ce que le modèle de Kirkpatrick

Une origine hors de la médecine

Le modèle a été créé par Donald Kirkpatrick pour évaluer des formations dans l'industrie et n'est arrivé que plus tard à l'éducation médicale (Yardley et Dornan, 2012). L'idée centrale est simple : une formation peut être évaluée par couches de plus en plus éloignées de la salle de classe, de ce que le participant a pensé jusqu'à l'effet sur l'organisation.

Aujourd'hui, le modèle est partout. Une revue de 2022 a décrit son usage dans les professions de santé comme large et croissant, et a montré qu'il est entré dans des outils de qualité de la recherche et dans des lignes directrices de revue, comme le MERSQI et le BEME (Allen et al., 2022).

Évaluer le programme, et pas seulement l'étudiant

Évaluer un programme est différent d'évaluer un étudiant. L'examen mesure ce qu'une personne sait ; l'évaluation du programme demande si l'ensemble des cours, des stages, des matériels et des activités a produit l'effet visé, et pourquoi. La distinction compte parce qu'un programme peut faire réussir tous les étudiants et malgré tout manquer l'objectif qui le justifiait.

Quand évaluer un outil est une autre affaire

Évaluer une application ou un jeu, comme le fait le guide sur la gamification dans l'éducation médicale, porte sur une pièce isolée. Le modèle de Kirkpatrick est plus utilisé pour la formation entière, où l'outil n'est qu'un des ingrédients.

Les quatre niveaux dans l'éducation médicale

Niveau 1 : réaction

Ce que les participants ont pensé : satisfaction, pertinence perçue, envie de recommander. C'est le niveau le plus facile à mesurer, avec un formulaire le dernier jour. C'est aussi celui qui en dit le moins sur l'apprentissage, parce qu'aimer un cours et apprendre avec lui sont deux choses différentes.

Niveau 2 : apprentissage

Ce qui a changé en connaissances, en habiletés ou en attitudes. Ici entrent les examens avant et après, les stations pratiques et les questionnaires d'attitude. Dans une formation en raisonnement clinique, par exemple, il s'agirait de comparer la performance sur des cas écrits au début et à la fin, avec le même type de cas et le même critère de correction.

Niveau 3 : comportement

Ce que le participant s'est mis à faire différemment au travail. C'est plus difficile à mesurer parce que cela exige d'observer la pratique : inscriptions au dossier, observation directe, évaluation par les précepteurs. Le guide de simulation de consultation montre des instruments d'observation qui peuvent servir ici.

Niveau 4 : résultats

L'effet sur les patients, les services ou les indicateurs du système. C'est le niveau le plus cité comme idéal et le plus rare à atteindre, parce que beaucoup d'autres choses changent entre la formation et le patient.

Ce que les revues ont trouvé

Beaucoup de réactions, peu de patients

Une revue sur la formation médicale continue par internet a classé les résultats évalués selon les niveaux de Kirkpatrick et conclu que la plupart des recherches reposaient sur des données de satisfaction des participants (Curran et Fleet, 2005). Peu de recherches montraient un changement dans la pratique clinique, et aucune étude ne montrait d'effet sur les critères de jugement des patients ou de santé (Curran et Fleet, 2005).

Le schéma s'est répété en formation initiale. Une revue systématique sur les stages en médecine de famille a inclus 64 articles : 26 études évaluaient au niveau 1, 26 au niveau 2 et 6 au niveau 3 (Turkeshi et al., 2015). Les auteurs ont jugé la qualité de la recherche limitée et ont demandé des instruments standardisés et validés (Turkeshi et al., 2015).

Quand l'évaluation va plus loin

Une revue sur l'apprentissage espacé pour les médecins déjà formés a trouvé 17 études, avec 2 701 professionnels, et toutes ont été évaluées par une version modifiée des quatre niveaux (Phillips et al., 2019). Dix études montraient un gain de connaissances, sept rapportaient un changement de comportement clinique et seulement deux rapportaient une amélioration des critères de jugement des patients (Phillips et al., 2019).

Le dessin en entonnoir est typique : beaucoup d'études au début, peu à la fin. L'explication est en partie pratique, car mesurer un critère de jugement patient exige du temps, un échantillon et un accès à des données qu'une formation a rarement.

Un exemple avec la version révisée

Une revue sur les récits numériques dans l'enseignement des professions de santé a utilisé la New World Kirkpatrick et n'a inclus que des études avec un résultat aux niveaux 2 ou 3 (Moreau et al., 2018). Sur 16 articles avec des données, 14 portaient sur l'apprentissage et seulement deux mesuraient aussi un changement de comportement (Moreau et al., 2018). Même avec le modèle révisé, le niveau 3 est resté rare.

Les critiques du modèle

Il convient aux dispositifs simples

Une analyse critique a conclu que les niveaux portent tant de suppositions implicites qu'ils ne fonctionnent bien que dans des dispositifs d'enseignement relativement simples, avec des résultats à court terme et des bénéficiaires qui vont au-delà des apprenants (Yardley et Dornan, 2012). Selon les auteurs, ces conditions sont réunies par peut-être un cinquième des revues de preuves en éducation médicale (Yardley et Dornan, 2012).

Hors de ces conditions, utiliser les niveaux comme hiérarchie de qualité apporte peu, et la qualité d'une preuve dépend autant de l'usage que l'on veut en faire que de toute mesure objective (Yardley et Dornan, 2012).

Quatre problèmes de fond

La revue de 2022 a résumé les principales critiques du modèle (Allen et al., 2022) :

• L'accent est mis sur le résultat, et les facteurs qui influencent le résultat restent de côté.
• On suppose un lien causal positif entre les niveaux, comme si la satisfaction menait à l'apprentissage et l'apprentissage au changement de pratique.
• On suppose que le niveau le plus élevé est le plus important.
• Les effets non voulus du programme restent invisibles.

Les auteurs ajoutent que l'usage du modèle par des outils comme le MERSQI et par des organisations comme le BEME et l'OMS nourrit le mythe selon lequel il est la référence pour évaluer les programmes (Allen et al., 2022). Leur proposition est de passer de la mesure des résultats à l'étude de la manière dont ils se produisent et des raisons de leur apparition (Allen et al., 2022).

La New World Kirkpatrick

En réponse à ces critiques est apparue la New World Kirkpatrick, une version révisée pour les environnements complexes (Moreau, 2017). L'article qui la présente souligne trois critiques du modèle original et discute de la manière dont la version nouvelle tente d'y répondre, en invitant les enseignants à la tester et à examiner ses points forts et ses points faibles (Moreau, 2017).

En pratique, la version nouvelle suggère de commencer par le résultat souhaité et de concevoir le programme à rebours, en plus de regarder ce qui se passe entre les niveaux. Elle améliore la carte, mais la question du processus reste à la charge de celui qui évalue.

Comment concevoir l'évaluation d'un programme

Commencez par la question

Avant de choisir un instrument, définissez ce que le programme promet. Un cours de raisonnement clinique peut promettre que la classe construira des listes d'hypothèses plus complètes, comme le décrit le guide de diagnostic différentiel. Cette promesse indique le niveau qui compte le plus et le type de donnée nécessaire.

Choisissez un indicateur par niveau

Un dispositif minimal peut comporter un indicateur par niveau :

Niveau	Question	Exemple d'indicateur
Réaction	La classe a-t-elle trouvé le cours pertinent ?	Questionnaire court à la fin de chaque module
Apprentissage	Le raisonnement s'est-il amélioré ?	Cas rédigés avant et après, avec la même grille de correction
Comportement	La pratique a-t-elle changé ?	Observation des précepteurs ou examen des dossiers pendant le stage
Résultats	Quelque chose a-t-il changé pour le service ou le patient ?	Indicateur choisi avec le service, lorsqu'il y a accès

Le niveau 4 peut rester un objectif à long terme. Mieux vaut le déclarer dans le rapport que d'inventer un lien que les données ne soutiennent pas.

Demandez aussi comment et pourquoi

Pour répondre à la critique d'un intérêt porté uniquement au résultat, ajoutez des questions sur le processus (Allen et al., 2022) : qui a réellement participé, quelles parties ont fonctionné, ce qui a gêné, quels effets personne n'attendait. Des entretiens courts et des groupes de discussion servent à cela.

Utilisez les retours comme données

Les commentaires ouverts d'un formulaire sont des données de processus. Lire ces réponses avec méthode, comme le suggère le guide de retour d'information dans les cas cliniques, aide à expliquer pourquoi un niveau a progressé et un autre est resté inchangé.

Suivez dans le temps

Une mesure au dernier jour montre l'effet immédiat. Une seconde mesure des mois plus tard montre ce qui est resté, un point lié à la rétention des connaissances médicales. Les programmes d'apprentissage actif et d'apprentissage par cas profitent de ce suivi, car l'effet visé apparaît souvent pendant le stage, et non en salle.

Données de performance et recherche dans NEXO

NEXO enregistre des informations qui peuvent servir d'indicateurs de processus dans une évaluation : la répartition des bonnes réponses par indice montre à quel moment chaque joueur parvient habituellement au diagnostic, et la proximité dans la CIM-10 en cinq niveaux montre à quelle distance chaque hypothèse s'est située. Le cas du jour arrive en six indices au maximum, et le classement de groupe permet de suivre une classe. Ces données décrivent la performance dans le jeu ; ce qu'elles disent de la pratique est une question de recherche.

Les cas sont fictifs avec une présentation clinique réelle, et le guide qu'est-ce que NEXO explique la partie entière. La façon dont les modes sont débloqués figure sur la page d'économie de NEXO.

Les chercheurs en éducation médicale qui souhaitent étudier le jeu avec un dispositif d'évaluation propre peuvent proposer des études via NEXO Researcher. Si vous coordonnez une faculté, une ligue ou un internat, découvrez NEXO Closer. Les médecins qui révisent des cas participent via NEXO Curator, et ceux qui créent du contenu de santé sur les réseaux peuvent participer via NEXO Creators.

Questions fréquentes

Qu'est-ce que le modèle de Kirkpatrick ?

C'est un modèle d'évaluation des formations en quatre niveaux : réaction, apprentissage, comportement et résultats.

Quels sont les quatre niveaux de Kirkpatrick ?

Réaction (ce que les participants ont pensé), apprentissage (ce qu'ils ont appris), comportement (ce qui a changé dans la pratique) et résultats (l'effet sur le service ou le patient).

Le niveau 4 est-il toujours le plus important ?

La revue de 2022 cite cette supposition parmi les critiques du modèle (Allen et al., 2022). Le niveau le plus important dépend de la question du programme.

Qu'est-ce que la New World Kirkpatrick ?

Une version révisée du modèle qui tente de répondre aux critiques de l'original et de gérer des environnements d'enseignement complexes (Moreau, 2017).

Pourquoi tant d'études restent-elles aux niveaux 1 et 2 ?

Parce que mesurer le comportement et le résultat exige une observation dans la pratique, plus de temps et un accès à des données que beaucoup de cours omettent encore de prévoir.

NEXO peut-il s'intégrer à une évaluation ?

Les données de performance dans le jeu peuvent servir d'indicateur de processus, et les propositions d'étude passent par NEXO Researcher.

Liste de contrôle de l'évaluation d'un programme

1. Écrivez la promesse du programme en une phrase.
2. Choisissez le niveau qui répond à cette promesse.
3. Définissez un indicateur pour chaque niveau que vous allez mesurer.
4. Mesurez avant et après, avec le même critère.
5. Demandez comment et pourquoi, au-delà du combien.
6. Cherchez les effets inattendus, bons et mauvais.
7. Répétez la mesure des mois plus tard.

Vous voulez voir le raisonnement en données ? Jouez le cas du jour sur NEXO.

Références

1. Yardley S, Dornan T. Kirkpatrick's levels and education 'evidence'. Med Educ. 2012. https://pubmed.ncbi.nlm.nih.gov/22150201/
2. Allen LM, Hay M, Palermo C. Evaluation in health professions education-Is measuring outcomes enough? Med Educ. 2022. https://pubmed.ncbi.nlm.nih.gov/34463357/
3. Moreau KA. Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox? Med Teach. 2017. https://pubmed.ncbi.nlm.nih.gov/28649887/
4. Curran VR, Fleet L. A review of evaluation outcomes of web-based continuing medical education. Med Educ. 2005. https://pubmed.ncbi.nlm.nih.gov/15910431/
5. Turkeshi E, Michels NR, Hendrickx K, Remmen R. Impact of family medicine clerkships in undergraduate medical education: a systematic review. BMJ Open. 2015. https://pubmed.ncbi.nlm.nih.gov/26243553/
6. Phillips JL, Heneka N, Bhattarai P, Fraser C, Shaw T. Effectiveness of the spaced education pedagogy for clinicians' continuing professional development: a systematic review. Med Educ. 2019. https://pubmed.ncbi.nlm.nih.gov/31144348/
7. Moreau KA, Eady K, Sikora L, Horsley T. Digital storytelling in health professions education: a systematic review. BMC Med Educ. 2018. https://pubmed.ncbi.nlm.nih.gov/30200945/