Suivre ses progrès en études de médecine

Dans quatre études avec des tests d'humeur, de grammaire et de logique, ceux qui se situaient dans le quartile inférieur, avec un résultat proche du 12e percentile, estimaient être au 62e percentile (Kruger et Dunning, 1999). Les auteurs ont relié cet écart à la difficulté de distinguer sa propre réussite de sa propre erreur (Kruger et Dunning, 1999). Pour qui étudie la médecine, la leçon est directe : la sensation d'aller bien est une donnée faible, et mesurer le progrès demande des chiffres qui viennent de l'extérieur de la tête.

NEXO est un jeu quotidien de diagnostic médical : un cas clinique par jour, six indices progressifs et un retour de proximité dans la CIM-10 sur cinq niveaux.

Ce texte traite de la façon de mesurer le progrès dans les études : ce que la recherche dit sur l'auto-évaluation des étudiants en santé, comment comparer la confiance avec la réussite, quelles métriques aident vraiment, comment séparer les objectifs de processus des objectifs de résultat et comment lire un examen blanc. La partie sur l'enregistrement et la classification de chaque erreur se trouve dans le texte sur le cahier d'erreurs.

Points principaux

• L'auto-évaluation des étudiants en santé avait une validité faible à modérée dans une revue classique (Gordon, 1991).
• Les étudiants en médecine s'évaluent de façon modérée et deviennent plus précis dans les dernières années du cursus (Blanch-Hartigan, 2011).
• La calibration consiste à comparer la confiance avec la réussite, et elle peut être suivie comme une métrique.
• La réussite par thème, les erreurs par type et la calibration en disent plus que la note globale.
• Les objectifs de processus au début et de résultat ensuite ont donné les meilleurs résultats dans une expérience classique (Zimmerman et Kitsantas, 1997).
• Les examens blancs et les tests de progrès sont des mesures externes utiles quand on les lit comme une série, et non comme une note isolée (Schuwirth et van der Vleuten, 2012).

Pourquoi mesurer le progrès

Le cursus de médecine est long, le volume de contenu est grand et les grands examens arrivent à des mois d'intervalle. Entre un examen et un autre, la référence la plus à portée de main est sa propre impression, et c'est justement elle qui est la plus sujette à l'erreur.

L'impression d'apprendre

Relire un résumé donne la sensation de maîtriser, parce que le texte semble familier. Le texte sur la routine d'étude explique pourquoi la sensation de savoir trompe. Mesurer le progrès, c'est remplacer cette impression par des réponses : combien de questions de cardiologie vous avez réussies cette semaine, dans quel type d'erreur vous êtes le plus tombé, à quel point votre confiance a correspondu au résultat.

Mesurer pour décider

Une mesure ne vaut que si elle change une décision. Comme suggestion pratique, avant de créer n'importe quelle métrique, demandez-vous : si ce chiffre baisse, qu'est-ce que je fais différemment ? Si la réponse est claire, la métrique entre dans le tableau de bord. Si la réponse est "rien", elle peut rester de côté sans dommage.

Ce que ce texte mesure

Ici, l'accent est mis sur la performance en questions et en cas : réussite, erreur, confiance et évolution au fil du temps. Les heures d'étude et les pages lues apparaissent comme des objectifs de processus, qui ont leur place, mais qui mesurent l'effort et non l'apprentissage.

Les limites de l'auto-évaluation

L'auto-évaluation est le premier outil que tout étudiant possède, et la recherche sur elle dans les professions de santé est ancienne.

Une revue classique

Gordon a analysé 18 articles publiés entre 1970 et 1990 qui comparaient l'auto-évaluation de personnes en formation, dont 14 avec des étudiants et des internes en santé, avec l'évaluation de spécialistes ou de tests objectifs (Gordon, 1991). La validité de l'auto-évaluation était faible à modérée et ne s'est pas améliorée avec le temps dans les programmes de formation conventionnels (Gordon, 1991).

Deux constats de la revue comptent beaucoup pour qui étudie. L'auto-évaluation a semblé liée à une image générale que la personne a d'elle-même et a peu changé avec les notes, les résultats d'examens ou les évaluations des enseignants (Gordon, 1991). En revanche, dans 5 programmes avec des objectifs explicites d'auto-évaluation et un entraînement pour cela, la validité était modérée à élevée ou s'est améliorée avec le temps (Gordon, 1991). Autrement dit, s'évaluer soi-même est une compétence qui peut s'entraîner.

Trois méta-analyses avec des étudiants en médecine

Blanch-Hartigan a réuni 35 articles sur l'auto-évaluation d'étudiants en médecine dans trois méta-analyses, une pour chaque façon de mesurer la précision (Blanch-Hartigan, 2011). Les étudiants se sont montrés modérément capables d'évaluer leur propre performance et plus précis dans les dernières années du cursus (Blanch-Hartigan, 2011).

En tant que groupe, ils n'ont ni surestimé ni sous-estimé de façon significative, mais ils ont eu tendance à surestimer davantage lors de consultations avec patient standardisé, basées sur la communication, que sur des mesures objectives de connaissances (Blanch-Hartigan, 2011). Les étudiantes ont sous-estimé leur propre performance plus que les étudiants (Blanch-Hartigan, 2011).

Étude	Ce qui a été analysé	Résultat principal
Gordon, 1991	18 articles (Gordon, 1991)	Validité faible à modérée (Gordon, 1991)
Blanch-Hartigan, 2011	35 articles (Blanch-Hartigan, 2011)	Précision modérée, plus élevée dans les années finales (Blanch-Hartigan, 2011)
Kruger et Dunning, 1999	4 études hors du domaine de la santé (Kruger et Dunning, 1999)	Le quartile faible a largement surestimé son propre résultat (Kruger et Dunning, 1999)

Qui sait moins se trompe plus sur lui-même

Dans l'étude de Kruger et Dunning, améliorer la compétence des participants les a aussi aidés à reconnaître les limites de ce qu'ils savaient (Kruger et Dunning, 1999). Pour l'étudiant, cela a un côté encourageant : à mesure que vous apprenez un thème, vous devenez aussi meilleur pour percevoir ce qui vous manque encore. Sur les thèmes nouveaux, il vaut mieux se méfier davantage de sa propre impression.

Repenser ce qu'est l'auto-évaluation

Eva et Regehr ont proposé de reformuler le concept même d'auto-évaluation dans les professions de la santé et ont suggéré un programme de recherche sur le sujet (Eva et Regehr, 2005). Comme lecture éditoriale, la conséquence pratique pour celui qui étudie est de chercher des sources externes d'information, comme des questions, des cas et des examens simulés, au lieu de dépendre uniquement du jugement interne. La revue sur la précision de l'auto-évaluation des médecins déjà citée dans le carnet d'erreurs va dans la même direction ; elle se trouve dans la section l'auto-évaluation échoue.

Calibration : confiance et réussite

La calibration est la mesure dans laquelle votre confiance accompagne votre réussite. Un étudiant bien calibré réussit presque tout ce qu'il marque comme "je suis sûr" et se trompe sur une bonne partie de ce qu'il marque comme "hypothèse". Les études sur la confiance et la réussite en diagnostic sont réunies dans la section retour et calibration du texte sur les jeux de raisonnement clinique.

Noter la confiance avant la réponse

Comme suggestion pratique, lorsque vous résolvez des questions ou des cas, notez votre confiance avant de voir le corrigé, en trois niveaux : élevée, moyenne et faible. Après quelques semaines, séparez les réponses par niveau et regardez le taux de réussite de chacun. Ce qui compte, c'est la tendance, et non une question isolée.

Comment lire le résultat

Tendance	Lecture possible (suggestion de l'Editorial)
Confiance élevée et réussite élevée	Thème solide ; à maintenir en révision espacée
Confiance élevée et réussite faible	Excès de confiance ; priorité d'étude
Confiance faible et réussite élevée	Connaissance que vous sous-estimez encore ; tester davantage pour gagner en assurance
Confiance faible et réussite faible	Lacune déjà perçue ; étudier la base

La ligne la plus importante du tableau est la deuxième. Une erreur avec beaucoup de certitude montre un point où l'auto-évaluation a échoué, et c'est là que la correction rapporte le plus. Le traitement de ces erreurs dans le carnet se trouve dans le texte sur le carnet d'erreurs.

La calibration s'améliore aussi

Les programmes qui ont enseigné l'auto-évaluation de façon explicite ont eu de meilleurs résultats dans la revue de Gordon (Gordon, 1991). Comme lecture éditoriale, noter la confiance et la comparer au corrigé est une façon simple de faire cet entraînement par soi-même, avec un retour à chaque séance.

Des métriques qui aident

La note globale d'une liste de questions résume trop. Deux personnes avec le même pourcentage peuvent avoir des lacunes complètement différentes. Des métriques plus fines montrent où agir.

Taux de réussite par thème

Séparez les questions par grande aire et, à l'intérieur de celle-ci, par thème : en cardiologie, par exemple, insuffisance cardiaque, arythmies et valvulopathies. Comme suggestion pratique, suivez le taux de réussite de chaque thème au fil des semaines. Le thème qui stagne ou baisse est le candidat au prochain bloc d'étude, même si la note globale est bonne.

Erreurs par type

Compter les erreurs par type montre si le problème est un manque de connaissances, de raisonnement ou d'attention. Les catégories et la façon de les enregistrer se trouvent dans type d'erreur : connaissances, raisonnement, attention. Ici, l'important est d'utiliser ce comptage comme métrique : si les erreurs d'attention augmentent pendant un mois d'examens, la réponse est différente de celle donnée quand les erreurs de connaissances augmentent.

Calibration par thème

Le tableau de confiance et de réussite peut aussi être fait par thème. Un excès de confiance concentré sur un thème indique souvent qu'il a été étudié seulement par relecture. Comme suggestion pratique, placez ce thème dans une série de questions sans consulter.

Tendance, et non le jour

Une mauvaise semaine dit peu. Le progrès apparaît dans la série : la même métrique mesurée de la même façon, répétée dans le temps. Comme suggestion pratique, comparez les moyennes de plusieurs semaines, et non un jour avec l'autre.

Métrique	Ce qu'elle montre	Que faire quand elle se dégrade (suggestion de l'Editorial)
Réussite par thème	Où la connaissance est solide ou faible	Étudier la base du thème et tester de nouveau
Erreurs par type	Si le problème est la connaissance, le raisonnement ou l'attention	Ajuster la méthode au type d'erreur
Calibration	Si la confiance accompagne la réussite	Plus de questions sans consulter sur le thème
Évolution en examens blancs	Tendance au long du cursus	Revoir la répartition du temps entre les domaines

Métriques qui demandent de la prudence

Heures d'étude, pages lues et nombre de questions faites sont des objectifs de processus utiles, mais ils mesurent l'effort. Ils entrent dans le tableau à côté des métriques de performance, et non à leur place. Une semaine avec beaucoup d'heures et une réussite stagnante est un signal pour changer de méthode, comme le montrent les stratégies d'apprentissage actif.

Objectifs de processus et objectifs de résultat

Un objectif de processus décrit ce que vous allez faire : résoudre une liste par jour, revoir les erreurs de la semaine le dimanche. Un objectif de résultat décrit où vous voulez arriver : augmenter la réussite en cardiologie, réussir l'examen de résidence. Les deux ont leur place, et l'ordre compte.

L'expérience des fléchettes

Zimmerman et Kitsantas ont étudié 90 lycéennes apprenant à lancer des fléchettes (Zimmerman et Kitsantas, 1997). Celles qui ont commencé avec des objectifs de processus puis sont passées à des objectifs de résultat ont surpassé celles qui sont restées aux seuls objectifs de processus, qui elles-mêmes ont surpassé celles qui ont utilisé seulement des objectifs de résultat (Zimmerman et Kitsantas, 1997).

Le gain est apparu dans l'habileté, dans les réactions à sa propre performance, dans la confiance en sa propre capacité et dans l'intérêt pour la tâche (Zimmerman et Kitsantas, 1997). L'auto-enregistrement, une façon de noter sa propre performance, a aussi amélioré l'habileté et la confiance (Zimmerman et Kitsantas, 1997).

Ce qu'on peut transposer à la médecine

L'expérience portait sur une habileté motrice, hors de la médecine, et le résultat doit être lu avec cette réserve. Comme lecture éditoriale, l'idée qu'elle suggère est simple : dans un thème nouveau, commencez par des objectifs de processus, comme faire un bloc de questions par jour ; quand la méthode est solide, passez à regarder le résultat, comme le taux de réussite du thème. Noter sa propre performance, ce que propose le tableau de ce texte, rejoint l'effet de l'auto-enregistrement dans l'étude.

Trente-cinq ans de recherche sur les objectifs

Locke et Latham ont résumé 35 ans de recherche sur la définition d'objectifs, avec les principaux résultats, les mécanismes par lesquels les objectifs agissent, les facteurs qui modifient leur effet et les limites de la théorie (Locke et Latham, 2002). C'est une bonne lecture pour qui veut comprendre pourquoi certains objectifs aident plus que d'autres. Le côté jeu des objectifs, avec points et série, se trouve dans objectifs, points et série.

Exemples d'objectifs

Type	Exemple (suggestion de l'Editorial)	Comment mesurer
Processus	Résoudre un bloc de questions de cardiologie par jour	Jours accomplis dans la semaine
Processus	Revoir les erreurs de la semaine le dimanche	Révision faite ou en attente
Résultat	Augmenter la réussite en arythmies	Taux de réussite du thème au fil des semaines
Résultat	Améliorer la calibration en infectiologie	Réussite des réponses avec confiance élevée

Les examens blancs comme mesure

L'examen blanc est la mesure externe la plus proche de l'examen réel. Bien lu, il montre où vous êtes et où vous allez ; mal lu, il devient juste une note à célébrer ou à regretter.

Ce qu'un examen blanc peut prédire

Morrison et ses collègues ont étudié 12 224 étudiants des États-Unis et du Canada qui ont passé un examen blanc officiel avant leur première tentative au Step 1, la première étape de l'examen de licence médicale américain (Morrison et al., 2010). La note de l'examen blanc expliquait 67 % de la variation de la note de l'examen lorsqu'elle était utilisée seule, et 69 % lorsque l'intervalle entre les examens entrait aussi dans le calcul (Morrison et al., 2010). Ceux qui avaient une note basse à l'examen blanc avaient un risque plus élevé d'échouer à la première tentative (Morrison et al., 2010).

Les auteurs concluent que l'examen simulé peut donner à l'étudiant une autoévaluation réaliste de sa préparation à l'examen (Morrison et al., 2010). Cette donnée vaut pour un examen simulé précis, réalisé par la même organisation que l'épreuve, et pour cet examen-là.

Le test de progression

Le test de progression est une forme d'évaluation longitudinale : des épreuves équivalentes, mais différentes, appliquées plusieurs fois au cours du cursus, dont les résultats sont combinés pour montrer la croissance des connaissances de chaque étudiant (Schuwirth et van der Vleuten, 2012). Les auteurs décrivent un effet positif sur le comportement d'étude, en décourageant l'étude concentrée de dernière minute, et une bonne validité prédictive (Schuwirth et van der Vleuten, 2012).

Ils signalent aussi une précaution technique : égaliser la difficulté des épreuves successives, pour que la variation entre l'une et l'autre ne soit pas confondue avec un progrès (Schuwirth et van der Vleuten, 2012). Le guide de Wrigley et ses collègues rappelle que les épreuves à choix multiples portent une variation d'erreur qui remet en question la validité et la fiabilité des résultats, et propose un modèle pour améliorer la qualité des données du test de progression (Wrigley et al., 2012).

Comment lire votre examen simulé

Comme suggestion pratique, lisez chaque examen simulé en trois couches :

1. La note globale, comparée à vos examens simulés précédents, et non à la moyenne de la classe un seul jour.
2. Les bonnes réponses par domaine et par thème, pour trouver ce qui a progressé ou est resté stagnant.
3. Les erreurs par type et la confiance, pour décider si la prochaine étape est d'étudier les bases, d'entraîner le raisonnement ou de soigner l'attention.

Des examens simulés de sources différentes ont des difficultés différentes. Comme lecture éditoriale, comparez de préférence des examens simulés de la même source, pour la même raison qui pousse le test de progression à égaliser la difficulté des épreuves.

L'examen simulé est aussi un entraînement

Faire l'examen simulé est déjà une façon de se tester, et la correction avec retour ferme la boucle. Pourquoi se tester aide à mémoriser est expliqué dans le texte sur réviser en jouant.

Un tableau de bord hebdomadaire

Réunir les métriques en un seul endroit aide à voir la tendance. Le tableau de bord peut être un simple tableur ou une page du cahier.

Ce qui y entre

Comme suggestion pratique, un tableau de bord hebdomadaire peut avoir cinq colonnes : semaine, bonnes réponses par thème dans les domaines que vous étudiez, comptage des erreurs par type, bonnes réponses aux questions à confiance élevée et objectifs de processus atteints. Une ligne par semaine suffit.

Une revue de dix minutes

En fin de semaine, regardez le tableau de bord et répondez à trois questions : quel thème s'est amélioré, quel thème est resté stagnant et quel type d'erreur est apparu le plus. La réponse devient l'objectif de processus de la semaine suivante. Ce rituel court s'inscrit dans la routine décrite dans le texte sur comment intégrer les jeux à la routine d'étude.

Erreurs courantes quand on mesure le progrès

• Ne mesurer que la note globale. Elle cache les thèmes faibles derrière les forts.
• Comparer un jour à l'autre. La variation naturelle trompe ; regardez la série.
• Changer de règle chaque semaine. Des métriques dont la définition change ne sont plus comparables.
• Se fier plus à l'impression qu'au chiffre. La recherche sur l'autoévaluation montre pourquoi l'impression échoue (Gordon, 1991).
• Mesurer l'effort comme s'il s'agissait d'apprentissage. Les heures et les pages sont du processus ; les bonnes réponses sont le résultat.
• Comparer des examens simulés de sources différentes. La difficulté change d'une source à l'autre.

Où NEXO intervient

Chaque cas de NEXO arrive en jusqu'à six indices, un à la fois, et chaque hypothèse reçoit un retour de proximité dans la CIM-10, du chapitre au code exact. C'est déjà une petite mesure à chaque cas : à quel indice vous êtes arrivé au diagnostic et à quel point vous en êtes resté proche dans les hypothèses précédentes.

En combien d'indices le diagnostic se ferme

L'écran d'accueil montre la distribution de vos réussites par indice : en combien d'indices le diagnostic a tendance à se fermer, comme décrit dans les Nouveautés de NEXO. Comme suggestion pratique, suivez cette distribution au fil des semaines ; réussir avec moins d'indices est un signe de progrès dans le raisonnement, et des réussites qui se concentrent sur les derniers indices indiquent des thèmes à réviser.

Régularité, niveau et succès

L'historique de la série apparaît sous forme de calendrier, et la barre de niveau sur l'écran d'accueil montre l'XP gagné au niveau actuel, les deux décrits dans les Nouveautés de NEXO. Les succès apparaissent sous forme de parcours, avec les étapes dans l'ordre, ce qui a déjà été accompli et quelle est la prochaine. Ce sont de bonnes mesures de processus : elles montrent si l'habitude est solide. Le classement a les onglets Global, Universités et Groupe, pour qui aime suivre sa promotion.

Transférer le cas dans votre tableau de bord

Comme suggestion pratique, quand vous ratez un cas ou ne trouvez qu'aux derniers indices, notez le thème et le type d'erreur dans votre tableau hebdomadaire, et utilisez les Archives pour refaire des cas antérieurs du même thème. Le bouton Anki transfère le diagnostic manquant dans une carte, comme le montre le guide de répétition espacée.

Pour la recherche, la promotion auprès de la classe et la création

Si vous faites de la recherche sur l'évaluation et l'autoévaluation dans l'éducation médicale et souhaitez proposer des études avec NEXO, découvrez NEXO Researcher. Pour amener NEXO à la faculté, à la ligue ou au résidanat, il y a NEXO Closer. Les médecins qui révisent les cas de leur spécialité participent via NEXO Curator, et ceux qui créent du contenu de santé sur les réseaux peuvent participer via NEXO Creators.

Questions fréquentes

Comment mesurer le progrès dans les études de médecine ?

Avec des mesures externes, répétées de la même façon au fil du temps : taux de réussite par thème dans les questions et les cas, comptage des erreurs par type, comparaison entre confiance et réussite et évolution dans des examens blancs de la même source. L'impression personnelle aide peu, car l'autoévaluation des étudiants en santé a eu une validité faible à modérée dans une revue classique (Gordon, 1991).

L'autoévaluation des étudiants en médecine est-elle fiable ?

Elle est modérée. Dans les méta-analyses de Blanch-Hartigan, les étudiants se sont évalués de façon modérément précise et se sont améliorés dans les années finales du cursus (Blanch-Hartigan, 2011). Il vaut donc mieux combiner l'autoévaluation avec des données de questions et d'examens blancs.

Qu'est-ce que la calibration dans les études ?

C'est à quel point votre confiance suit votre réussite. Pour la mesurer, notez la confiance avant de voir le corrigé et comparez le taux de réussite des réponses avec une confiance haute, moyenne et basse.

Objectif de processus ou objectif de résultat ?

Les deux, en série. Dans l'expérience de Zimmerman et Kitsantas, commencer par des objectifs de processus puis passer à des objectifs de résultat a donné une meilleure performance que d'en utiliser un seul (Zimmerman et Kitsantas, 1997). L'étude portait sur une habileté motrice, hors de la médecine.

Un examen blanc prédit-il le résultat de l'épreuve ?

Dans une étude avec 12 224 étudiants, la note d'un examen blanc officiel a expliqué 67 % de la variation de la note du Step 1, la première étape de l'examen de licence médicale des États-Unis (Morrison et al., 2010). La donnée vaut pour cet examen blanc et cette épreuve ; dans d'autres contextes, la relation peut être différente.

Qu'est-ce qu'un test de progrès ?

C'est une évaluation longitudinale, avec des épreuves équivalentes appliquées plusieurs fois au cours du cursus pour montrer la croissance des connaissances de chaque étudiant (Schuwirth et van der Vleuten, 2012).

À quelle fréquence dois-je consulter mes métriques ?

Une courte revue par semaine est une bonne suggestion pratique. Le progrès apparaît dans la série, alors comparez les moyennes de plusieurs semaines plutôt qu'un jour avec le suivant.

Comment NEXO aide-t-il à suivre le progrès ?

L'écran d'accueil montre en combien d'indices votre diagnostic se ferme habituellement, la série apparaît sous forme de calendrier et les succès apparaissent sous forme de parcours, avec la prochaine étape en vue. Chaque cas arrive en jusqu'à six indices, avec un retour de proximité dans la CIM-10 à chaque hypothèse.

Liste de contrôle pour suivre votre progrès

1. J'ai défini les métriques que je vais suivre et comment je vais mesurer chacune ?
2. Je note la confiance avant de voir le corrigé ?
3. Je sépare la réussite par thème, et pas seulement par la note globale ?
4. Je compte les erreurs par type à la fin de la semaine ?
5. J'ai des objectifs de processus pour les thèmes nouveaux ?
6. Je passe aux objectifs de résultat quand la méthode est solide ?
7. Je compare des examens blancs de la même source au fil du temps ?
8. Je lis chaque examen blanc en note, thème et type d'erreur ?
9. Je regarde la tendance de plusieurs semaines, et pas un jour isolé ?
10. J'ai décidé ce qui change la semaine suivante à partir du tableau de bord ?

Références

1. Gordon MJ. A review of the validity and accuracy of self-assessments in health professions training. Acad Med. 1991. https://pubmed.ncbi.nlm.nih.gov/1750956/
2. Eva KW, Regehr G. Self-assessment in the health professions: a reformulation and research agenda. Acad Med. 2005. https://pubmed.ncbi.nlm.nih.gov/16199457/
3. Blanch-Hartigan D. Medical students' self-assessment of performance: results from three meta-analyses. Patient Educ Couns. 2011. https://pubmed.ncbi.nlm.nih.gov/20708898/
4. Kruger J, Dunning D. Unskilled and unaware of it: how difficulties in recognizing one's own incompetence lead to inflated self-assessments. J Pers Soc Psychol. 1999. https://pubmed.ncbi.nlm.nih.gov/10626367/
5. Zimmerman BJ, Kitsantas A. Developmental phases in self-regulation: shifting from process goals to outcome goals. J Educ Psychol. 1997. https://doi.org/10.1037/0022-0663.89.1.29
6. Locke EA, Latham GP. Building a practically useful theory of goal setting and task motivation. A 35-year odyssey. Am Psychol. 2002. https://pubmed.ncbi.nlm.nih.gov/12237980/
7. Morrison CA, Ross LP, Fogle T, et al. Relation entre la performance à un examen blanc officiel de sciences fondamentales et le Step 1 de l'USMLE chez des étudiants des États-Unis et du Canada (titre original en anglais sur PubMed). Acad Med. 2010. https://pubmed.ncbi.nlm.nih.gov/20881715/
8. Schuwirth LW, van der Vleuten CP. The use of progress testing. Perspect Med Educ. 2012. https://pubmed.ncbi.nlm.nih.gov/23316456/
9. Wrigley W, van der Vleuten CP, Freeman A, Muijtjens A. A systemic framework for the progress test: strengths, constraints and issues: AMEE Guide No. 71. Med Teach. 2012. https://pubmed.ncbi.nlm.nih.gov/22905655/