Planification d'une épreuve

Planification

La planification d’une épreuve

Il est important de préparer avec soin les instruments utilisés pour recueillir l’information nécessaire à la réalisation d’une évaluation des apprentissages. Plusieurs activités doivent être accomplies pour assurer la disponibilité des instruments appropriés au mécanisme que l’on compte utiliser. Au moment de la planification d’’une épreuve, on doit considérer certains aspects pour s’assurer disposer d’outils de collecte de données adaptés au mécanisme d’évaluation à préparer. Le logiciel EduStat peut s’avérer un outil utile au moment de la planification d’une épreuve. La définition des paramètres de la base de données de format EduStat permettra de rattacher les items (c’est-à-dire les variables) au tableau de spécification.

A. Étapes d’élaboration d’une épreuve

Au moment de sa planification, les concepteurs doivent réaliser les activités suivantes :

La définition du domaine ou la préparation du tableau de spécification – Étape au cours de laquelle on identifie, décrit et pondère les objets d'évaluation propres à la discipline concernée.
La validation du domaine de l'épreuve – Il s'agit de vérifier, auprès d'un groupe de spécialistes, si le domaine retenu représente adéquatement ce que l'on veut évaluer; on examine aussi si les spécifications de l'épreuve sont pertinentes.
La spécification de l'épreuve – On choisit le type d'épreuve, on en détermine les paramètres comme la durée, le matériel autorisé, le mode de correction, le type d'items, d’exercices ou de tâches.
La spécification des items, des exercices ou des tâches – Il s’agit de l’étape au cours de laquelle on formule les caractéristiques des items ou des exercices à produire (consigne, stimulus, réponse).

B. Tâches à accomplir

Après avoir planifié la production d’une épreuve, il faut développer les items qui feront partie de l’épreuve nécessaire à la réalisation de l’évaluation projetée; il s’agit de réaliser les tâches suivantes :

La rédaction des items, des exercices ou des tâches – Les items, les exercices et les tâches doivent être rédigés conformément aux critères retenus aux autres étapes.
La validation de contenu et la révision docimologique – On devrait ici consulter deux types de spécialistes pour connaître : d'une part, la congruence entre les items, les exercices ou les tâches retenus et les dimensions à mesurer; d'autre part, le respect des exigences docimologiques.
Le montage de l'épreuve – Au cours de cette étape, on assemble et structure les items, les exercices ou les tâches; on produit aussi le guide d'administration, le cahier de l'élève, les consignes aux élèves et la clé de correction.
L'expérimentation – Il s'agit de vérifier la pertinence du matériel d'évaluation produit.
La révision de l'instrumentation – On modifie le matériel d'évaluation, s'il y a lieu, à la lumière des recommandations ou des suggestions obtenues lors de l'expérimentation.

C. Documents à préparer

En même temps que les responsables de l’évaluation préparent l’épreuve qui sera utilisée pour recueillir l’information auprès des élèves, il faut rédiger les différentes consignes reliées à chaque item ou à l’ensemble de l’épreuve. Il s’agit de produire les documents suivants :

Le cahier de l’élève – Les élèves doivent connaître les questions ou les tâches que l’on a l’intention de leur soumettre. Habituellement, ces questions sont rassemblées dans un cahier destiné aux élèves. D’autres modalités peuvent toutefois être prévues; à titre d’exemples, on peut énumérer l’interrogation orale et l’inscription des questions sur un tableau en classe. Peu importe le moyen retenu, l’élève doit disposer de toute l’information nécessaire lui permettant de démontrer sa performance.
Les consignes de correction – Certaines questions posées aux élèves exigent une réponse courte ou à développement plus ou moins long. Il s’agit la plupart du temps de ce que l’on désigne sous l’expression « items corrigés par rapport à l’attribution de crédits partiels ». Ce genre de question n’est pas corrigé de façon binaire, c’est-à-dire que la réponse fournie par l’élève est soit correcte ou bien fausse. La réponse doit plutôt être appréciée par le correcteur par rapport à une échelle descriptive qui comporte l’attribution de « notes » prenant des valeurs correspondant à une échelle numérique. Il faut alors préparer un document présentant les consignes de correction pour garantir la cohérence des notes attribuées aux élèves. Il en va de même lorsque les correcteurs doivent codifier certaines réponses fournies par les élèves.
Les consignes d’administration – Il faut garantir l’uniformité dans l’administration d’une épreuve. Plusieurs administrateurs sont ordinairement associés à l’administration d’une épreuve. Il est important de fournir des consignes claires pour que chaque personne associée à l’administration utilise le même protocole de passation de l’épreuve.

Rappelons ici que les décisions prises dans le cadre de l'évaluation des apprentissages pour des fins de certification ou de sélection peuvent avoir des conséquences importantes. Il vaut donc mieux prendre le temps de bien planifier l’opération pour assurer la qualité des décisions prises à la suite de l’examen des résultats obtenus par les élèves. Quant au processus d’évaluation pour des fins de pilotages (évaluation formative et enquêtes sur les acquis scolaires, en particulier), il faut que le mécanisme permette la collecte d’information pertinente à la prise de décisions.

D. Facteurs à considérer

Plusieurs facteurs incitent à accorder une attention particulière à la planification de la démarche d’élaboration des instruments :

l'envergure de l'organisation à mettre sur pied;
le temps à investir pour arriver à des consensus, pour élaborer les épreuves, pour apporter les améliorations nécessaires et pour veiller à l'organisation matérielle;
la diversité des agents impliqués dans la démarche.

E. Conditions à respecter

Plusieurs conditions doivent être respectées au moment de la planification de l’instrumentation nécessaire à la réalisation d’une enquête.

1. Exprimer clairement le but de l’instrumentation

Il peut sembler futile voire même inutile de signaler qu'il faille exprimer clairement le but de l'épreuve. Toutefois, il est important de poser la question suivante : pourquoi administre-t-on l'épreuve? Les réponses à cette question sont nombreuses et elles ont des répercussions sur la rédaction, l'utilisation et la correction de l'épreuve.

Quand on désire réaliser l'évaluation des apprentissages pour attester des compétences acquises par les élèves au terme d'une année ou à la fin d'un programme d'études, les exigences de qualité des épreuves s'avèrent grandes surtout si la clientèle mesurée est nombreuse. Si l’instrumentation se déroule dans le cadre de l’exécution des activités d’enseignement (évaluation formative), il faut pouvoir exploiter rapidement l’information recueillie dans le but d’adapter les activités pédagogiques à la situation en cours. Enfin, s’il s’agit d’une enquête sur les acquis scolaires, l’instrumentation doit permettre de disposer de renseignements utiles à la prise de décisions.

2. Décider du moment d'administration de l'épreuve

Les personnes qui ont la responsabilité d’administrer une épreuve et des questionnaires complémentaires doivent déterminer le moment où cet instrument sera administré. Lorsque c’est possible, le moment doit être choisi de telle sorte que les conditions permettent aux élèves de manifester au mieux leurs compétences.

Quand l'épreuve est préparée par un organisme externe, qu'il s'agisse d'un Ministère ou d'une firme spécialisée, les élèves et les enseignants doivent être avisés assez tôt pour qu'ils puissent s'y préparer.

3. Choisir le type d'épreuve

La forme d'épreuve se ramène souvent au questionnaire écrit donné à un groupe d’élèves. Pourtant, il conviendrait là aussi de vérifier si une autre forme ne serait pas plus appropriée. Par exemple, le questionnaire écrit ne convient pas toujours quand on veut mesurer l'habileté d'un élève à résoudre des problèmes. Dans ce cas, l'épreuve pratique est souvent la seule qui soit réellement appropriée. Si, pour des raisons économiques, les responsables décident de mesurer ce type de rendement à partir d'un questionnaire écrit, ils devront en tenir compte lors de l'interprétation des résultats et être conscients de la limite de cette mesure.

Il existe trois grandes familles d'épreuves:

l'épreuve orale;
l'épreuve écrite (papier crayon);
l'épreuve pratique.

Nous retenons souvent l’épreuve écrite. Il s’agit de la forme habituellement utilisée pour recueillir l'information sur la performance des élèves.

4. Prévoir la rédaction des items et leur finalisation

La rédaction des items d'une épreuve exige beaucoup de temps et des habiletés particulières. Il faut donc prévoir un temps suffisant pour franchir cette étape et déterminer qui y participera, quand et comment. Nous aborderons ces aspects plus tard.

5. Prévoir les conditions physiques d'administration

Cet aspect est particulièrement important lorsque l'épreuve est administrée à l'échelle nationale. Les responsables doivent s'assurer que les conditions d'administration sont réalistes compte tenu de la clientèle visée. Ils doivent aussi veiller à ce que les conditions d'administration soient les mêmes pour tous les élèves et prévoir des mécanismes pour identifier tous les problèmes rencontrés au moment de la passation de l'épreuve. Nous reviendrons sur les aspects reliés au contrôle de la qualité.

6. Prévoir les modalités de correction

Dans le cas des épreuves à réponse choisie, les responsables planifient tous les aspects techniques reliés au format des documents prévus pour recueillir l’information auprès des élèves et du personnel. La correction des épreuves à réponse élaborée exige beaucoup de temps. Les responsables doivent prévoir le nombre de correcteurs en tenant compte de la longueur moyenne des réponses et inclure, dans le protocole de correction, des étapes de contrôle afin d'assurer la qualité de la correction.

7. Prévoir les conditions de succès

Pour juger si un élève a réalisé les apprentissages prévus dans un programme, il faut comparer ses résultats aux exigences qui ont été établies par consensus en définissant ce qui est essentiel selon les finalités de l'éducation. L'important est de préciser des exigences réalistes par rapport au programme en tenant compte du contexte. Cet aspect touche tant un mécanisme destiné à l’évaluation des élèves pris individuellement qu’une enquête portant sur une population donnée.

Pour juger de la compétence d'un élève, dans le contexte d'une épreuve, il faut ordinairement déterminer une note de passage (par exemple, 10/20) ou un seuil de réussite. La note de passage est utilisée dans un contexte normatif et demeure la même quelle que soit l'épreuve utilisée. Dans une épreuve à référence « critériée », pour juger de la compétence d'un élève, on détermine un seuil de réussite. Le seuil de réussite est le niveau de qualité à partir duquel on considère une performance comme réussie. Il est établi par consensus et diffère d'une épreuve à l'autre. Le seuil de réussite peut se définir comme un résultat qui divise une distribution de résultats en deux parties distinctes : la première contenant les résultats à partir desquels on infère la compétence des individus et la seconde, les résultats à partir desquels on infère l'atteinte d'un degré insuffisant de compétence.

Il ne faut pas considérer la note de passage ou le seuil de réussite comme un nombre magique. Il y a toujours une marge d'incertitude autour du résultat choisi comme seuil de réussite ou comme note de passage. Le risque d'erreur est présent. On peut juger un élève compétent alors qu'il ne l'est pas, comme on peut juger un élève incompétent alors qu'en réalité cet élève maîtrise les apprentissages évalués. Il s'agit d'un problème statistique mais aussi d'un problème pédagogique. Il faut donc prévoir des mécanismes pour juger les cas limites et les situations exceptionnelles. Dans les cas douteux ou imprévus, on convoque un comité dont les membres analysent les données et confrontent leurs jugements en les justifiant. Dans tous ces cas difficiles à résoudre, le souci de justice doit guider les personnes qui jugent.

Lorsqu’il s’agit d’une enquête sur les acquis scolaires, il peut être utile de déterminer les attentes des personnes concernées par l’analyse des résultats obtenus (il faudra aborder ce sujet au moment de l’analyse des données recueillies et de la préparation des rapports d’évaluation.

8. Choisir une façon de conserver les données

En évaluation, la planification de l’instrumentation vise aussi la façon de conserver les données. On peut procéder de différentes façons. Les modalités retenues tiennent compte des moyens techniques dont disposent les organismes scolaires. Il faudra aborder cette question au moment de la publication des résultats obtenus à la suite de l’administration du mécanisme d’évaluation.

9. Considérer certains aspects techniques

La conduite d’une activité d’évaluation des apprentissages comporte plusieurs aspects techniques à contrôler si l’on souhaite assurer la rigueur du mécanisme et la disponibilité de l’information par rapport à l’échéancier fixé au départ. Nous présentons ci-dessous quelques points à surveiller au moment de l’élaboration des épreuves, sachant qu’une liste beaucoup plus longue devrait être dressée si l’on voulait être exhaustif.

9.1 Disposition des items

Après avoir élaboré un ensemble d'items ou d'exercices, les responsables de la conception d'une épreuve doivent en réaliser l'assemblage. Au moment de remplir cette tâche, il faut tenir compte de la capacité des élèves. On doit aussi considérer les tâches liées à l'entrée des données; la disposition des items doit donc faciliter la tâche proposée aux élèves et les travaux techniques reliés à la saisie de l'information.

9.2 Réponses des élèves

Les concepteurs doivent opter pour les stratégies les plus adaptées qui permettront aux élèves de fournir leurs réponses. On doit aussi préciser si les élèves auront droit à certains instruments (livres de référence, papier brouillon).

9.3 Correction et codage

Il arrive fréquemment qu'il soit nécessaire de corriger les réponses fournies par les élèves. Comme nous l’avons noté plus haut, il faut alors prévoir les critères qui seront utilisés par les correcteurs pour accomplir cette tâche avec rigueur. On devra souvent réaliser des travaux de codage de l'information pour être en mesure de mieux la traiter.

9.4 Saisie de l'information

Il est important de prévoir, dès la phase de conception de l'instrumentation, le type de saisie de l'information qui sera retenu. Il sera alors plus facile de rendre l'épreuve mieux adaptée à cette étape de réalisation d'une évaluation. S'il s’avérait que certains éléments d'information ne puissent pas être saisis avec les moyens disponibles, il est alors peu utile de recueillir de tels renseignements.

9.5 Compilations statistiques

L’information recueillie à l’aide de l’instrument prévu devra être compilée pour fournir un « bilan » du rendement des élèves évalués. Auparavant, il aura fallu traiter les réponses fournies. Il est souhaitable de connaître, au moment de la préparation de l’instrumentation, les techniques qui seront utilisées pour réaliser certains travaux. On s’assurera alors avoir l’information par rapport à des formats compatibles à la technologie utilisée.

9.6 Liens à établir entre éléments d'information

Les responsables d'une évaluation des apprentissages peuvent souhaiter mettre en relation plusieurs éléments d'information recueillis à l'aide de l'instrumentation (par exemple, renseignements démographiques ou expression d’opinions). Pour cela, il faut que les épreuves et questionnaires se prêtent à cet exercice.

Adresse courriel : info@mcpythagore.com