Taille de police : small-medium-big

Les experts du BIEF
Xavier ROEGIERSPrésident
Baye EL HADJ AMARExpert senior en éducation

Étude relative à l'impact de l'introduction de l'APC sur les résultats des élèves mauritaniens

BIEF / O. DIDIYE, D., EL HADJ AMAR, B., GERARD, F.-M. & ROEGIERS, X. / 2005

Télécharger la publication

1     Contexte de l'étude

Dans le cadre de l'amélioration de son système éducatif, la Mauritanie est, depuis quelques années, lancée dans la réécriture de ses programmes suivant l'Approche Par les Compétences de base (APC), à l'instar d'autres pays comme la Tunisie, Madagascar, le Gabon, Djibouti, etc. ou le Liban, la Suisse et la Belgique. Cette réécriture a commencé au niveau de l'enseignement fondamental depuis 1999.

La généralisation des programmes, réécrits suivant cette approche, a débuté, de façon concomitante,  en 1re et 4e années du fondamental en 2002-2003. Elle s'est poursuivie, en 2003-2004, au niveau des 2e et 5e années et s'achève en 2004-2005, au niveau des 3e et 6e années.

Cette généralisation a été précédée, une année plus tôt, par une expérimentation dans un certain nombre d'établissements. Ces établissements, au nombre de 45, étaient localisés dans trois Wilayas : Nouakchott, Hodh El Gharbi et Trarza, à raison de 15 écoles par Wilaya.

En 2004, on était donc en présence de la dernière cohorte d'élèves qui n'auraient pas profité de l'APC, au même moment où on avait d'autres élèves (ceux des classes expérimentales) de même niveau, qui ont suivi cette approche dans le cadre de l'expérimentation.

Si l'on voulait mesurer l'impact de cette approche, il fallait saisir l'opportunité de l'existence de ces deux cohortes pour comparer leurs résultats.

C'est dans ce cadre que se situe la présente étude.

Son principal objectif est de mettre en évidence les écarts qui apparaissent au niveau des résultats des élèves qui ont pratiqué l'approche par les compétences de base et ceux des élèves qui ont suivi les cours selon l'ancien curriculum.

2     Méthodologie

La comparaison touche des élèves de 6e année fondamentale du système éducatif mauritanien. Elle se fait entre les résultats d'élèves qui ont suivi l'expérimentation, dans le cadre de la réécriture des programmes selon l'Approche Par les Compétences de base (APC) d'une part, et d'autre part, de ceux d'élèves "témoins " qui n'ont pas suivi cette expérimentation mais qui sont issus d'écoles équivalentes. Nous reviendrons sur les critères de cette équivalence et sur les mesures qui ont été prises pour la garantir.

Dans les lignes qui suivent, nous allons décrire la méthodologie qui a été suivie dans ce travail, depuis le choix des disciplines sur lesquelles portera la comparaison, jusqu'à la correction des productions des élèves, en passant par l'élaboration des épreuves, leurs tests, le choix des correcteurs et la passation effective des épreuves par les élèves.

2.1   Le choix des disciplines

Pour les disciplines sur lesquelles portera la comparaison des prestations des élèves, le choix a porté sur les disciplines de base :

  • l'Arabe, la langue nationale, qui est la langue de formation de base pour tous les élèves,
  • le Français, qui est la langue d'enseignement des disciplines scientifiques,
  • les mathématiques.

Ainsi donc, la comparaison se fera sur trois disciplines.

2.2   L'élaboration des épreuves

Les épreuves qui ont été utilisées sont de deux types (De Ketele, 2001 ; De Ketele & Dufays, 2003 ; Rey, Carette, Defrance & Kahn, 2003 ; Roegiers, 2000, 2003, 2004) :

  • Des épreuves "traditionnelles " basées sur le contrôle des ressources (savoirs et savoir-faire). Puisque nous sommes en fin du cycle primaire, il a été retenu, pour les épreuves de cette catégorie, de partir d'une épreuve la plus proche possible de celle que les enseignants ont l'habitude d'élaborer.
    Les épreuves qui ont été retenues pour la passation sont des épreuves qui ont été effectivement passées dans le cadre d'un "concours blanc ", dans une école non expérimentale, au niveau de Nouakchott. Il s'agit donc des épreuves censées préparer les élèves pour le concours d'entrée en 1re année secondaire.
  • Des épreuves "situations ", d'un type nouveau pour les élèves, qui se basent sur la résolution de situations complexes à l'image de ce qui est prôné au niveau de la réécriture des programmes selon l'APC.
Pour le choix de ces épreuves, il a été fait recours aux résultats des travaux des équipes qui avaient en charge la réflexion sur le système d'évaluation certificative à la fin du cycle primaire.
Des équipes d'inspecteurs du Fondamental, parmi ceux qui maîtrisent le mieux l'approche, ont travaillé pendant plusieurs semaines, sur la forme et le contenu des épreuves à venir du concours d'entrée en 1re année secondaire.
Les critères retenus en fin du cycle primaire ont guidé la production de ces épreuves.

2.3   L'expérimentation des épreuves 

Une fois élaborées, les épreuves "situations " ont été prétestées dans les classes de trois écoles expérimentales à Nouakchott (hors échantillon). Lors de la passation, des consignes ont été données aux surveillants pour limiter leur intervention auprès des élèves et pour faire remonter les difficultés rencontrées afin de pouvoir améliorer les épreuves sur la base de celles-ci.

Les résultats de ces tests ont révélé la nécessité de retravailler les épreuves. Les besoins d'amélioration, basés sur les résultats obtenus par les élèves, mais aussi sur les rapports de surveillance, n'étaient pas de la même envergure.

Si, en français, il suffisait de reformuler une consigne, de remplacer l'un ou l'autre mot dans le texte de l'épreuve par un mot équivalent mais plus simple, en mathématiques il s'est avéré nécessaire d'alléger l'épreuve en diminuant le nombre de tâches à exécuter, alors qu'en arabe il était nécessaire de repenser les supports.

En arabe, l'un des supports proposait, sous une autre forme, une production du même type que celle qui était demandée à l'élève. Cette situation a amené certains élèves à faire du plagiat, entravant ainsi la possibilité de mesurer leur compétence réelle en matière de production d'un rapport. Une alternative s'offrait à l'équipe des concepteurs, dont nous avons supervisé les débats. En supprimant le support en question, fallait-il le remplacer par un autre qui traiterait d'une situation complètement différente ou ne donner qu'un seul support ? Donner un exemple de rapport mettait en confiance certains concepteurs, qui doutaient du fait que la rédaction d'un rapport soit travaillée en classe. Faute de consensus, nous avons eu recours au verdict des élèves. Les deux formules ont été testées. Après la production d'un nouveau support, deux groupes d'élèves équivalents (selon leurs maîtres) ont été sélectionnés dans trois nouvelles écoles expérimentales (toujours hors échantillon). Dans chaque école, l'un des groupes a traité l'une des épreuves et l'autre la deuxième. La correction des travaux des élèves a montré que le nouveau support avait un effet contraire à ce qui est attendu : le plagiat, de nouveau, faisait augmenter les échecs en raison de "la non-pertinence de la production ". Il a donc été retenu de donner l'épreuve sans l'aide d'une production similaire, malgré les réserves susmentionnées.

2.4   Le choix des écoles de l'échantillon

En Mauritanie, l'expérimentation des nouveaux programmes s'est faite au niveau de trois Wilayas, à savoir Nouakchott, le Hodh El Gharbi et le Trarza.

Dans la mesure où certains inspecteurs qui supervisent l'expérimentation à Nouakchott faisaient partie des équipes de concepteurs des épreuves, et que ces épreuves avaient été testées dans des écoles de Nouakchott, il a été retenu de se limiter aux deux autres Wilayas.

Dans chacune des Wilayas, quatre écoles ont été ciblées : deux expérimentales et deux écoles témoins, qui suivent l'ancienne approche, soit un total de huit écoles dont la moitié d'écoles expérimentales.

Pour le choix des écoles, et afin de garantir au mieux leur équivalence, nous avons eu recours aux résultats des concours d'entrée en 1re année secondaire pour les années précédentes.

Le tableau suivant donne, pour les 3 dernières années, les proportions d'élèves admis sur le nombre total d'élèves qui ont présenté le concours en 1re AS, dans les différentes écoles de l'échantillon.

Tableau 1 - Résultats aux concours d'entrée en 1re année secondaire pour les écoles sélectionnées pour les 3 dernières années

Wilaya

Années

Écoles

2000-2001

2001-2002

2002-2003

Hodh El Gharbi

École APC1

44 / 69

49 / 59

45 / 46

École APC2

42 / 63

38 / 74

54 / 74

École non-APC1

22 / 65

24 / 57

22 / 58

École non-APC2

70 / 134

36 / 169

56 / 93

Trarza

École APC3

56 / 87

15 / 73

64 / 80

École non-APC3 [1]

 

 

18 / 37

École APC4

18 / 60

17 / 44

17 / 48

École non-APC4

10 / 10

14 / 28

9 / 22

Source DEE Rapports des commissions de synthèse entre 1999 et 2003

 

Sur les trois années, les taux respectifs de réussite au concours de 6e année sont de 52% pour les écoles APC, et de 49% pour les écoles non APC. S'il n'y a pas équivalence complète, on peut tout au moins affirmer qu'il s'agit des écoles les plus proches possibles sur le plan socioculturel et sur le plan des résultats antérieurs.

2.5   La passation des épreuves

Une fois finalisées, les épreuves ont été mises en forme et multipliées pour l'ensemble des élèves de 6e année des écoles ciblées.

Au niveau régional, les coordinateurs de l'expérimentation ainsi que les inspecteurs départementaux, dont les écoles sont concernées, ont été mobilisés pour la supervision et le suivi de la passation des épreuves, sous l'égide des Directeurs Régionaux de l'Éducation Nationale (DREN).

Au niveau central, à Nouakchott, la Direction de l'Évaluation et des Examens (DEE), principal commanditaire de cette évaluation, appuyée par la Direction des Projets Éducation Formation (DPEF), a pris les mesures qui s'imposent, en matière d'information, d'appui logistique et de suivi sur le terrain.

Il a ainsi, été procédé,

  • au niveau des épreuves : à la mise en forme, à la duplication, à l'emballage et à l'expédition ;
  • au niveau de l'information : à des contacts avec les DREN, à l'initiation et à l'envoi d'une circulaire d'information fixant les conditions et modalités de la passation des épreuves ;
  • au niveau du suivi sur le terrain : à la désignation de deux superviseurs (un par région) chargés de seconder les équipes régionales (coordinateur régional APC et IDEN).

La passation effective des épreuves a eu lieu début mai 2004, de façon strictement simultanée, dans les deux Wilayas.

À la fin de la passation les superviseurs de la DEE avaient pour consigne de ramener avec eux les copies des élèves.

2.6   La correction

Pour des raisons de calendrier, il a fallu attendre la deuxième quinzaine du mois de novembre 2004 pour pouvoir mettre en place le dispositif de correction. Ce dispositif comprend une procédure visant à garantir l'anonymat des copies corrigées, et une phase de correction qui s'est passée en deux temps : la sélection des correcteurs et la supervision de la correction proprement dite.

2.6.1      Anonymat 

Afin de garantir la qualité du travail de correction, il a été retenu de procéder à un dispositif visant à garantir l'"anonymat " des copies : la copie qui passe entre les mains du correcteur porte un numéro anonyme, l'entête portant les informations particulières de l'élève (nom et prénoms, centre, n?, Wilaya, etc.), étant retirée. Le correcteur ne sait donc pas s'il corrige une copie d'un élève qui a suivi l'APC ou celle d'un autre élève.

Pour l'obtention de ces numéros d'anonymat, nous avons eu recours à une fonction générée par l'ordinateur. Une distribution aléatoire des nombres inférieurs à 10000 a permis d'obtenir une série de numéros qui ont été alloués aux différents élèves. Chaque élève conserve le même numéro dans les différentes disciplines.

Pour porter ces numéros sur les copies des élèves, une équipe de la DEE, particulièrement habituée à ce genre de travail (au Bac et au BEPC), a été engagée.

Ainsi, au même moment, et pour les copies de chaque élève, six personnes mentionnent, chacune sur la copie d'une épreuve, deux fois le numéro qui est dicté par une autre personne : une fois sur l'entête et une deuxième fois sur le corps de la copie. Au préalable, les copies, par centre, sont classées suivant les numéros des élèves.

Une fois achevée, cette opération est suivie par un contrôle : on s'échange les lots et on se rassure, à la dictée, que les copies portent bien le bon numéro. Ce contrôle est suivi par un classement des copies selon les numéros d'anonymat, puis à la distribution en paquets prêts pour la correction. Chacune de ces deux étapes est l'occasion d'un nouveau contrôle.

Vient, enfin, l'étape de la "guillotine ", qui consiste à retirer, en les coupant, les entêtes qui sont soigneusement gardées de côté pour d'éventuels problèmes [2] .

2.6.2      Le choix des correcteurs 

Pour le choix des correcteurs, nous avons privilégié les concepteurs des épreuves, étant donné, d'une part leur longue expérience de la correction des épreuves "classiques " étant des inspecteurs chevronnés du fondamental, et d'autre part de par leur maîtrise du système de l'évaluation critériée [3] et enfin le fait qu'ils étaient bien au fait des épreuves.

Ils ont été soutenus par d'autres collègues inspecteurs qui satisfaisaient aux deux premières exigences (maîtrise de la correction suivant les deux modes).

2.6.3      La supervision de la correction

Une fois les paquets apprêtés et les correcteurs retenus, la DEE a désigné, en son sein, des éléments auxquels on a confié la responsabilité du suivi de la correction.

Pour une discipline donnée, le responsable du suivi de la correction se retrouve avec les correcteurs pour enclencher la correction.

Au niveau de la correction, le responsable de la discipline veille au recours systématique à la double correction. Des relevés de notes sont préparés à l'avance et mis à la disposition des correcteurs. Chaque correcteur auquel on donne un paquet à corriger, reçoit, en même temps, un relevé mentionnant s'il s'agit de la 1re ou de la 2e correction dudit paquet, pour être s?r que chaque paquet est corrigé au moins deux fois. Les relevés, rendus signés par les correcteurs, sont classés par le responsable de la discipline. Ce sont eux qui permettront la saisie informatique des résultats.

Le responsable de la discipline était également chargé de veiller aux écarts trop importants et, le cas échéant, de faire concerter les deux correcteurs pour réajuster la note. Ceci dans un souci de se rapprocher au mieux d'une juste appréciation du travail de l'élève.

2.7   La saisie des notes

Les notes finales des élèves, aussi bien pour la première que pour la deuxième correction, ont été saisies sur une feuille Excel.

La saisie est faite par deux personnes dont l'une dicte et l'autre saisit.

Des tests de validité de la saisie ont été opérés afin de limiter (voire supprimer) les erreurs liées à cette opération.

3     Le traitement des résultats

3.1   La taille de l'échantillon

L'échantillon "net ", c'est-à-dire d'élèves pour lesquels on dispose de 6 notes (qui ont présenté les 6 épreuves [4] ) est composé de 133 élèves pour les classes expérimentales (les classes APC), et de 104 élèves pour les classes témoins (les classes non APC).

3.2   Le mode de traitement des résultats

afin de pouvoir effectuer des comparaisons de la manière la plus parlante possible, une première opération relative au traitement des résultats a consisté à rendre comparables les résultats à l'épreuve "ressources " et ceux à l'épreuve "situations ". en effet, les mêmes élèves ayant passé les deux épreuves, dans chaque discipline, les moyennes aux deux épreuves, dans une même discipline, ont été ramenées à des valeurs équivalentes.

Par exemple, en arabe, la moyenne à l'épreuve "ressources " est de 6,69, alors qu'elle est de 3,56 à l'épreuve "situations ", ces moyennes étant calculées globalement, pour l'échantillon expérimental (les classes APC) et l'échantillon témoin (les classes non APC). Les résultats des deux épreuves ont été ramenées à une moyenne identique de 3,56 [5] .

Mais, si l'on voulait apprécier les résultats à leur juste valeur, et surtout les rendre comparables à ceux d'autres études dans d'autres pays, il convenait également d'effectuer un traitement supplémentaire.

Dans le cas présent, les résultats des élèves sont globalement assez faibles, ce qui ne veut pas nécessairement dire que les élèves de l'échantillon sont faibles, mais que l'épreuve est peut-être beaucoup plus difficile que dans d'autres pays ou encore que les correcteurs ont été particulièrement sévères...

Il convient donc de modifier les résultats de manière à ce que les moyennes obtenues en Mauritanie soient comparables aux moyennes obtenues dans d'autres pays, en particulier en Tunisie et à Djibouti, pays pour lesquels des résultats du même type sont accessibles.  Nous avons proposé de ramener ces moyennes au niveau des moyennes de Djibouti, c'est-à-dire à 4,5. Ce lissage n'a pas pour objectif d'essayer de cacher une éventuelle différence de niveau. L'objectif est de disposer des notes comparables, afin de pouvoir estimer les différences entre les échantillons expérimentaux et témoins : ces éventuelles différences sont-elles du même ordre que celles observées dans d'autres pays ?

Il existe plusieurs manières de ramener les notes de manière à augmenter la moyenne. Plutôt que d'opter pour des formules mathématiques ou statistiques compliquées, et qui pourraient laisser penser que les données ont été manipulées, nous avons opté pour la façon la plus simple, qui consiste à multiplier tous les résultats de manière à ce que leur moyenne soit de 4,5 sur dix [6] .

Par exemple, dans l'exemple suivant, la moyenne des notes est initialement de 2,25 (deuxième colonne). Si l'on veut que la moyenne des notes soit de 4,5, il suffit de multiplier les notes par 2 (colonne de droite).

 

Notes initiales

Notes ajustées

Élève 1

0

0

Élève 2

0,5

1

Élève 3

2

4

Élève 4

3

6

Élève 5

5,75

11,5

Moyenne

2,25

4,5

 
Le problème de ce type de traitement est que l'on obtient des notes supérieures à dix. Dans notre exemple, l'élève 5 obtient une note de 11,5 sur dix.

Nous proposons tout simplement que, pour ces élèves, la note qui dépasse 10 sur dix soit ramenée à 10, ce qui donnerait le tableau suivant.

Notes initialesNotes ajustéesNotes limitées à 10
Élève 1000
Élève 20,511
Élève 3244
Élève 4366
Élève 55,7511,510
Moyenne2,254,54,2


La moyenne diminue quelque peu, mais on reste dans les normes d'une moyenne comparable.
Mais, en tant que chercheurs, ce qui nous intéresse surtout, c'est que les corrections ainsi apportées touchent davantage les élèves des classes expérimentales (111 réductions, soit 14% de notes limitées à 10) que ceux des élèves des classes témoins (48 réductions, soit 7,5% de notes limitées à 10).
Dès lors, on peut affirmer que les résultats que nous présentons ici, en particulier les gains relatifs à l'APC, constituent un minimum par rapport au gain réel, la limitation des notes s'étant plutôt faite au détriment des classes expérimentales.

3.3    Les résultats proprement dits

3.3.1    Les résultats obtenus à l'épreuve « ressources »

Après transformations, les résultats obtenus à l'épreuve traditionnelle (épreuve « ressources ») sont les suivants. Les notes sont sur dix.
ArabeFrançaisMathématiquesNote moyenne
Classes expérimentales (APC)4,413,942,923,76
Classes témoins (non APC)4,623,193,443,75
Gain des classes APC-0,210,75-0,520,01

Il résulte de ce tableau que, globalement, il n'y a pas d'écart significatif entre les performances des élèves des classes APC et celles des classes non APC à des épreuves traditionnelles.
Ces résultats confirment d'autres résultats obtenus, notamment en Tunisie et à Djibouti, selon lesquels on ne peut pas affirmer que les élèves de classes APC réussissent moins bien des épreuves traditionnelles. En d'autres termes, l'approche par les compétences de base ne semble pas provoquer de déperdition eu égard aux apprentissages « classiques ».

3.3.2    Les résultats obtenus à l'épreuve « situations »

Les résultats obtenus à l'épreuve « situations » sont les suivants. Les notes sont sur dix.
ArabeFrançaisMathématiquesNote moyenne
Classes expérimentales (APC)4,383,744,974,36
Classes témoins (non APC)3,952,512,813,09
Gain des classes APC0,431,232,161,27


Il résulte de ce tableau que, dans toutes les disciplines, il existe un gain significatif pour les élèves des classes APC. Ce gain est de :
  • 0,43 point sur dix en arabe, soit environ un gain de 1 point sur vingt
  • 1,23 point sur dix en français, soit environ un gain de 2,5 points sur vingt
  • 2,16 points sur dix en mathématiques, soit environ un gain de 4,5 points sur vingt.
En moyenne, les élèves des classes APC gagnent 2,5 points sur vingt sur les épreuves APC, ce qui confirme une fois de plus d'autres résultats à l'échelle internationale, selon lesquels le gain moyen pour les élèves des classes APC est environ de 3 points sur vingt (ADEN &  ROEGIERS, 2003 ; ROEGIERS, 2000).

Rappelons que ces résultats sont en deçà de la réalité. En effet, par le fait des nécessités du traitement, certains résultats d'élèves ont été limités, en particulier ceux des élèves des classes expérimentales.
Si l'on avait tenu compte des résultats non limités, le gain aurait été de 1 point sur vingt en arabe (inchangé), 5 points sur vingt en français, 5,5 points sur vingt en mathématiques, soit un gain moyen de 4 points sur vingt en faveur des élèves des classes expérimentales.

4. Conclusion

L'étude portait principalement sur l'impact de l'approche par les compétences de base dans le système mauritanien sur les résultats des élèves. Six épreuves, en arabe, en français et en mathématiques, avec chaque fois une épreuve traditionnelle (épreuve « ressources ») et une épreuve « situation » complexe selon les principes de l'APC ont été administrées à des élèves de 6e année de 2 écoles expérimentales et de 2 écoles témoins. Les corrections ont été effectuées de façon strictement anonyme.

Les résultats comparatifs confirment les grandes tendances observées dans des pays qui pratiquent une approche similaire : un gain de 2,5 points sur 20 en moyenne sur les épreuves « situations » en faveur des élèves qui pratiquent l'approche par les compétences de base, alors que les épreuves « ressources » sont aussi bien réussies par les élèves des classes « APC » que par les élèves des classes qui ont suivi l'ancien curriculum.

Ces constats sont à mettre en relation avec le niveau d'exigence lié à l'approche par les compétences de base : loin d'abaisser le niveau, celle-ci vise les niveaux taxonomiques d'apprentissage les plus élevés. Ainsi, en référence à la taxonomie de D'Hainaut, l'épreuve « ressources » évalue les niveaux inférieurs — essentiellement la reproduction et l'application — alors que l'épreuve « situations » concerne les niveaux supérieurs, à savoir la mobilisation et la résolution de problèmes.

Les constats de cette étude comparative signifient donc que l'approche par les compétences de base telle qu'elle est appliquée en Mauritanie n'entraîne pas de perte en ce qui concerne la reproduction et l'application des savoirs et savoir-faire, mais qu'elle apporte des gains significatifs au niveau de la mobilisation et de la résolution de problèmes.

5. Bibliographie

ADEN, H.M. & ROEGIERS, X. (2003). À quels élèves profite l'approche par les compétences de base, Inédit.
DE KETELE, J.-M. (2001). Place de la notion de compétence dans l'évaluation des apprentissages, in FIGARI, G., ACHOUCHE, M. (Éds). L'activité évaluative réinterrogée. Regards scolaires et socioprofessionnels. Bruxelles : De Boeck Université, pp. 39-43.
DE KETELE, J.-M. & DUFAYS, J.-L. (2003). Vers de nouveaux modes d'évaluation des compétences, in COLLÈS, L., DUFAYS, J.-L. & MAEDER, C., Enseigner le français, l'espagnol et l'italien, Les langues romanes à l'heure des compétences, Bruxelles-Paris : Éditions De Boeck Duculot, 171-182.
DE KETELE, J.-M. & GERARD, F.-M. (2004). La validation des épreuves d'évaluation selon l'approche par les compétences, Mesure et Évaluation en Éducation, Soumis pour publication.
REY, B., CARETTE, V., DEFRANCE, A. & KAHN, S. (2003). Les compétences à l'école — Apprentissage et évaluation, Bruxelles : De Boeck.
ROEGIERS, X. (2000). Une pédagogie de l'intégration. Bruxelles : De Boeck.
ROEGIERS, X. (2003), Des situations pour intégrer les acquis, Bruxelles : De Boeck.
ROEGIERS, X. (2004). L'école et l'évaluation. Des situations pour évaluer les compétences des élèves. Bruxelles : De Boeck.

BIEF