Manuel pour l'evaluation des competences fondamentales en lecture (2009)

Annexe E. Considération sur la taille de l'échantillon

dans l'évaluation des compétences

fondamentales en lecture

Introduction

Cette note établit des considérations portant sur la taille applicable aux échantillons destinés à

l'évaluation de compétences fondamentales en lecture (EGRA). Elle a pour objectif d'informer le

personnel du Ministère, les donateurs ou tous autres acteurs intéressés par la mise en place d’un

instrument EGRA portant sur les exigences de la taille de l'échantillon et les calculs. La note

présuppose une certaine familiarité avec les statistiques de base et met en évidence les points

qu'on ne trouve généralement pas dans des manuels scolaires de statistiques au niveau de la

licence universitaire et ne définit pas la terminologie couramment utilisée dans le domaine des

statistiques. Comme cela a déjà été discuté dans la Section VI, il est possible d'effectuer la

plupart de ces calculs en utilisant Excel ; toutefois, nous recommandons plutôt Stata ou SPSS (en

vue de la préservation des données et parce que les calculs peuvent être programmés à l'aide de

fichiers de syntaxiques). Cette annexe fait référence aux calculs exécutés à la fois avec Stata et

Excel.

Globalement, la taille de l'échantillon est déterminée en fonction d'une série de facteurs

comprenant les caractéristiques des données et d'une série de postulats sélectionnés par les

chercheurs. Dans le cas d'EGRA, la taille de l'échantillon est déterminée par la variabilité de la

performance des élèves dans les évaluations EGRA précédentes, par le niveau de précision que

le chercheur désire obtenir au moyen des données de résultats ainsi que par la méthode

d'échantillonnage appliquée.

Plus la variabilité de la performance des élèves est grande, plus la taille de l'échantillon requise

sera importante. Si, par exemple, un élève fréquente une école où tous les élèves ont tous le

même niveau de lecture, il n'est nécessaire de sélectionner qu'un seul élève afin de calculer une

estimation précise du niveau de lecture moyen dans cette école. Malheureusement, la variabilité

actuelle ne peut être connue d'avance, lors de la phase de planification de la taille de

l'échantillon. Nous savons qu'il existe toujours une certaine variabilité parmi les élèves. Une

manière de concevoir des estimations de la taille de l'échantillon pour un nouveau cas (nouveau

pays, nouvelle région) est de consulter d'autres cas.

Comme cela a déjà été souligné auparavant, outre les caractéristiques des données, la précision

des résultats souhaitée par le chercheur aura également un impact sur la taille de l'échantillon.

Pour mieux comprendre la situation, il faut réaliser qu'un échantillon ne peut fournir que des

estimations basées sur l'échantillon de la valeur sous-jacente pour l'ensemble de la population.

Par exemple, le niveau moyen de lecture d'un échantillon ne représente qu'une estimation du

niveau de lecture de la population sous-jacente. Après tout, un échantillon n'est qu'un

échantillon, et tout autre échantillon pourrait indiquer une valeur différente. Nous désirons

ensuite savoir avec quelle précision un échantillon quelconque peut correctement estimer la

valeur correspondant à la population sous-jacente. Avec quelle précision notre estimation basée

sur un échantillon portant, disons, sur le niveau de lecture, peut-il estimer le niveau de la

Annexe E

E-1

population sous-jacente ? Il s'agit là d'un problème essentiel. L'avantage de sélectionner un

échantillon est qu'il peut servir à économiser de l'argent, par rapport à l'évaluation de l'ensemble

de la population sous-jacente, mais si les estimations sont trop imprécises, cet avantage ne

vaudra pas grand chose. Une plus grande précision implique généralement un échantillon plus

large, mais de quelle taille exactement ?

Pour entamer ce problème, il est important de réaliser que la notion de « précision » comporte

deux aspects. Premièrement, quelle est la taille de l'étendue dans laquelle le score de

performance des élèves pourrait se situer ? Dans le domaine des statistiques, il est courant de dire

quelque chose du genre « notre échantillon évalue que les enfants sont capables de lire 50 mots

par minute, et ainsi les enfants dans la population sous-jacente sont probablement en mesure de

lire 50 mots par minute, plus ou moins 5 mots par minute ». Une estimation moins précise serait

de dire que « notre échantillon estime que les enfants lisent 50 mots par minute, et ainsi les

enfants dans la population sous-jacente sont probablement en mesure de lire 50 mots par minute,

plus ou moins 20 mots par minute ». La notion de « plus ou moins » s'appelle un intervalle de

confiance (IC), et la valeur réelle du « plus ou moins » est appelée l'amplitude de l'intervalle de

confiance. Plus l'amplitude est réduite et plus les résultats seront précis. Ci-dessus, il a déjà été

fait allusion au second problème : On pourrait dire : « Ainsi, les enfants dans la population sous-

jacente sont « très probablement » en mesure de lire 50 mots par minute, plus ou moins 10 mots

par minute. » Mais quel est le degré de certitude sous-entendu par l'expression « très

probablement » ? Telle est le second volet de cette précision : jusqu'où sommes-nous prêts à aller

pour être sûrs que nous ayons saisi la valeur réelle de la performance de l'élève: sûrs à 90%, à

95% ou à 99% ? En termes statistiques, c'est ce que l'on appelle le niveau de confiance. Une

interprétation intuitive, dans le contexte de l'échantillonnage, serait de comprendre que le fait de

dire « nous sommes sûrs à 99% que la moyenne de la population est de 50 mots par minute, plus

ou moins 5 mots par minute » équivaudrait à dire « qu'il n'existe une probabilité de seulement

1% qu'un échantillon quelconque aurait comme résultat une moyenne d'échantillon de 50, si la

moyenne de la population sous-jacente se situait hors de l'intervalle allant de 45 à 55 ». Donc,

nous avons déterminé un niveau de confiance, ainsi que l'étendue de l'intervalle de confiance.

Nous pouvons estimer, pour un niveau de précision donné, avec quelle précision notre

échantillon appréhende la moyenne de la population.

La méthode utilisée lors de l'échantillonnage ou de la sélection des élèves qui participeront à

EGRA auront également un impact sur la constitution de l'échantillon. Nous discuterons de ce

point plus en détail ci-dessous.

Étant donné que les échantillons plus importants peuvent représenter de grands écarts de

dispersion dans la performance des élèves et fournir des résultats plus précis, il est facile de

conclure qu'il serait toujours nécessaire de retenir un échantillon de taille plus grande.

Malheureusement, les échantillons de grande dimension sont très onéreux. Le chercheur doit

sélectionner un échantillon qui soit suffisamment large pour fournir des données fiables tout en

pouvant se dispenser de niveaux de financement trop élevés. En outre, tout exercice d'évaluation

exécuté dans une école interrompt les procédures scolaires, réduit le temps consacré aux leçons

et constitue une perturbation. Ainsi, certaines considérations d'éthique obligent à garder la taille

de l'échantillon relativement modeste.

E-2

Annexe E

Comme cela a été discuté dans les premières sections de ce manuel, l'objectif visé par la

conception d’EGRA est de réaliser un diagnostic systémique pour un niveau donné. Selon cet

objectif, la discussion ci-dessous se concentre sur les stratégies à employer pour constituer un

échantillon qui soit représentatif au niveau national. Tout au long de cette annexe, la discussion

est posée en termes de la taille minimale de l'échantillon nécessaire pour rapporter les résultats

pour une année primaire. Cela étant dit, la plupart des exercices EGRA ont été conçus en vue de

procéder à une évaluation dans plusieurs années primaires (par exemple, de la 1ère à la 3e

primaire ou de la 2e à la 4e primaire). Ainsi, les calculs ci-dessous, s'appliquent pour une taille

de l'échantillon minimale requise pour chaque année primaire étudiée : si les pays désirent tester

les niveaux dans trois années primaires, l'échantillon devrait être constitué au moyen des

paramètres ci-dessous, pour chacune de ces trois années primaires.

Heureusement, nous avons accumulé suffisamment d'expérience avec EGRA pour permettre une

détermination raisonnable des tailles recommandés pour les échantillons. Les expériences au

Pérou, au Pakistan, en Gambie, au Sénégal et en Jamaïque, ainsi que deux expériences au Kenya,

peuvent désormais être utilisées afin d'étayer la discussion et les recommandations portant sur la

taille des échantillons. Le Tableau 1 contient des informations supplémentaires, utiles pour

déterminer la taille des échantillons, pour tous les pays cités ci-dessus. Celui-ci se sert du niveau

de lecture dans le texte pertinent (le paragraphe du segment de lecture) comme indicateur clé à

retenir. Les noms des pays ne sont pas indiqués, puisque ces données sont présentées en vue

d'illustrer des caractéristiques au sein d'un pays en ce qui concerne les différences entre années

primaires et entre les deux sexes (pour choisir deux caractéristiques) et la variabilité en général.

Ces données ne doivent pas être utilisées en vue d'une comparaison du niveau de lecture entre les

différents pays.

Tableau 1. Estimations clés du niveau de lecture, pour toutes années et tous pays confondus

dans le cadre de diverses activités EGRA

Différence

entre

garçons

Année

et filles

pour

Pondération

toutes les

des pays

années

par

Pays

Total primaires

catégorie

Pays 1

Garçons

2,4

17,8

28,7

16,2

Filles

3,3

17,0

35,6

18,6

Moyenne par années primaires, tous

sexes confondus

2,9

17,4

32,4

17,5

2,4

Ecart type par années primaires

5,9

17,4

23,5

21,0

Gain moyen inter-année

14,8

Annexe E

E-3

Différence

entre

garçons

Année

et filles

pour

Pondération

toutes les

des pays

années

par

Pays

Total

primaires

catégorie

Pays 2

Garçons

1,9

4,3

9,9

5,3

Filles

2,4

3,6

8,6

4,8

Moyenne par années primaires, tous

sexes confondus

2,2

4,0

9,2

5,1

0,5

Ecart type par années primaires

9,3

12,4

19,9

14,8

Gain moyen inter-année

3,5

Pays 3

Garçons

59,8

66,8

63,5

Filles

58,3

78,7

68,3

Moyenne par années primaires, tous

sexes confondus

59,0

73,1

66,1

4,9

Ecart type par années primaires

46,8

48,1

47,9

Gain moyen inter-année

14,1

Pays 4

Garçons

23,2

30,4

50,3

68,3

45,8

Filles

28,2

36,2

58,1

90,2

56,1

Moyenne par années primaires, tous

sexes confondus

25,3

33,1

53,9

78,1

50,5

10,3

Ecart type par années primaires

30,5

34,4

39,2

46,5

43,2

Gain moyen inter-année

17,6

Pays 5

Moyenne par années primaires, tous

sexes confondus

9,2

29,3

Ecart type par années primaires

16,9

30,7

27,4

Gain moyen inter-année

20,1

Pays 6

Garçons

6,8

30,0

97,2

100,5

59,6

Filles

7,3

31,5

44,4

68,5

37,5

Moyenne par années primaires, tous

sexes confondus

7,0

30,8

69,3

85,0

48,2

22,1

Ecart type par années primaires

15,0

39,0

79,3

68,9

64,0

Gain moyen inter-année

26,0

E-4

Annexe E

Différence

entre

garçons

Année

et filles

pour

Pondération

toutes les

des pays

années

par

Pays

Total

primaires

catégorie

Pays 6 - cas spécial

Garçons

11,5

Filles

11,2

0,4

Moyenne par années primaires, tous

sexes confondus

11,4

Ecart type par années primaires

16,2

Gain moyen inter-année

Moyennes tous pays confondus

Niveau moyen réparti par années

primaires, tous pays confondus

10,5

25,0

43,7

79,7

Ecart type moyen de niveau par

année primaire et tous pays

confondus

16,5

26,5

36,6

51,6

Ecart type moyen toutes classes

confondues (à l'aide de tous les

points de données ci-dessus, et

non de moyennes pour

29,2

l'ensemble des pays comme

dans la rangée immédiatement

supérieure)

Gain moyen inter-classe, tous pays

14,1

confondus

Différence moyenne entre les sexes,

3,4

tous pays confondus

S/O = Sans objet.

Notes : Toutes les moyennes sont pondérées. La pondération appropriée par pays est déterminée en fonction de

l'opinion des auteurs quant à l'importance totale attribuée à la taille de l'échantillon et la rigueur avec laquelle ce

dernier a été sélectionné.

Sources : Calculé à partir des bases de données EGRA de plusieurs pays.

Plus loin, nous expliquons comment les tailles des échantillons peuvent être calculées en

fonction de données EGRA préexistantes, d'intervalles de confiance présupposés, de niveaux de

confiance et d'une méthode d'échantillonnage déjà établie.

En reprenant la définition ci-dessus, un intervalle de confiance est une étendue de valeurs (par

opposition à un nombre unique) utilisée en vue d'estimer un paramètre de population (tel que le

niveau de lecture moyen de la population sous-jacente) en fonction d'une estimation des

échantillons (l'estimation du niveau basé sur un échantillon). Plus l'amplitude de l'intervalle de

confiance est étroite ou réduite, plus les résultats seront fiables ou précis. La taille de l'intervalle

de confiance que le chercheur fixe dépendra des caractéristiques de la variable objet de l'étude.

Une approche courante pour suggérer une amplitude appropriée pour un intervalle de confiance

Annexe E

E-5

est d'analyser des séries de variation pour un ensemble de caractéristiques clés des élèves, tel que

la classe ou le sexe, et de suggérer que les intervalles de confiance soient suffisamment étroits

pour permettre de distinguer les performances en fonction de ces caractéristiques clés. Il est

raisonnable de demander, par exemple, que les intervalles de confiance pour des années

primaires différentes ne se superposent pas. À partir du dernier panel du Tableau 1 ci-dessus, il

est clair que la différence moyenne entre classes pour l'ensemble des pays est 14,1, ou 14 pour

obtenir un chiffre entier. Ceci, alors, semble être une amplitude raisonnable sur laquelle baser

des estimations sur la taille de l'échantillon.

Les intervalles de confiance sont associés à des niveaux de confiance spécifiques. Le niveau de

confiance nous indique la probabilité que l'intervalle de confiance contienne le véritable

paramètre de la population (le niveau moyen de lecture). Plus le niveau de confiance est élevé,

plus importante sera le niveau de précision. Les chercheurs retiennent en général des niveaux de

confiance de 90%, 95% et de 99%, et 90% est considéré comme étant quelque peu marginal.

Méthode d'échantillonnage

Comme cela a déjà été précisé auparavant, la méthode d'échantillonnage appliquée affectera

également les exigences en matière de taille des échantillons. Les autres paramètres étant les

mêmes, le fait de choisir des élèves au hasard nécessitera un échantillon plus petit, alors que des

échantillons stratifiés ou groupés demanderont des échantillons plus importants. Bien que cela

semble contradictoire, des échantillons choisis purement au hasard sont plutôt coûteux lorsqu’on

les compare avec d'autres méthodes d'échantillonnage. Si l'on essayait, par exemple, d'appliquer

un échantillon simple choisi au hasard composé de 400 enfants, nous serions confrontés à une

situation où nous devrions nous rendre dans 400 écoles, puis ne tester qu'un seul enfant dans

chaque école, ce qui augmenterait énormément les frais de transport et de main-d'œuvre. ¹

De plus, il faudrait en principe une liste de tous les enfants scolarisés dans le pays, et leur

adresse, afin d'obtenir un échantillon d'enfants simple et aléatoire. De telles listes n'existent tout

simplement pas dans la plupart des pays. Grâce au groupement par grappes des échantillons, les

écoles sont d'abord sélectionnés, et ensuite les élèves qui fréquentent ces mêmes écoles

(groupes). Le fait de choisir les écoles en premier, puis les enfants ensuite, réduit les frais de

déplacement et la durée des trajets et cela élimine également le besoin de dépendre à une liste

nationale des élèves. Puisque la plus grande partie des frais encourus par les enquêtes sont

générés par le besoin d'aller dans les écoles en premier lieu, on peut tester autant d'enfants que

possible dans chaque école au cours d'une visite d'une matinée, afin d'augmenter la taille des

échantillons à un prix relativement faible.

¹ Il ne serait nécessaire d'aller que dans seulement 400 écoles, parce qu’en raison du jeu du hasard, et selon le

nombre total d'écoles dans le pays, certaines écoles auraient plus d'un enfant sélectionné. Dans un pays avec, disons,

seulement 500 écoles, sélectionner un échantillon de 400 enfants par simple échantillon aléatoire devrait

probablement générer plusieurs cas où il y aura plus d'un enfant par école, alors que cela ne serait pas le cas dans un

pays ayant, disons, 80 000 écoles.

E-6

Annexe E

Les applications précédentes d'EGRA ont montrées qu'il est possible à un enquêteur

d'interviewer entre 9 à 10 enfants pendant une période ininterrompue de trois heures.²

Supposons, en guise d'exemple uniquement, un échantillon de 15 élèves par école, une taille

d'échantillon de 400 élèves nécessiterait que l'on ne se rende que dans quelques 27 écoles (une

économie considérable comparée à des visite dans 400 écoles, environ). (L'échantillon réel désiré

d'enfants par école peut varier en fonction des caractéristiques du pays.) Donc, nous

recommandons d'appliquer une méthode d'échantillonnage par grappes.

Toutefois, le fait d'appliquer la méthode du groupement par grappes débouche sur une perte de

réalisme parce que les enfants varient généralement moins au sein des mêmes écoles que

l'« enfant représentatif » dans chaque école ne varie par rapport aux enfants d'autres écoles. Les

enfants dans les écoles tendent à appartenir à la même classe sociale, ou possèdent le même

avantage ou désavantage linguistique, ou bénéficient d'enseignants de même qualité et sont

exposés à des pratiques de gestion similaires (à un degré supérieur à celui les enfants dans des

écoles différentes). Dans ce sens, la variabilité réelle ou de la population entre les enfants tend à

être sous-estimée si l'on utilise une méthode d'échantillonnage par grappes ; c'est à dire,

l'efficacité des frais de transport et de la main-d'œuvre est atteinte au prix d'une perte

d'informations portant sur la variabilité et ainsi, en l'absence d'ajustement, une perte de précision

en résultera. Heureusement, un indicateur pourra nous dévoiler le degré selon lequel le

groupement par grappes peut déboucher sur une sous-estimation de variabilité. Cet indicateur,

connu sous le nom d'effet de sondage (DEFF), peut être utilisé en vue d'ajuster la taille de

l'échantillon pour expliquer la perte de variation causée par le groupement.

Pour récapituler, nous avons discuté quatre éléments qui doivent figurer dans le calcul de la taille

de notre échantillon. Parmi ceux-ci :

1. La variabilité des notes de lecture des élèves (ou autre variable d'EGRA, de préférence)

2. L'amplitude de l'intervalle de confiance déterminée par le chercheur

3. Le niveau de confiance déterminé par le chercheur

4. L'effet de sondage (DEFF) causé par application de l'échantillonnage en grappes

Calcul de la taille de l'échantillon pour un intervalle de confiance et un niveau de confiance

donnés

Du point de vue de la formule, la taille de l'échantillon requis peut être représentée de la manière

⎛

CLtvalue DEFT SD⎞

4⎜

⎟

⎝

Width

⎠

où :

² Ce nombre spécifique d'enfants pouvant être interviewés dépend de la version de l'instrument EGRA qui est

administrée, du nombre de langues dans lesquelles EGRA est effectué, et si EGRA fait partie d'autres études en

cours dans l'école.

Annexe E

E-7

n est la taille de l'échantillon requise ;

CLtvaleur est la valeur t associée au niveau de confiance retenu,

DEFT est la racine carré de l'effet de sondage (DEFF), et on utilise le DEFT parce que

l'expression mise au carré reflète le DEFF ;

ET est l'écart type, qui est un indicateur de la variabilité pour une variable donnée ;

Amplitude = l'amplitude de l'intervalle de confiance déterminée par le chercheur et

le chiffre 4 est dérivé de l'équation de base pour un intervalle de confiance.³

Comme cela peut être observé à partir de cette équation, les augmentations du niveau de

confiance, l'effet de sondage et la variabilité (telle que mesurée par le ET), tous œuvrent en vue

d'augmenter la taille de l'échantillon requise (n). Toute augmentation de l'Amplitude de

l'intervalle de confiance, inversement, réduit l'exigence de taille de l'échantillon mais, par

définition, cette augmentation réduit également la précision.

Aux fins de la formulation de recommandations portant sur la taille de l'échantillon, la racine

carrée de l'effet de sondage (DEFT étant la racine carré de DEFF) et l'écart type (ET) sont

calculés à l'aide de données provenant d'applications EGRA précédentes, en utilisant les données

figurant au Tableau 1.

Le DEFF est calculé comme suit :

DEFF = 1+ (clustersize −1) ICC ,

où :

taille des groupes est la taille du groupe moyen (le nombre d'enfants échantillonnés dans

chaque école), et

L’ICC est le coefficient de corrélation intra-classe.

Des augmentations dans la taille des groupes ou de l'ICC auront pour effet d'augmenter l'effet de

sondage. Si la taille des groupes est 1 (un enfant par école dans l'échantillon), alors l'ICC

importe peu et le DEFF est égal à 1. C'est à dire que le groupement n'affecte pas la variation

présumée si la taille des groupes n'est que de 1.

L'ICC indique dans quelle mesure la variabilité change en fonction des écoles et combien celle-ci

varie au sein des écoles. Une manière intuitive d'analyser ceci est de considérer que l'ICC

indique la probabilité qu'il y a à trouver deux observations similaires dans le groupe se rapportant

à la découverte de deux observations identiques choisies au hasard. Par exemple, un ICC de 0,41

indiquerait qu'il y aurait 41% plus de possibilités de trouver deux élèves ayant le même niveau

³ Cette équation est dérivée de la formule traditionnelle en fonction d'un intervalle de confiance tel que

SD DEFT

X ±CLtvalue

, où l’expression à droite du signe ± représente l'amplitude unilatérale. L'amplitude

SD DEFT

bilatérale totale est alors

Width = 2 CLtvalue

. La manipulation algébrique nous guidera alors jusqu'à

l'équation utilisée dans le texte principal et montrera pourquoi le 2 devient un 4.

E-8

Annexe E

de lecture au sein d'un groupe (école) que de trouver deux élèves ayant le même niveau de

lecture sélectionnés au hasard dans deux écoles, quelles qu'elles soient.

Il existe plusieurs manières d'analyser l'ICC dans la documentation. L'ICC dans ce contexte

précis suit l'usage qui en est fait dans le logiciel Stata, et il est calculé de la manière suivante :

MSE

−

MSE

between

within

ICC

MSE

+(clustersize−1)MSE

between

within

où :

MSE est l'erreur quadratique moyenne, et

la taille des groupes est la taille moyenne des groupes (le nombre d'enfants dans chacune des

écoles sélectionnées).

MSE_entre mesure le degré de variation existant entre les écoles (nos groupes). Arithmétiquement,

MSE_entre est la somme des écarts au carré entre chaque moyenne de groupes (écoles) et la

moyenne globale, pondérée par la taille du groupe (le nombre d'enfants échantillonnés dans

l'école). MSE_inter mesure le degré de variation existant entre les écoles (nos groupes).

Arithmétiquement parlant, MSE_inter est la somme des écarts au carré entre chaque enfant et la

moyenne du groupe (école), divisé parle le nombre total d'enfants moins le nombre de groupes.

En symboles,

cluster

−

X)2

∑

j=1

MSE

between

cluster

−

cluster

(x − X

)

∑

j=1

i∈ j=1

MSE

within

cluster

∑nj− cluster

j=1

où :

X~ est la moyenne « globale » ou d'ensemble,

j est un indice pour les groupes,

i∈

est un indice pour le i-ième enfant dans le groupe j,

est la moyenne du j -ième groupe (ou école),

Annexe E

E-9

groupe est le nombre de groupes ou l'indice du dernier groupe, et

nj est la taille du j-ième groupe ou l'indice du dernier membre du j-ième groupe.

La procédure d'analyse de la variance (ANOVA) dans Excel peut être utilisée pour calculer à la

fois le MSE_inter et le MSE_entre.

Le Tableau 2 montre une série d'estimations à la fois de l'ICC et du DEFT pour quelques cas

particuliers ainsi que les conséquences que ces variables ont sur le nombre d'écoles (groupes)

ainsi que la taille totale de l'échantillon qui en résulte. Un écart-type (ET) de 29 est présupposé

pour tous les cas, une amplitude totale de l'intervalle de confiance (amplitude bilatérale) de 10 est

spécifiée, et un niveau de confiance de 95% est utilisé. L'ICC, le DEFT ainsi que la taille des

groupes sont des valeurs réelles tirées des études EGRA réalisées jusqu'à présent. L'écart type de

29 est une valeur simplifiée, généralisée à partir des diverses études EGRA réalisées jusqu'ici.

Tableau 2. Estimation de l'ICC et de DEFT pour toute une série de pays et

d'années primaires, montrant la taille moyenne des groupes dans chaque

cas

Pays

ICC

DEFT

tailles

des

groupes

Pays A, 3e année

0,17

1,2

3,75

198

primaire

Pays B, 2e année

0,22

2,3

698

primaire

Pays C, 3e année

0,25

1,6

7,57

356

primaire

Pays D, 3e année

0,47

2,3

10,05

708

primaire

Pays E, 2e année

0,48

1,8

5,35

416

primaire

Source : Calculé par les auteurs à partir de diverses enquêtes EGRA.

Les DEFT introduits dans le Tableau 2 ci-dessus sont affectés par l'ICC et également par la taille

du groupe. Comme cela peut être observé dans l'équation correspondant au DEFT, ces deux

indices affectent le DEFT. Dans le Pays B, par exemple, le DEFT se révèle être légèrement

élevé (2,3), même si l'ICC est faible (0,22), parce que la taille du groupe est de 20 ; donc cela

supprime une grande partie des variations en prenant tellement d'enfants issus d'écoles

particulières. Dans le Pays D, un ICC élevé est à l'origine de l'augmentation du DEFT. Dans le

Pays A, le DEFT est le plus faible parce que la taille des groupes et l'ICC sont tous les deux à un

niveau bas. Les impacts sur la taille de l'échantillon requise sont importants. Dans le Pays A, un

échantillon de seulement 198 enfants serait nécessaire (mais quelques 53 écoles), alors que dans

le Pays D, un échantillon regroupant 708 enfants et environ 70 écoles seraient nécessaires.

E-10

Annexe E

Recommandations sur les tailles d'échantillon pour les intervalles de

confiance

Pour déterminer les tailles réelles recommandées pour les échantillons, il serait raisonnable

d'exiger que les différences entre classes soient suffisamment « significatives » d'une manière ou

d'une autre, c.-à-d. que les intervalles de confiance globaux devraient être suffisamment étroits

afin que les intervalles de confiance pour les années primaires se suivant ne se superposent pas.

À l'aide du Tableau 1, nous pouvons observer que la différence moyenne inter-année est de 14.

Ainsi, une Amplitude de 14 est raisonnable.

En retenant une Amplitude de 14, un ICC de 0,45, une taille d'échantillon de 12 et un écart type

(ET) de 29 (comme indiqué au Tableau 1 ci-dessus) la « bonne » taille de l'échantillon est de 409

enfants, pour chaque année primaire étudiée.

Étant donné les différences minimes entre les garçons et les filles mises en évidences par les

données des échantillons figurant au Tableau 1 (et/ou étant donné que les différences entre les

sexes varient fortement d'un pays à l'autre, contrairement à la progression continue en fonction

des années), et étant donné l'équation de la taille de l'échantillon, il devrait être clair qu'une toute

petite Amplitude serait nécessaire pour détecter les différences entre sexes, et ainsi un échantillon

de très grande taille: environ 7 000. Il semblerait prudent d'accepter la notion que les tailles des

échantillons les plus raisonnables ne devraient pas saisir de différences importantes entre garçons

et filles. Cela met en évidence, en passant, l'importance qu'il y a à distinguer entre différence

formelle et différence statiquement importante. En général, s'il existe une différence quelconque

entre deux couches de population, même si celle-ci n'est pas de grande importance, les

chercheurs devraient la « forcer » à revêtir une importance statistique en constituant un immense

échantillon. En d'autres termes, on peut juger des petites différences d'importance marginale

comme étant statistiquement importantes avec un échantillon de grande taille. Le jugement passé

ici est que les différences entre sexes sont suffisamment minimes pour que seuls de très grands

échantillons puissent les détecter de manière à les rendre statistiquement importantes.

Puisque les ET peuvent augmenter jusqu'à 60 ou plus, il peut sembler un peu arrogant de

proposer d'utiliser un écart type de 29 pour un échantillon de taille recommandée. Ceci doit être

discuté plus en profondeur. En premier lieu, comme cela transparaît du Tableau 1 ci-dessus, les

écarts types (ET) les plus élevés figurent plutôt uniquement dans les années primaires

supérieures, et EGRA tente surtout d'examiner les deux ou trois premières années primaires. Il

est également évident que les ET semblent être plutôt positivement influencés par l'estimation

des niveaux moyens de fluence et avec l'estimation des différences inter-années (voir les figures

ci-dessous).

Annexe E

E-11

Figure 1. Moyenne et écart type (ET) de Figure 2. Écart-type (ET) et gain inter-

la fluence

année

r=0.74

r=0.91

Std. dev. of fluency, across grades and countries

Country average inter-grade fluency gain

Dans les situations selon lesquelles les écarts types (ET) de la fluence sont élevés, les niveaux

moyens de fluence le sont également ainsi que les différences inter-années. Cela signifie qu'en

général les différences tendront à être détectables : lorsque les ET sont élevés, les différences que

l'on cherche à détecter le sont aussi. Ou, d'un point de vue de l'intervalle de confiance, lorsque les

ET sont élevés, les points centraux dans les intervalles de confiance le sont également. Cela

signifie qu'en principe, une plus grande Amplitude devrait suffire à établir des intervalles de

confiance qui ne se superposent pas, bien qu'un échantillon de plus grande dimension soit encore

nécessaire. Il est également vrai que si tout ce qui est désiré est l'intervalle de confiance lui-

même (plutôt que la non-superposition entre intervalles de confiance pour différentes

caractéristiques d'élèves), l'amplitude absolue de l'intervalle importe moins que son amplitude

relative.

Par exemple, le fait de dire que la moyenne simple est de 20, avec un intervalle de confiance

pour une moyenne de la population de [10, 30], donne l'impression d'être moins précis que de

dire que la moyenne simple est de 45 avec un intervalle de confiance pour la moyenne de la

population de, disons, [33, 58], même si l'amplitude de cette dernière est plus grande au sens

absolu, parce que l'amplitude de celle-ci est plus réduite, par rapport à son point milieu, que celle

de la première moyenne mentionnée ci-dessus. Même avec ces clauses conditionnelles, des

échantillons plus grands sont encore nécessaires si ET est plus élevé.

Ainsi, par exemple, avec un ET de 50, mais avec des différences inter-années de désormais 20 au

lieu de 14 (où 20 est la valeur attendue étant donné un ET de 50, sur la base du Figure 2 ci-

dessus), la taille de l'échantillon devrait augmenter jusqu'à 597, comparé à 409, pour chaque

année primaire étudiée.

Pour plus de précaution, peut-être qu'il serait bon de recommander des échantillons de 600 élèves

par année primaire étudiée. D'un autre côté, si avec des ET plus élevés, on se contenterait d'un

intervalle de confiance de 90%, alors la taille de l'échantillon requise devrait baisser à 416. (De

nombreuses applications internationales visant à obtenir rapidement des résultats, telles que

E-12

Annexe E

l'approche du Programme élargi de vaccination de l'Organisation Mondiale de la Santé sur la

vaccination dans le secteur de la santé, se sert d'intervalles de confiance de 90%.)

Il semblerait prudent de conclure que l'échantillonnage d'un nombre d';élèves compris entre 410

et 600 par année primaire concernée (en nombres entiers) devrait suffire pour toutes les cas de

figure.

Vérification d'hypothèse versus intervalles de confiance :

Conséquences du choix de l’échantillon

Pour décider de la taille des échantillons, un facteur à retenir est savoir si la base de comparaison

entre groupes (c.-à-d., entre niveaux de fluence dans les différentes années primaires) devait être

des intervalles de confiance ne se superposant pas ou des vérifications d'hypothèses unilatérales.

Une pratique courante est de présenter les IC selon les variables clés et de déclarer ou de laisser

supposer que des IC ne se superposant pas sont une première analyse utile en vue de déterminer

si les différences entre groupes sont importantes. Cela est souvent pratiqué parce que le

chercheur ne sait pas d'avance quel contraste, ou quelle vérification d'hypothèse, revêtira le plus

grand intérêt. C'est pour cela que le fait de présenter des IC pour des variables clés, dans EGRA,

semble être une pratique prudente. De plus, généralement, les lecteurs qui ont un grand intérêt

dans ce domaine se préoccupent beaucoup des paramètres réels qui sont évalués (les niveaux

moyens de fluence, par exemple), ainsi que leur portée probable, et s'intéressent moins à savoir si

les différences entre sous-populations de l'étude sont importantes statistiquement.

Toutefois, essayer de réduire les IC suffisamment afin que ceux-ci ne se superposent pas et ainsi

détecter une différence précise entre les moyennes requiert de plus grands échantillons. Il

faudrait peut-être des échantillons plus grands pour effectuer des vérifications d'hypothèses. Du

autre côté, les vérifications d'hypothèses sont plus difficiles à interpréter, attirent peut-être trop

l'attention sur l'« importance statistique » et loin des paramètres en cours d'étude. De plus, une

partie des économies réalisées en exécutant des vérifications d'hypothèses ne peuvent être

enregistrées que si les vérifications d'hypothèses sont unilatérales.

Les avis sont partagés dans la littérature spécialisée quant aux conditions qui pourraient justifier

une vérification unilatérale d'hypothèses. Cependant, le débat n'est pas concluant, donc il pourrait

être utile de se rappeler les difficultés qui se présentent.

La vérification d'hypothèses postule en général une hypothèse « nulle » que, disons (en prenant

la fluence comme échantillon), la fluence pour une année primaire donnée est égale à celle d'une

année précédente, ou que la fluence après une intervention est équivalent à celle avant cette

intervention. Alors on peut postuler d'autres hypothèses. Une forme d'hypothèse alternative est

que la fluence dans une année supérieure est tout simplement différente la fluence d'une année

précédente, ou que le niveau de lecture après intervention diffère du niveau de lecture avant

intervention. Pour vérifier cette hypothèse, on exécute une vérification d'hypothèses

« bilatérale» ». Cela est courant lorsque l'on s'intéresse plutôt aux analyses d'exploration, où un

certain traitement ou une certaine variable (niveau de ruralité, expérience de l'enseignant, etc.)

pourrait avoir un effet positif ou négatif sur quelque chose d'autre (les résultats des tests

Annexe E

E-13

pourraient être influencés négativement ou positivement par le degré de ruralité et il n'existe pas

de raison valable a priori de tester une hypothèse partant dans une direction plutôt que dans une

autre).

Pour la plupart des applications EGRA, il semble raisonnable de penser que la majorité des

hypothèses testées, ou la plupart des déclarations que l'on aimerait faire, sont unidirectionnelles.

Ainsi, il semblerait que l'on soit justifié à postuler la vérification d'hypothèses unilatérales, pour

réaliser des économies sur la taille de l'échantillon. S'il existe de bonnes raisons de croire que

l'analyse doit être de nature plus exploratoire et descriptive, alors la technique de vérification

bilatérale des hypothèses devrait être employée.

Quelle que soit l'approche, c'est toujours une bonne idée de présenter des intervalles de

confiance, et de non pas se contenter de vérifier les hypothèses. La majorité des programmes

statistiques, y compris Stata, présentent souvent les deux avec la même commande, donc cela

n'est pas difficile à faire. Des programmes d'application plus générale tels qu'Excel ne le font pas,

mais les intervalles de confiance sont très faciles à générer. L'intérêt qu'il y a à présenter les IC

est de favoriser une concentration sur le paramètre en question, tel que la fluence orale dans un

texte correspondant. Mais la remarque a été faite que si les tailles des échantillons sont

suffisamment grandes que pour permettre la détection de différences lors des vérifications

unilatérales d'hypothèses, alors l'amplitude des IC tendra a être plutôt grande. Donc, l'approche

d'EGRA devrait décider en premier lieu si les vérifications unilatérales d'hypothèses sont

acceptables, avec la condition que cela pourrait entraîner des IC un peu plus larges. La

discussion suivante met en évidence les points difficiles.

Supposons que nous ayons deux moyennes d'échantillon,

. Pour ne pas compliquer les

choses, disons que l'estimation des écarts quadratiques moyens (SE) pour les deux sont les

mêmes, donc SE = SE

= SE

. Nous supposons également, sans grande perte due à la

généralisation, que cela est dû à la similitude des écarts types ainsi que des tailles des

échantillons.⁴ Aux fins de cette discussion, nous retiendrons des tests de 5% ou des IC de 95%.

On accepte que les données t correspondent aux degrés de liberté appropriés. Les IC de 95% sont

X ±t SE

025

X ±t SE

025

où t_.025 est l'ordonnée t requise pour un test bilatéral de 5% avec les degrés de liberté appropriés.

L'exigence que les deux IC pour chaque moyenne ne se superposent pas équivaut à exiger que

X +t SE< X −t SE

025

X − X >t SE +t SE =2t SE

025

⁴ En fait, la plupart des ET et des SE différeront l'un de l'autre. L'égalité entre la taille de l'échantillon et le ET est

supposée pour cette exposition, uniquement à des fins de clarification.

E-14

Annexe E

si l'estimation de la première moyenne est inférieure à la seconde, et de manière similaire, mais

avec des signes différents, si la seconde est inférieure; ou plus généralement :

X1 −X

025

parce que les IC pour les moyennes sont symétriques aux abords de la moyenne, et la même

amplitude, en supposant que les SE et les degrés de liberté (influencés par n) restent inchangés.

Mais l'exigence selon laquelle l'IC pour la différence ne se superpose pas avec 0 équivaut à

exiger que

X −X

> 1.41

025

en raison de l'équation de l'écart-type pour une différence entre moyennes, qui est comme suit,

étant donné l'hypothèse retenue de l'égalité des écarts-type et de l'égalité des échantillons :

SD_diff

=1.41SD

Remarquez que le rapport de 2 à 1,41 est 1,41, puisque tout nombre divisé par sa racine carrée

est égal à sa racine carrée. Cela signifie que dans le premier cas, il faudrait un SE plus petit que

dans le second cas, afin de ne pas créer de superposition des IC—inférieure de 1,41 fois. Étant

donné qu' SE = SD /

n , une SE qui est 1,41 fois inférieure requiert un échantillon qui est deux

fois supérieur, puisque

1.41

Les tests instantanés suivants provenant de Stata (à l'aide de la commande « ttesti ») sont

présentés à titre d'exemple. Les tests se servent des valeurs qui ont déjà été utilisées dans les

exemples ci-dessus. Pour illustrer le principe fondamental portant sur les différences entre

intervalles de confiance et vérifications d'hypothèses, nous allons nous concentrer sur un cas

dans lequel le DEFF est de 1. La procédure employée est celle qui est utilisée pour les variances

inégales, bien qu'en pratique et pour faciliter l'exposé, les données d'entrée pour les écarts types

figurant dans les exemples s'équivalent les uns les autres.

En premier lieu, nous sommes confrontés à un cas où l'intervalle de confiance pour la différence

entre les deux moyennes ne se superpose pas à zéro, mais le fait presque, comme on l'observe

dans la zone surlignée d'en bas. Remarquez que Stata présente les IC pour chaque variable, l'IC

pour la différence entre les variables ainsi que toutes les vérifications d'hypothèses pertinentes

pour la différence entre les variables.

ttesti 34 20 29 34 34 29, inégal

Annexe E

E-15

Test t à deux échantillons avec variances inégales

------------------------------------------------------------------------------

Obs

Moyenne

Err. type

Ecart type

[Intervalle de conf.

de 95%]

---------+--------------------------------------------------------------------

x |

4,973459

9,881422

30,11858

y |

4,973459

23,88142

44,11858

---------+--------------------------------------------------------------------

combiné

3.593661

29.63409

19.82702

34.17298

---------+--------------------------------------------------------------------

diff |

-14

7.033533

-28.0429

.042902

------------------------------------------------------------------------------

diff = moyenne(x) - moyenne(y)

t =

-1.9905

Ho: diff = 0

Degré de liberté de Satterthwaite =

Ha: diff < 0

Ha: diff != 0

Ha: diff > 0

Pr(T < t) = 0.0253

Pr(|T| > |t|) = 0.0507

Pr(T > t) = 0.9747

Les IC pour les deux moyennes se superposent en grande partie, tel que cela apparaît dans les

deux zones surlignées du haut, mais l'IC pour la différence ne se superpose pas sur zéro (même

s'il le fait presque, par effet voulu) comme cela est visible dans la zone en surbrillance du bas.

Toutefois, cette manière d'interpréter l'exigence de détection de la différence entre les groupes

est la bonne. Pour éviter toute superposition des IC pour les moyennes elles-mêmes, il faudrait

doubler la taille des échantillons.

Le test suivant montre qu'avec un doublement de la taille de l'échantillon, les CI pour les

moyennes individuelles évitent la superposition de peu, tel que cela est présenté dans les zones

mises en valeur :

ttesti 69 20 29 69 34 29, inégal

Test t à deux échantillons avec variances inégales

------------------------------------------------------------------------------

Obs

Moyenne

Err. type

Ecart type

[Intervalle de conf.

de 95%]

---------+--------------------------------------------------------------------

x |

3,49119

13,03344

26,96656

y |

3,49119

27,03344

40,96656

---------+--------------------------------------------------------------------

combiné

138

2.531281

29.73582

21.99457

32.00543

---------+--------------------------------------------------------------------

diff |

-14

4,937288

-23,76379

-4,236213

------------------------------------------------------------------------------

diff = moyenne(x) - moyenne(y)

t =

-2,8356

Ho: diff = 0

Degré de liberté de Satterthwaite =

136

Ha: diff < 0

Ha: diff != 0

Ha: diff > 0

Pr(T < t) = 0.0026

Pr(|T| > |t|) = 0.0053

Pr(T > t) = 0.9974

Mais un doublement de la taille de l'échantillon est cher payé (et inutilement) pour obtenir des IC

ne se superposant pas pour les moyennes, plutôt qu'un IC ne se superposant pas avec zéro pour la

différence entre les moyennes. Cela peut être observé par le fait que l'IC pour la différence entre

les moyennes est relativement éloignée du zéro (zone surlignée du milieu), ou par le fait qu'une

E-16

Annexe E

vérification bilatérale d'hypothèses pour la différence entre les deux moyennes génère une valeur

de probabilité en dessous du seuil de 5% (zone surlignée du bas).

Toutefois il y a davantage de marge de manœuvre. La plus grande partie du gain en efficacité

parmi les vérifications d'hypothèses concernant la notion d'« intervalles de confiance ne se

superposant pas » est réalisé simplement en postulant le problème comme une vérification

d'hypothèses. Toutefois, si cela est désiré et si cela est justifié a priori, une petite amélioration de

l'efficacité peut être obtenue en supposant un test unilatéral d'hypothèses. Remarquez que dans le

premier imprimé Stata ci-dessus, malgré que l'IC de la différence touche presque zéro, une

vérification unilatérale d'hypothèses est très forte—« excessivement » forte pour un test de 5%.

Du fait que l'IC de 95% pour la différence se rapproche beaucoup de zéro, la valeur de

probabilité pour une vérification bilatérale d'hypothèses est véritablement 0,05 (ou proche de ce

nombre), conformément à nos attentes étant donné l'équivalence entre une vérification bilatérale

d'hypothèses et un IC pour une différence entre moyennes n'incluant pas zéro. Mais la valeur de

probabilité pour une vérification unilatérale d'hypothèses, lors du premier lancement ci-dessus,

n'est que de 0,025 (0,0249 en réalité), donc nous avons plus de degrés de liberté que nous

n'ayons besoin, si nous ne désirons qu'un test de 5%. Puisque la valeur t pour un test unilatéral

d'hypothèses de 5% est de 1,67 (plus ou moins, pour un n élevé), alors que ce qui était nécessaire

pour un test bilatéral était d'environ 1,96, nous pourrions réduire l'échantillon par un taux

d'environ

1.67/1.96 = 0.73 .

En effet, nous avons seulement besoin que

X −X

> 1.41

pour un test unilatéral, où t § 1,67 avec un n raisonnablement élevé.

Le test instantané Stata suivant démontre que lorsque l'on réduit la taille de l'échantillon, à partir

de la première série de résultats, en fonction d'un taux de 0,73 sur 34, ou 25, alors le test

unilatéral d'hypothèses a une valeur de probabilité juste en dessous de 0,05, comme cela est

nécessaire (zone du bas surlignée). Les IC se superposent parfaitement à présent (zones du haut

surlignées). L'IC de 95% pour la différence se superpose même avec zéro, parce que le fait

d'avoir besoin d'un IC ne se superposant pas avec zéro pour la différence serait équivalent à un

test bilatéral d'hypothèses.

ttesti 25 20 29 25 34 29, inégal

Test t à deux échantillons avec variances inégales

------------------------------------------------------------------------------

Obs

Moyenne

Err. type

Ecart type

[Intervalle de conf.

de 95%]

---------+--------------------------------------------------------------------

x |

5.8

8.029388

31.97061

y |

5.8

22.02939

45.97061

---------+--------------------------------------------------------------------

combiné

4,180518

29,56073

18,59893

35,40107

---------+--------------------------------------------------------------------

diff |

-14

8,202439

-30,49211

-2,492108

Annexe E

E-17

------------------------------------------------------------------------------

diff = moyenne(x) - moyenne(y)

t =

-1,7068

Ho: diff = 0

Degré de liberté de Satterthwaite =

Ha: diff < 0

Ha: diff != 0

Ha: diff > 0

Pr(T < t) = 0.0472

Pr(|T| > |t|) = 0.0943

Pr(T > t) = 0.9528

En tenant compte des deux facteurs à la fois, la taille de l'échantillon requise pour un test

unilatéral d'hypothèses est d'environ 0,36 de ce qui est requis pour créer des IC (bilatéraux) ne se

superposant pas sur les deux moyennes.

Remarquez que si l'écart type est suffisamment augmenté par un DEFT de 2,44 (le résultat des

mêmes hypothèses que celles utilisées pour établir la taille de l'échantillon de 409 pour un IC,

c'est à dire un ICC de 0,45 et des groupes de 12), alors la taille de l'échantillon requise pour un

test de 5% augmente, surtout jusqu'à 2,44² fois 25, soit 148.

ttesti 148 20 70,7 148 34 70,7, inégal

Test t à deux échantillons avec variances inégales

------------------------------------------------------------------------------

Obs

Moyenne

Err. type

Ecart type

[Intervalle de conf.

de 95%]

---------+--------------------------------------------------------------------

x |

148

5.811504

70.7

8.515112

31.48489

y |

148

5.811504

70.7

22.51511

45.48489

---------+--------------------------------------------------------------------

combiné

296

4,122578

70,92751

18,88661

35,11339

---------+--------------------------------------------------------------------

diff |

-14

8,218708

-30,17496

-2,174957

------------------------------------------------------------------------------

diff = moyenne(x) - moyenne(y)

t =

-1,7034

Ho: diff = 0

Degré de liberté de Satterthwaite =

294

Ha: diff < 0

Ha: diff != 0

Ha: diff > 0

Pr(T < t) = 0,0253

Pr(|T| > |t|) = 0,0507

Pr(T > t) = 0,9747

Ces facteurs permettent de réaliser quelques économies dans la taille d l'échantillon avec une

vérification unilatérale d'hypothèses par opposition aux intervalles de confiance ne se

superposant pas. Toutefois, il existe une pression inverse, celle de tenir compte de la puissance.

En tenant compte de la puissance, en supposant une puissance de 0,8 et une vérification

d'hypothèse de 5%, et en introduisant la notion que les écarts-type (ET) pourraient être

différents, une taille d'échantillon pour une vérification unilatérale d'hypothèses est

(

DEFF +SD

DEFF

)(0.85+1.67

)

DIFF

où :

0,85 est la valeur unilatérale t pour une puissance de 0,8,

1,67 est la valeur unilatérale t pour un test de 5% (tous les deux avec 60 degrés de liberté, un

nombre peu élevé choisi à dessein), et

E-18

Annexe E

DIFF est la différence hypothétique entre, disons les classes.

En utilisant les mêmes paramètres que pour l'intervalle de confiance, c'est à dire un DEFF de

5,595 (DEFT de 2,44) (à cause d'un ICC de 0,45 et une taille des groupes fixée à 12), et des

écarts types (ET) de 29 (voulant dire que pour cet exemple, ils sont similaires, mais en utilisant

l'équation qui permet différents écarts types), et un DIFF de 14, la taille de l'échantillon requise

est de 324. Dans le cas de figure le plus pessimiste pour lequel les écarts types sont de 50, mais

on laisse le DIFF atteindre 20, la taille d'échantillon requise est de 472. Dans les deux cas, ceux-

ci sont légèrement plus petits que ce qui est nécessaire pour un intervalle de confiance de 95%.

En guise de conclusion, sur la base des types de discussions ci-dessus, selon lesquelles les tests

bilatéraux convenaient le mieux, alors l'équation correcte serait la suivante :

(

DEFF +SD

DEFF

)(0.85+

DIFF

Dans ce cas, et en utilisant les mêmes hypothèses que ci-dessus, la taille de l'échantillon dont

l'écart type de 29 est 414, et avec un écart type plus pessimiste de 50, mais un DIFF de 20, elle

passerait à 603.

Pour résumer :

En cas de besoin d'établir des intervalles de confiance ne se superposant pas, alors grâce à des

paramètres similaires à ce que l'on trouve dans les scénarii les plus difficiles, mais un écart type

de 29 (moyenne pour tous ceux qui ont été étudiés), un échantillon de 409 élèves par classe

suffit.

Pour les cas où on se doute que l'écart type se situe jusqu'à 50, mais où des différences entre

année de même niveau sont par conséquent plus élevées, les échantillons peuvent contenir

jusqu'à 597 élèves, en cas de besoin.

Si l'objectif est de fournir des vérifications d'hypothèses unilatérales, alors des échantillons de

324 (414 pour les bilatérales) jusqu'à 472 (604) pour les bilatérales) pourraient être requis pour

chaque classe.

Pour les différences en fonction des sexes, aucune taille d'échantillon raisonnable n’est en

mesure de détecter des différences statistiquement importantes, au moins si l'on en juge par les

différences entre les sexes qui ont été observées jusqu'à présent. Les différences entre sexes sont

trop minimes.

Résumé des tailles des échantillons sur la base des intervalles de

confiance et des vérifications d'hypothèses

Le Tableau 3 résume une série de suggestions sur les tailles des échantillons. Le tableau suppose

un écart type de 29, un ICC de 0,45 (ce qui est proche de la limite supérieure de ce qui a été

trouvé dans les études EGRA réalisées jusqu'ici), et une taille des groupes (nombre d'élèves

Annexe E

E-19

échantillonnés par école) sur 10. Dans le cas de la vérification d'hypothèses, on suppose une

puissance de 0,8. Dans chaque cas, le nombre d'écoles nécessaire est dérivé en arrondissant le

résultat de la division de l'échantillon par 10.

Tableau 3. Résumé des tailles des échantillons selon divers critères

Taille de

Nombre

l'échantillon

d'écoles

Niveau de confiance 90%

Méthode de l'intervalle de confiance :

Amplitude bilatérale de l'intervalle : 10

475

Amplitude bilatérale de l'intervalle : 15

211

Méthode de vérification de l'hypothèse -

unilatérale :

Différence minimale détectable : 10

390

Différence minimale détectable : 15

173

Méthode de vérification de l'hypothèse -

bilatérale :

Différence minimale détectable : 10

539

Différence minimale détectable : 15

239

Niveau de confiance 95%

Méthode de l'intervalle de confiance :

Amplitude bilatérale de l'intervalle : 10

680

Amplitude bilatérale de l'intervalle : 15

303

Méthode de vérification de l'hypothèse -

unilatérale :

Différence minimale détectable : 10

539

Différence minimale détectable : 15

239

Méthode de vérification de l'hypothèse -

bilatérale :

Différence minimale détectable : 10

689

Différence minimale détectable : 15

306

Source Calculé par les auteurs.

Pondérations des échantillonnages et autres considérations

introduites par le groupement

En résumant tout d'abord la discussion ci-dessus, une simple méthode d'échantillonnage aléatoire

—telle qu'un simple échantillonnage des enfants—est difficile à construire et à mener, puisque

très peu (aucun n'étant connu des auteurs) de pays en voie de développement disposent de

registres nationaux des enfants indiquant le nom de chacun d'entre eux. Même si de tels registres

existaient, ceux-ci seraient peu pratiques, car il serait très coûteux de procéder à l'évaluation d'un

enfant dans une école, puis de se déplacer sur de grandes distances pour évaluer un autre enfant

dans une autre école. Au lieu de cela, il est possible d'échantillonner d'abord les écoles, puis

d'échantillonner les élèves au sein des écoles.

Comme cela a également été décrit auparavant, plutôt que d'échantillonner 400 élèves

entièrement de manière aléatoire, ce qui dans un vaste pays pourrait signifier devoir se rendre à

400 ou près de 400 écoles, un des premiers échantillons, disons, 40 écoles, puis ensuite 10 élèves

par école pour la ou les années primaires faisant l'objet de l'étude. Le fait de choisir un nombre

fixe d'élèves par école devrait faciliter les choses (et selon certains méthodologies, cela peut être

E-20

Annexe E

nécessaire ; voir la section ci-dessous sur l'échantillonnage par lots pour l'assurance de la qualité

[LQAS]), mais puisque la taille des écoles peut varier, calculer une simple moyenne peut induire

en erreur, si les écoles les plus grandes ou les plus petites ont une performance systématiquement

meilleure ou plus mauvaise.

Prenons un exemple pour pouvoir clarifier ce point : supposez que la moitié des écoles sont

grandes (50 élèves par classe soumise à une étude) et que celles de l'autre moitié sont petites (25

élèves par année primaire étudiée). Dans les plus grandes écoles, les élèves ont une facilité de

lecture de 20, mais dans les petites écoles, leur taux de fluence est de 50. Une moyenne simple

générera un niveau de lecture de 37,5. Une moyenne pondérée générera un niveau de lecture de

30. Cela est dû au fait que les écoles les plus petites, qui ont le niveau de lecture le plus élevé,

ont moins de poids ; la moyenne est rabaissée vers la moyenne des écoles les plus grandes.

Aucune de ces moyennes n'est « correcte » par définition. La moyenne de 37,5 caractérise les

écoles et pourrait être utilisée en vue de cibler les écoles requérant une intervention ; la moyenne

de 30 caractérise les enfants.

Si le nombre d'enfants sélectionnés par école varie selon la taille de l'école (disons, si on choisit

tous les 10ème enfants fréquentant l'année primaire concernée par l'étude), alors il n'est pas

nécessaire de pondérer les résultats, puisque les écoles les plus grandes seront représentées

proportionnellement à leur taille, et la moyenne simple calculée représentera les élèves. Dans ce

cas, si les chercheurs désirent obtenir une moyenne des niveaux de lecture des écoles, ils

devraient calculer le pourcentage d'élèves sachant lire dans chaque école, puis calculer la

moyenne simple de ces pourcentages.⁵

Un dernier problème sur lequel il faut revenir, comme cela a été souligné auparavant, est que si

le processus d'échantillonnage utilise des groupes, et le fait que le groupement par grappes ait été

employé est ignoré lorsque les intervalles de confiance sont calculés, alors la variabilité totale est

sous-estimée, et les intervalles de confiance apparaîtront plus étroits que ce qu'ils devraient être

dans la réalité.

Plusieurs logiciels statistiques peuvent tenir compte de cet effet. Pour ce faire, le critère de

groupement par grappes (disons, les écoles) doit être introduit dans de tels logiciels, puis il faut

leur préciser d'employer une hypothèse de groupement lors du calcul des intervalles de confiance

et, finalement, leur demander de procéder au calcul en tenant compte de cette hypothèse. Par

exemple, dans Stata, on déclare le critère de groupement comme étant le nombre d'écoles en

lançant la commande « svyset : school » (école) puis on requiert un intervalle de confiance sur,

disons, la fluence, au moyen de la commande « svy: mean fluency » (fluence moyenne). Pour

donner un exemple en utilisant les pays où les études d'EGRA ont été réalisées jusqu'ici, les

écarts types de la moyenne de la fluence (en supposant aucun groupement et en supposant un

groupement, respectivement) sont de 3,6 et de 4,4 dans un cas ; et de 0,57 et de 1,31 dans un

autre.

⁵ Le Tableau 7 en fin de cette annexe montre un exemple de ces situations.

Annexe E

E-21

Techniques non-paramétriques pour le suivi des progrès au niveau de

l'école : Analyse de la méthode LQAS

Jusqu'ici, la majorité des activités EGRA se sont attachés à promouvoir une prise de conscience

nationale qu'il se pourrait que les enfants ne sachent pas lire aussi bien que cela serait

souhaitable, et que la phase de mise en œuvre dans les systèmes éducatifs est trop instable,

mettant ainsi en péril l'ensemble des projets. Ces efforts cherchent également à attirer l'attention

des législateurs et de ceux qui appliquent la législation sur ce problème et de mettre sur pied des

processus de correction.

Si les pays ou les organisations non-gouvernementales (ONG) effectuent le suivi et des tentatives

de rattrapage et d'amélioration, ce que certains font déjà, alors toutes considérations de suivi des

progrès, et non pas seulement la prise de conscience du besoin d'un changement des politique

éducatives, remettront à la surface. Pour promouvoir la motivation et l'analyse, les échantillons

au niveau national dont les dimensions font objet d'une discussion dans ce document sont à la

fois suffisants et possibles, et permettent de constituer des intervalles de confiance

raisonnablement étroits.

D'un autre côté, le suivi à long terme, en général accompagné de mesures récurrentes au niveau

de l'école, requiert une approche différente.⁶ Jusqu'ici, les efforts d'EGRA ont utilisé une portée

oscillant de 5 à 20 élèves par année primaire et par école. Les échantillons au niveau de l'école

contenant plus de près de 20 élèves par année sont très onéreux, surtout si on décide de suivre de

nombreuses écoles. Cependant, 20 élèves par classe ne suffisent pas pour la plupart des

évaluations statistiques conventionnelles de paramètres, telles que la facilité de lecture moyenne

au niveau de l'école.

Il existe deux solutions à ce problème. Premièrement, EGRA, dans une phase de suivi, pourrait

être appliqué par les enseignants eux-mêmes. C'est-à-dire, au niveau de l'école, lorsque les

enseignants se chargent du suivi, ils évalueront tous les enfants, afin que le problème de

l'échantillonnage ne soit pas sujet à discussion. Le fait que les enseignants assurent le suivi réduit

les charges décaissées ou les frais fiscaux (bien que pas forcement le coût d'option ou social) du

suivi des enfants.

En second lieu, si l'on souhaite suivre les enfants par le biais d'une agence externe, alors les

problèmes échantillonnage vont surgir, parce que cette approche comporte des charges décaissés

et pas seulement des coûts d'option. Comme cela a été souligné auparavant, sélectionner plus de

20 enfants par année primaire et par école, par l'entremise d'étrangers, dans le cadre d'un suivi,

devient rapidement très coûteux. Toutefois, comme cela a également été souligné auparavant, 20

par année n'est pas suffisant pour rassurer, si l'on emploie l'échantillon en vue de déterminer les

niveaux moyens de lecture dans une école donnée. En acceptant de penser de manière non-

paramétrique, néanmoins, des échantillons de 20, ou d'un peu plus, suffisent à surveiller toute

unité administrative quelconque (école ou district).

⁶ Celle-ci requiert une autre méthode quant aux instruments utilisés, et suppose qu'une intervention a été conçue. Ces

problèmes sont importants mais ne concernent pas l'échantillonnage.

E-22

Annexe E

Il serait bon d'expliquer la terminologie en premier lieu. Par approche paramétrique, nous

voulons dire une approche basée sur la tentative d'évaluer, disons, la moyenne des mots corrects

par minute à l'école ou dans le district (un paramètre) au moyen de la moyenne de l'échantillon

(un estimateur).

Il existe plusieurs problèmes avec l'approche paramétrique, lorsque celle-ci est appliquée au

niveau de l'école. Un problème important de l'approche paramétrique est l'absence de puissance

en raison d'un échantillon de si petite taille. À l'aide des données que ce document a manipulé,

nous remarquons que, au niveau des pays, la « moyenne des moyennes » pour les mots corrects

par minute pour la 2e année primaire, dans les pays étudiés, est 25, et l'écart-type de 29. Le

DEFT n'a pas d'importance puisqu'au niveau de l'école, on ne procéderait pas au groupement.

Supposons qu'avec une moyenne de 25, on peut se fixer comme but d'atteindre 39 (de poursuivre

la différence moyenne inter-année de 14) mots corrects par minute, c.-à-d., gain d'une classe, et

on doit pouvoir détecter les écoles fonctionnant en-deçà du niveau afin de déterminer lesquelles

ont besoin d'aide.

Même pour un écart type (ET) aussi élevé que 29, une hypothèse que « Une école avec un

échantillon inférieur à 20 est en-deçà de l'objectif fixé » a un niveau de signification traditionnel

élevé (alpha), avec une valeur de probabilité inférieure à 0,02. Cependant, ce test a une

puissance de 0,69 ou une beta de seulement 0,31 environ.⁷ Cela signifie que bien qu'il existe une

faible probabilité (moins de 5%) d'aider les écoles qui n'en ont pas besoin (c'est à dire une faible

probabilité d'accepter l'hypothèse alternative lorsque l'hypothèse nulle est vraie), les probabilités

sont élevées de ne pas aider des écoles qui en ont besoin (c'est à dire, d'accepter l'hypothèse nulle

quand l'hypothèse alternative est vraie).

Hormis ces facteurs, les résultats paramétriques pourraient se révéler un peu plus difficiles à

manipuler, du point de vue du suivi. Pour une équipe EGRA intéressée par le suivi, il serait plus

facile de travailler avec une règle non-paramétrique telle que « sélectionner 20 enfants par année

primaire par école (cela pourrait être seulement pour une seule année primaire ; l'année primaire

sous étude dans le cadre d'un processus de suivi), et si plus de X peuvent lire, l'école n'a pas

besoin d'aide, ou n'a pas besoin du niveau d'aide le plus élevé ». La déclaration est formulée en

chiffres absolus, et il n'y a pas de moyennes, d'écarts types ou de pourcentages à calculer : il

s'agit d'une proposition de surveillance plus typique et plus simple.

Ainsi, une alternative aux statistiques paramétriques serait une forme quelconque d'approche

non-paramétrique, selon laquelle on ne chercherait pas les moyennes au niveau de l'école, mais

uniquement dans les nombres d'enfants sachant lire à ou au-delà d'un certain niveau dans un

échantillon donné dont la taille aura été fixée (ou, de même, puisqu'on peut désirer surveiller les

processus également, le nombre d'élèves qui sont exposés à certaines techniques didactiques).

Ces approches emploient en général la distribution binomiale pour fixer les tailles des

échantillons et des « règles de décision » (telles que combien de non-lecteurs peuvent être

acceptés avant qu'il soit décidé qu'une école ne satisfait pas les objectifs), afin de préserver les

probabilités alpha et beta à un niveau réduit. Jusqu'ici, la technique la plus courante de ce genre

utilisée surtout dans le secteur de la santé dans les pays à faibles revenus, s'appelle

l'échantillonnage de lot pour l'assurance de la qualité (LQAS).

⁷ La commande Stata « sampsi 25 39, sd(29) n(20) onesample onesided » (un échantillon, unilatéral).

Annexe E

E-23

Pour utiliser LQAS, il est nécessaire de transformer une variable de lecture donnée en variable

binaire. La variable prend la valeur de 1 si le niveau de lecture des élèves est supérieur à un

certain niveau et 0 si les enfants n'atteignent pas un niveau ciblé de mots corrects lus par minute.

LQAS est fréquemment utilisé pour suivre les processus. De ce fait, on pourrait procéder

autrement et une valeur de 1 pourrait être assignée si les élèves étaient exposés à une certaine

pratique, et 0 en cas contraire. En cas contraire, il n'est pas nécessaire de transformer une

variable continue en variable binaire.

La méthode LQAS la plus courante est de penser en termes de deux risques :

1. le risque (coût) qu'il y a à aider une école qui n'en a pas besoin — en général ce qu'on

appelle le « risque du gouvernement » ou encore le « risque du fournisseur », puisqu'on

encourt des frais à intervenir sans nécessité, similaire à une erreur de type I en

statistiques, avec niveau alpha associé ; et

2. le risque de ne pas intervenir dans une école qui en a besoin — ce que l'on appelle en

général le « risque social » ou le « risque du consommateur », similaire à une erreur de

type II en statistiques, avec un niveau beta associé.

Pour minimiser le risque des fournisseurs, il faudrait fixer un niveau élevé de non-lecteurs dans

une école avant de l'aider. Ainsi, on peut être sûr que l'école en a besoin. Mais si on va trop loin

dans cette direction, on court également le risque de ne pas aider une école qui en aurait besoin.

Pour se prémunir contre ces deux risques, en général on fixe un seuil supérieur (par exemple à

50%), et le nombre de non-lecteurs autorisé dans un échantillon est fixé de manière à réduire la

probabilité de classer une école dans la catégorie des non-lisant alors qu'elle se trouve dans la

catégorie des écoles où les élèves savent lire. Ceci milite en faveur d'une plus grande tolérance

en faveur de l'inclusion de davantage de non-lecteurs dans l'échantillon avant de déclarer qu'une

école a échoué. Selon la démarche inverse, un seuil inférieur est fixé (par exemple à 20%), et le

nombre de non-lecteurs autorisés dans un échantillon est fixé de manière à réduire la probabilité

qu'il y aurait à classer l'école dans la catégorie de celles n'ayant pas besoin d'aide si seulement

20% ou plus des élèves ne savent pas lire. Cela milite en faveur d'une moindre tolérance en

faveur de l'inclusion des non-lecteurs dans l'échantillon. En bref, des pressions des deux côtés

existent. Étant donné ces tiraillements, la démarche finale est de déterminer la taille totale de

l'échantillon ainsi que le nombre de non-lecteurs que l'on tolérera avant que l'école ne bénéficie

d'aide, au moyen de ces seuils, afin de maintenir le risque total (alpha plus beta) à un niveau

raisonnablement bas, tel que moins de 15%. Dans le secteur de la santé, ce niveau est

généralement considéré approprié à des fins de suivi.

Pour répéter ce qui a été dit plus haut, la technique peut être utilisée avec des variables continues

(disons, le niveau de lecture d'un texte pertinent) qui ont été transformées en variables binaires

(chaque enfant qui lit plus de X mots corrects par minute reçoit un 1, les autres un 0) ou avec des

variables de surveillance qui sont naturellement binaires (telles que si un enfant participe au

quotidien à un groupe de lecture avec ses camarades).

E-24

Annexe E

Le Tableau 4 illustre les principes concernés, pour des seuils de 50% et 20%. La documentation

en provenance du secteur de la santé se sert en général d'exemples de 80% et 50% dans le cadre,

par exemple, du suivi de l'administration. Mais si quelqu'un devait utiliser cette technique pour

suivre la lecture, il est raisonnable de fixer des seuils particulièrement faibles, étant donné la

situation déplorable dans la plupart des pays étudiés.

Tableau 4. Exemple de table de décision LQAS

Nombre

Probabilité cumulative

Taille de

d'échecs,

réussites,

Probabilité allant jusqu'à

allant jusqu'à f échecs

Risque

l'échantillon

s-1 succès inclus

inclus

total

Équivalent de la

probabilité ou du risque

d'accepter une école

Équivalent de la

comme ayant besoin

probabilité ou du risque

d'aide alors qu'elle n'en a

de ne pas aider une

pas besoin

école qui a besoin d'aide

Seuil supérieur :

Seuil inférieur :

0,50 (50%)

0,20 (20%)

0,006

0,370

0,376

0,021

0,196

0,216

0,058

0,087

0,144

0,132

0,032

0,164

0,252

0,010

0,262

0,412

0,003

0,414

0,588

0,001

0,589

0,748

0,000

0,748

0,868

0,000

0,868

0,942

0,000

0,942

0,979

0,000

0,979

0,994

0,000

0,994

0,999

0,000

0,999

1,000

0,000

1,000

0,000

1,000

0,000

1,000

Source : Calculé par les auteurs à partir de valeurs présupposées en employant la distribution binomiale.

En remontant le long de la colonne du seuil des 50%, on peut noter que le fait de réduire le

risque pour le gouvernement, il faut accepter comme écoles n'ayant pas besoin d'aide des écoles

disposant sans aucun doute de plus de 50% de lecteurs. On pourrait être tenté d'accepter comme

écoles n'ayant pas besoin d'aide uniquement les écoles où se trouvent au moins 10 lecteurs

(puisque 10/20=50%). Mais, même les écoles où jusqu'à 50% des enfants sont en mesure de lire

ont une probabilité allant jusqu'à 13,2% de produire des échantillons pour lesquels 8 enfants au

maximum savent lire, puisque nous ne parlons que d'un échantillon. Une règle fondée sur la

moyenne estimative serait donc trop souvent erronée.

On pourrait être tenté de réduire encore davantage ce risque, de ce fait, et de ne vraiment

accepter comme écoles ayant besoin d'aide que, disons, des écoles avec 6 lecteurs seulement.

Annexe E

E-25

Cela réduirait le risque pour le gouvernement à 2,1%. Ainsi, pour minimiser le risque qu'il y

aurait à accepter trop d'écoles comme ayant besoin d'aide (épargnant ainsi le risque pour le

gouvernement), on serait porté à accepter comme nécessitant de l'aide de nombreux non-lecteurs

avant de pouvoir accepter l'école. Plus il y a d'élèves ne sachant lire que l'on est disposé à tolérer

avant de décider que l'école a besoin d'aide, et plus sera réduite la probabilité selon laquelle nous

pouvons accepter cette école comme ayant besoin d'aide, même si celle-ci n'en a pas besoin—

c'est à dire que plus on est sûr, sur la base de l'échantillon, qu'il existe suffisamment de non-

lecteurs dans la population de l'école pour faire basculer l'école vers le seuil des 50%. Ce point

devient évident lorsque l'on remonte la colonne du seuil des 50%. Cela réduit le risque du

gouvernement, ou encore le risque qu'il y aurait à aider des écoles qui n'en auraient pas besoin.

Mais alors (en lisant au travers du panneau à la colonne 5, la colonne du seuil des 20%), le fait de

baisser jusqu'à 6 lecteurs engendrerait une probabilité de 19,6% de ne pas intervenir dans des

écoles où moins de 20% des élèves atteignent l'objectif. C'est parce qu'il y a 19,6% de chances,

même si seuls 20% des élèves sont des lecteurs, d'observer un maximum de 6 lecteurs ou plus

sur un total de 20. Ce niveau de « risque pour le consommateur » est trop élevé. Nous courrons le

risque de ne pas aider les écoles qui en auraient besoin.

L'astuce, alors, est d'ajouter les deux risques, afin de créer un concept du risque total, et

d'analyser les caractéristiques du risque total. Ainsi, avec une taille d'échantillon de 20, le

nombre seuil de lecteurs—en d'autres termes, le nombre de lecteurs minimisant le risque total—

est de 7. La « règle de décision » est la suivante : accepter comme école n'ayant pas besoin d'aide

en présence de 7 lecteurs ou plus, ou accepter comme école ayant besoin d'aide en présence de

moins de 7 lecteurs, et cela crée un risque total de 0,144. N'oubliez pas que pour l'approche

paramétrique, seul le second type de risque atteignait les 30%. Dans ce cas, les risques alpha et

beta sont maintenus en-dessous des 10% et la somme des deux est maintenue en dessous de 15%.

Si l'on désire réduire ce risque en deçà de la barre des 10%, pour une série oscillant entre 50%-

20% de seuils, la taille d'échantillon devrait augmenter jusqu'à 26, soit un prix relativement élevé

à payer. La majorité des applications de santé utilisent le 19.

Tout ce qui a été dit au sujet des enfants au sein des écoles peut s'appliquer aux écoles au sein

des districts, par exemple. De même, tout ce qui a été dit au sujet des enfants sachant lire pourrait

s'appliquer à d'autres pratiques au niveau de l'école, telles que l'école disposant d'un programme

de lecture d'un certain type. Les mêmes nombres s'appliquent là encore.

Il serait très difficile d'expliquer ces règles et d'assurer que les employés au niveau du district

dans les pays à faibles revenus pourraient les comprendre véritablement, mais celles-ci sont

extrêmement faciles à appliquer sur la base de règles simples, une fois que les règles de base ont

été établies. Il suffit de dire « Prenez des échantillons de 20. Si 7 enfants ou plus savent lire au

moins X mots corrects par minute, l'école ne recevra pas d'aide supplémentaire. Si moins de 7

élèves peuvent le faire, l'école a besoin de davantage d'aide ou de recevoir un avertissement. »

Le calcul des probabilités peut être facilement programmé. La formule requise dans Excel pour

le premier risque (seuil de 50%) est

E-26

Annexe E

=1-BINOMDIST(f,n,1-hithresh, TRUE),

où :

n est la taille de l'échantillon,

f est le nombre d'échecs,

hithresh est le seuil plus élevé protégeant contre le risque gouvernemental, et

TRUE signifie qu'il s'agit du binomial cumulatif qui est désiré.

La formule du second risque est

=BINOMDIST(f,n,1-lothresh,TRUE).

Ainsi, par exemple, pour pouvoir assurer 2,1% correspondant au risque pour le gouvernement

(colonne des 50%) ci-dessus, lorsque plus de 6 non-lecteurs (deuxième rangée à partir du haut)

sont tolérés avant qu'une école ne reçoive de l'aide, les chercheurs emploieraient 1-

BINOMDIST(14,20,1-0.5,TRUE.⁸

Comme cela a déjà été mentionné, une des vertus de LQAS est que les choses peuvent être

formulées avec des règles de décision fixes et relativement simples. Au Tableau 5, nous avons

calculé un exemple montrant la taille optimale de l'échantillon et la règle de décision (par

exemple, accepter comme n'ayant pas besoin d'aide toute école avec 7 lecteurs ou plus). Cela

peut être utilisé directement par des moniteurs, sans avoir à se préoccuper de toute cette théorie

ainsi que du tableau assez compliqué présenté ci-dessus (Tableau 4), créé par des projets de

santé.

⁸ En réalité, on utiliserait les références des cellules Excel plutôt que des nombres exacts.

Annexe E

E-27

Tableau 5. Règles de décision préétablies sur la base de la méthodologie LQAS

Pour un risque total <

Seuils de

0,10

0,15

conformité ou de

Taille

Règle

Taille

performance

optimale de

optimale de Règle de

Supérieur Inférieur l'échantillon décision l'échantillon décision

0,95

0,65

0,90

0,60

0,85

0,55

0,80

0,50

0,75

0,45

0,70

0,40

0,65

0,35

0,60

0,30

0,55

0,25

0,50

0,20

0,45

0,15

0,40

0,10

0,35

0,05

Source : Calculé par les auteurs à partir de valeurs présupposées en employant la

distribution binomiale.

Combinaison et comparaison des LQAS et évaluation de paramètres

La documentation suggère qu'il existe une manière astucieuse de combiner les LQAS et

l'évaluation de paramètres. Pour ce faire, les données pour les écoles portant sur la lecture sont

collectées. Mais nous savons qu'un échantillon de seulement 20 élèves par année primaire (ou

pour toute une école, si l'on n'analyse qu'une seule classe, et tout en notant que dans tous les cas,

ce nombre est plus élevé que ce qui serait optimal pour une approche par groupes) ne permet pas

d'évaluer avec fiabilité le pourcentage de lecteurs sous forme de paramètre, ni d'estimer le

nombre de mots corrects par minute, aussi sous forme de paramètre.

Comme cela a déjà été mentionné auparavant, l'intervalle de confiance dans notre « cas le plus

typique », avec une moyenne de 25 mots lus correctement par minute, un écart type (ET) de 29,

et une taille d'échantillon atteignant jusqu'à 20 au niveau de chaque école en particulier, produit

un intervalle de confiance de 95% qui est aussi large que [11,4, 38,6] au niveau de l'école, trop

élargi pour travailler facilement. Accepter un niveau de confiance inférieur, de 90%, n'aide pas

davantage et produit un IC de [13,8, 35,2] au niveau de chaque école. Même une estimation du

pourcentage des lecteurs lisant au-dessus d'un certain niveau génère un IC très élargi. Dans les

pays que nous avons étudiés, une moyenne de 25 indique qu'environ 20% des élèves lisent plus

de 40 mots corrects par minute. Un IC de 90% pour le pourcentage de population équivaut à

[0,071, 0,401] au niveau de l'école.

Toutefois, la documentation suggère que le fait de constituer des échantillons de 20 élèves par

école, puis ensuite 20 à 40 écoles, permettrait une taille d'échantillon qui soit suffisamment large

pour évaluer des paramètres dépassant une simple école. Cela correspond aux calculs de taille de

E-28

Annexe E

l'échantillon ci-dessus qui sont nécessaires pour l'estimation paramétrique soit des intervalles de

confiance, soit des vérifications d'hypothèse, au-delà de la simple l'école.

Cela peut se révéler plutôt utile. Il est possible de mener un sondage de type LQAS pour

recueillir des données sur les paramètres de base à un niveau supérieur à celui d'une simple

école. La taille de l'échantillon au niveau de la simple école ou la dimension des groupes (disons,

20), pour un premier sondage, peut être basée sur les informations déjà connues au sujet de la

lecture dans le pays en question et à partir de preuves provenant du monde entier. Les données

peuvent alors être utilisées pour effectuer des décisions non paramétriques « oui-non » pour

chaque école, afin de déterminer quelles écoles ont besoin de plus d'aide au cours de la première

année d'intervention, et en vue d'établir une ligne de base au-delà de la simple école pour ces

mêmes paramètres. Des évaluations répétées peuvent obtenir le même résultat, sauf que l'on

pourrait légèrement améliorer la taille de l'échantillon au sein d'une école, une fois qu'un niveau

de référence est déterminé à partir duquel il est possible de mieux établir les seuils inférieurs et

supérieurs. Bien sûr, si le niveau de référence pour la taille d'échantillon de l'école est fixé à 20,

la prise en compte du DEFT conditionnera alors le nombre total d'écoles qui devraient être

acceptées.

Les recommandations pour un échantillon LQAS de base sont indiquées au Tableau 6 ci-dessous.

À la différence des intervalles de confiance et de vérification d'hypothèses standard, l'échantillon

au sein de l'école, autrement dit la taille des groupes, est fixé à 20. Ce choix a été retenu parce

qu'il s'agit du nombre le plus petit qui puisse être accepté pour effectuer des jugements non-

paramétriques sur chaque école (si l'école « passe » ou « échoue » l'inspection). Mais il est

possible de se servir des informations au niveau de l'école, de les réunir, afin d'estimer le niveau

moyen (paramétrique) des élèves en fluence. L'hypothèse appliquée ci-dessous correspond à la

taille d'un échantillon au sein de l'école, soit la taille des groupements, fixée à 20.

Tableau 6. De nombreuses écoles devaient fournir une évaluation de

paramètres pouvant être généralisés au-delà de la simple école, pendant

l'utilisation des tailles de groupes LQAS de 20 au niveau d'une simple école

Amplitude bilatérale de confiance

Niveau de confiance

90%

95%

90%

95%

Nombre d'écoles nécessaires

Source : Calculé par les auteurs.

En rassemblant les données LQAS afin d'évaluer les paramètres, il est important de pondérer les

écoles choisies, comme c'était le cas ci-dessus à l'aide des méthodes régulièrement utilisées pour

l'évaluation des paramètres. Supposons, par exemple, que les écoles dans un district aient été

choisies au hasard, à l'aide d'une simple technique de sélection aléatoire. Mais les tailles des

écoles varient. Ainsi, les 20 élèves choisis au sein de chaque école représentent des totaux

différents. Dans l'exemple artificiel présenté au Tableau 7 figure une simple moyenne ainsi

qu'une moyenne pondérée, en supposant un échantillon de petite taille de 20 écoles et de 20

élèves par école.

Annexe E

E-29

Tableau 7. Se servir des données provenant de LQAS afin de calculer les moyennes

Nombre total

d'élèves dans

Ecole

Élèves

Nombre de

la classe

Lecteurs

n°

choisis

lecteurs

testée

pondérés

600

882

161

200

598

517

864

1260

138

133

920

741

816

115

280

Total

400

206

677

8529

Moyenne simple

10,3

Moyenne pondérée

12,6

Source : Calculé par les auteurs.

Dans ce tableau, la moyenne simple est calculée en prenant le nombre total de lecteurs (206) et

en le divisant par le nombre total d'écoles (20) pour obtenir la moyenne des lecteurs par école de

10,3 (ou un pourcentage de lecture de 10,3*100/20=51,5%). Toutefois, on peut discerner un

schéma d'après les données : dans chaque groupe de taille fixe ou échantillon d'école de 20, les

écoles les plus grandes ont davantage de lecteurs que les petites écoles. Une moyenne simple

reflétera ainsi la proportion des enfants qui savent lire. Si on pondère les lecteurs dans chaque

école conformément au nombre total d'élèves dans l'année primaire testée, la proportion d'élèves

sachant lire est bien plus importante. Cela peut être fait en multipliant le nombre de lecteurs dans

chaque école par le nombre total d'élèves dans la classe testée dans chaque école, afin d'obtenir la

dernière colonne. On divise alors le total de la dernière colonne toutes écoles confondues par le

total dans la classe toutes écoles confondues afin d'obtenir la moyenne pondérée

(8529/677=12,6), ou un pourcentage des élèves sachant lire de 63%.

L'écart entre 51,5% et 63% est important, mais il s'agit d'un cas fortement exagéré. Dans la

plupart des exemples de la vie quotidienne, la différence ne sera vraiment pas aussi importante,

parce qu'il est peu probable qu'il existe une association si forte entre la taille de l'école et le

niveau de lecture (0,87 dans cet exemple artificiel). Remarquez également que le pourcentage de

51,5% n'est pas forcément « incorrect » et que le pourcentage de 63% n'est pas forcément

E-30

Annexe E

Annexe F. Evaluation de la qualité technique de

l'instrument EGRA

Il est important d'évaluer la qualité technique de tout instrument utilisé afin de mesurer les

accomplissements des élèves. L'instrument EGRA n'est pas une exception. Les procédures

employées afin de mener ces contrôles proviennent du domaine de la psychométrie.

Traditionnellement, ces procédures se sont concentrées sur deux concepts clé : la fiabilité et la

validité.

Il est fortement recommandé que les équipes administrant EGRA incluent un spécialiste en

psychométrie qui puisse exécuter les contrôles nécessaires. La discussion ci-dessous a pour but

d'offrir au lecteur une brève introduction sur le sujet et de mettre en valeur certains problèmes

survenus. Il ne s'agit pas d'une analyse exhaustive, et cet aperçu n'offre pas d'instructions

progressives et détaillés pour exécuter ces contrôles.

Fiabilité

La fiabilité peut être définie comme le degré selon lequel les notes d'un groupe d'élèves, lors de

l'administration répétée d'un test, demeurent invariables. En guise d'analogie tirée de la vie

quotidienne, prenons une balance. Si un sac de riz est placé sur une balance cinq fois, et qu'on lit

« 20 » chaque fois, alors la balance fournit des résultats fiables. Mais si la balance affiche un

nombre différent (par exemple, 19, 20, 18, 22, 16) chaque fois que le sac est placé dessus, alors

celle-ci n'est probablement pas fiable.

L'indicateur de fiabilité des notes de tests le plus communément utilisé est le coefficient Alpha

de Cronbach, qui mesure la cohérence interne d'un test (les routines de calcul statistique telles

que SPSS et Stata peuvent calculer rapidement ce coefficient). Le coefficient Alpha de Cronbach

peut ne pas être l'indicateur le plus approprié de la fiabilité des résultats d'EGRA, néanmoins,

cela est dû surtout parce que des parties de l'instrument EGRA sont chronométrés. Les

indicateurs chronométrés ou limités dans le temps affectent le calcul du coefficient alpha de

façon à en faire une estimation exagérée de la fiabilité des résultats du test ; toutefois, le degré

selon lequel les résultats sont augmentés demeure inconnu.

La Méthode Tester-Retester est plus appropriée pour estimer la fiabilité des résultats obtenus

sur l'instrument EGRA. Tester-Retester, qui peut être mené dans le cadre du pilotage de

l'instrument EGRA, implique principalement d'administrer l'instrument EGRA au même groupe

d'élèves à deux moment différents (par exemple, avec un écart d'une semaine environ). Les

élèves sélectionnés devraient être représentatifs de la population ciblée dans les domaines clés,

tels que le sexe et l'âge, le statut socioéconomique/historique familial, compétences cognitives, et

ainsi de suite. Le coefficient de fiabilité pour Tester-Retester représente la corrélation entre les

résultats des élèves lors de l'administration du test à deux moments différents. Plus la corrélation

est élevée (en général, une valeur de 0,7 ou plus est jugée acceptable), au moins les résultats

d'EGRA sont susceptibles de correspondre aux changements quotidiens aléatoires dans la

situation des sujets testés ou de l'environnement du test.

Annexe F

F-1

Une variation de cet exercice est de mener un contrôle Tester-Retester au moyen de deux

formulaires similaires de l'instrument EGRA. Dans ce cas, la procédure est d'administrer le

Formulaire 1 du test, d'attendre environ une heure, puis d'administrer le Formulaire 2. Si

possible, il est recommandé d'inverser l'ordre d'administration des formulaires pour la moitié du

groupe. La corrélation (encore une fois, une valeur de 0,7 ou plus est probablement acceptable)

entre les deux séries de résultats offre une mesure du degré de stabilité des résultats EGRA

obtenus après l'admission répétée du test ainsi que le degré d'équivalence des résultats générés

par les deux formulaires de test.

Un autre problème se rapportant à la fiabilité des résultats d'EGRA est la cohérence et la

précision de la performance de l'enquêteur. Si deux enquêteurs sont à l'écoute du même

enfant lisant une liste de mots du test EGRA, vont-ils enregistrer le même nombre de mots lus

correctement ? Les deux enquêteurs seront-t-ils incorrects ? Puisque seul un enquêteur écoute et

répond généralement aux réponses de chaque enfant lors de l'administration principale d'EGRA,

le meilleur moment pour aborder ce problème de cohérence (et de précision) est pendant la

formation de l'enquêteur. Il devrait être demandé à tous les enquêteurs d'écouter le même

enregistrement d'un enfant passant le test EGRA et d'enregistrer individuellement les réponses

correctes de l'élève en termes de nombre de mots lus correctement, etc. Tout enquêteur dont

l'enregistrement des réponses contient une grande quantité d'erreurs (par exemple, en terme de

divergence entre le nombre de mots corrects lus par minute qui ont été enregistrés par l'enquêteur

et le nombre de mots corrects lus par minute que l'élève a bien lus) devrait bénéficier d'une

formation supplémentaire. En l'absence d'amélioration, ceux-ci devraient être retirés du groupe

d'enquêteurs afin de ne pas affecter la qualité des données collectées pendant l'étude principale.

Validité

La validité porte sur le caractère approprié ou non ou la rectitude des inférences ou des décisions

basées sur les résultats des tests. Pour revenir une fois de plus à l'exemple de la balance, si un sac

de riz pesant 30 kg est placé cinq fois sur la balance et qu’à chaque fois le poids indiqué est « 30

kg », la balance produit des résultats qui sont non seulement fiables mais également valables. Par

contre, si la balance indique toujours « 20 kg » à chaque fois que le sac de 30 kg y est placé, elle

fournit des résultats qui ne sont pas valables (mais qui demeurent fiables puisque la mesure, tout

en étant fausse, est très constante !).

Un test valable en toutes circonstances n'existe pas. La validité d'un test doit être établie par

référence à une inférence ou une utilisation particulière basée sur les résultats des tests. La

validation est le processus selon lequel un concepteur du test ou un utilisateur du test recueille

des preuves pour appuyer les inférences/utilisations désirées. La preuve de la validité se

rapportant à l'instrument EGRA est décrite ci-dessous.

La preuve liée au contenu du test se rapporte au degré selon lequel les éléments du test EGRA

vont dans le sens du concept mesuré (c.-à-d., les compétences fondamentales en lecture dans un

pays particulier). L'atelier national qui a lieu au début du processus de développement du test

EGRA fournit l'opportunité pour les pays d'introduire une validité de contenu dans l'instrument

en demandant aux représentants du ministère, aux experts en programmes scolaires et aux autres

groupes pertinents d'examiner le modèle de référence d'EGRA et passer des jugements sur le

F-2

Annexe F

caractère approprié ou non de chaque type d'articles en vue de mesurer le niveau de lecture dans

les petites classes de leurs élèves. À la suite de cette analyse, ces personnes adapteront

l'instrument EGRA en cas de besoin et prépareront les éléments en fonction du pays pour chaque

section du test.

Les preuves liées au critère font référence à l'étroitesse du rapport (corrélation) existant entre

les résultats pour le test EGRA et autres indicateurs externes au test. En général, il faudra

analyser le rapport entre les résultats d'EGRA et ceux portant sur les indicateurs de certains

critères que le test est sensé prédire (par exemple, les résultats du test de compréhension dans les

années supérieures), ainsi que les rapports aux autres tests postulés comme mesurant les mêmes

concepts ou des concepts associés (par exemple, les résultats des élèves pour les tests de

compétences fondamentales en lecture). Les données sur ces autres mesures peuvent être

recueillies en même temps que les données EGRA ou celles-ci peuvent être recueillies plus tard

(mais celles-ci devraient être recueillies pour les mêmes élèves). Ce type de preuve de validité

sera difficile à collecter dans des pays disposant de peu d'indicateurs standardisés sur les résultats

d'apprentissage des élèves. Toutefois, il ne faut pas oublier que des travaux de recherche

extensifs dans d'autres pays ont révélé que des instruments de type EGRA révèlent des rapports

étroits (0,7 et plus) avec les types de mesures externes fournis à titre d'exemples dans ce

paragraphe.

Certains concepteurs recommandent qu'un type supplémentaire de preuves soit recueilli dans le

cadre de la validation du test, à savoir la preuve des conséquences de l'utilisation des scores

du test sur les personnes passant le test et les autres intervenants. Il faudra collecter les données

afin de déterminer si les effets bénéfiques désirés du test sont en cours de réalisation (par

exemple, dans le cas de EGRA, les bénéfices désirés incluent la fourniture aux législateurs de

résultats systémiques sur le à propos les compétences fondamentales en lecture afin qu'ils

puissent cibler plus efficacement les ressources et la formation). Il faudra également rassembler

des preuves sur toutes les conséquences négatives involontaires de l'utilisation des résultats du

test (par exemple, sanction des écoles accusant une mauvaise performance avec EGRA en

retenant des ressources qui leur sont destinées) et en prenant des mesures afin de prévenir la

récurrence de ces déroulements négatifs.

Annexe F

F-3

Manuel pour l'evaluation des competences fondamentales en lecture (2009) - 5