Claude Lessard

Professeur titulaire, Faculté des sciences de l’éducation
Université de Montréal

“Le paradoxe du développement
de la sociologie de l’éducation
au Québec.”

In ouvrage sous la direction de Joëlle Morrissette et Marie-Françoise Legendre, Enseigner et évaluer. Regards sur les enjeux éthiques et socio-politiques, pp. 143-164. Québec : Les Presses de l’Université Laval, 2014, 266 pp.

Introduction [143]

1. Quelques clarifications conceptuelles : l’évaluation, Instrument d’action politique [144]

2. Un peu d’histoire [146]

2.1. Les années 1960 et 1970 : la contestation de l’évaluation des apprentissages [147]

2.2. Le virage des années 1980 : les forces endogènes et exogènes qui légitiment de nouveau l’évaluation [148]

2.3. L’évaluation et la nouvelle gestion publique (NGP) [151]

2.4. La rencontre des forces endogènes et exogènes et la « relégitimation » de l’évaluation [152]

3. La situation actuelle de l’évaluation au Canada et au Québec [153]

3.1. L’évaluation des apprentissages [153]

3.2. L’évaluation institutionnelle [155]

3.3. L’évaluation du personnel [156]

4. Enjeux socioéducatifs et sociopolitiques de la montée en puissance de l’évaluation comme IAP [157]

4.1. Mesure et démesure : un délire évaluatif… [158]

4.2. La politisation de l’évaluation : au nom de l’amélioration de la qualité ou au nom de la performance ? [160]

Conclusion [161]

Bibliographie [163]

Introduction

Depuis quelques décennies, nous assistons à une montée spectaculaire de l’évaluation en tant que fonction politique et administrative.

À tous les niveaux des systèmes éducatifs, sur le plan national et international, elle est mise à contribution avant l’élaboration des politiques, pendant leur mise en œuvre et après, au moment de l’évaluation de leurs effets et résultats. L’évaluation est désormais un des moteurs d’une boucle de régulation que la rationalité instrumentale voudrait sans fin. Elle sert à comparer et à classer les systèmes éducatifs, les établissements, les personnels et les élèves. Cette centralité de l’évaluation s’est accompagnée d’une professionnalisation et technicisation du travail évaluatif. Dans ce texte, je réfléchis aux caractéristiques, aux fonctions sociopolitiques et aux conséquences socio-éthiques de cette intégration de l’évaluation dans la nouvelle gestion publique en éducation (NGP), notamment à ses répercussions sur la mission et la dynamique interne et externe du champ éducatif, et à ses dangers (uniformisation, standardisation, marchandisation, concurrence effrénée, méfiance généralisée). La thèse que j’entends développer est que la montée en puissance de l’évaluation est tributaire de l’institutionnalisation de nouveaux instruments d’action publique associés au cycle des politiques publiques typiques du tournant néolibéral qu’expriment les notions de [144] mondialisation, de nouvelle gestion publique, de concurrence et de libre choix. Mon propos est ancré dans les réalités québécoises et canadiennes, mais il ne s’y limite pas, car tous les pays de l’OCDE sont soumis à divers degrés à ce tournant néolibéral.

Dans un premier temps, je brosse rapidement l’histoire récente de la place qu’occupe et du rôle que joue l’évaluation dans les politiques éducatives contemporaines et, à travers la mise en œuvre de celles-ci, dans l’évolution du fonctionnement des systèmes éducatifs. C’est l’histoire d’une montée en puissance, après une période que nous pourrions qualifier de traversée du désert, celle des années 1960 et 1970, au cours de laquelle la légitimité même de l’évaluation fut remise en cause par la sociologie de la reproduction et des inégalités. Puis, dans un second temps, je montre que l’évaluation est désormais une composante centrale de la NGP qui s’institutionnalise un peu partout dans les systèmes éducatifs des pays de l’OCDE. Celle-ci peut être saisie sous l’angle d’un ensemble intégré d’instruments d’action politique (Lascoumes et Le Galès, 2004). Enfin, je dégage et discute quelques enjeux associés à cette montée en puissance. Mais, d’abord, il importe de définir à la fois l’évaluation et la notion d’instrument d’action politique.

1. Quelques clarifications conceptuelles :
l’évaluation, Instrument d’action politique

Évaluer, c’est déterminer la valeur de quelque chose afin de guider l’action à conduire. L’évaluation est une rétroaction critique sur une situation donnée pour juger s’il est pertinent de la modifier. C’est un processus mental inhérent au rapport de l’individu à la situation. En effet, dans son rapport à la situation, l’être humain, dans la mesure où il est un être pensant, capable d’un contrôle réflexif de la situation, évalue et juge de manière continue ce qui se présente à lui. Comme le rappelle Dewey, penser, c’est juger. Pour cet auteur, les deux fonctions du jugement sont l’analyse et la synthèse (Dewey, 1933, p. 119-131). L’évaluation est donc une dimension de l’action et de toute action qui se veut rationnelle. Elle s’incorpore à l’autorégulation de l’action, au contrôle réflexif de l’action sur le flux de l’action (Giddens, 1987, p. 49-64). L’évaluation est à la fois une activité « ordinaire » et une pratique institutionnalisée et professionnalisée. Le passage du premier type d’évaluation au second occasionne des transformations significatives qui contribuent à faire de l’évaluation un enjeu important pour les acteurs qui la [145] pratiquent ou qui en sont l’objet. Si l’évaluation « ordinaire » paraît parfaitement légitime, c’est parce qu’elle contribue à rendre la situation intelligible pour l’acteur, l’évaluation institutionnalisée et professionnalisée exigeant un travail de légitimation sociale, quant aux finalités poursuivies, aux dispositifs utilisés ainsi qu’aux usages faits de ses résultats. L’évaluation n’est pas une fin en soi : elle permet un couplage plus serré des finalités, des objectifs, des moyens (ressources, conditions, processus) et des résultats d’une action ou y contribue. Elle est donc un vecteur d’efficacité de cette action. En éducation, elle peut avoir pour objet les apprentissages des élèves en lien avec le programme d’études formel et le programme effectif ou réel, la qualité de la prestation du personnel (les enseignants, les spécialistes, les gestionnaires), l’établissement en tant qu’organisation et institution et le système éducatif dans son ensemble en fonction de sa contribution à la société. Elle est incorporée à des pratiques d’enseignement, de gestion des personnes, des activités et des organisations, ainsi qu’à des mécanismes et des processus de reddition de comptes. Conçue comme un outil de prise de conscience de l’écart entre la réalité et l’idéal, elle peut aussi être utilisée comme élément déclencheur du changement.

L’évaluation peut être objective, mais elle n’est pas neutre. Elle est liée à des notions de responsabilité, d’efficacité, d’efficience et de qualité. Elle renvoie à des valeurs de justice et d’équité. Elle s’inspire d’idéologies – par exemple, la méritocratie et la valeur des concours – et participe à la définition des droits et des devoirs dans les services collectifs d’éducation. Elle nécessite un travail souvent perçu comme réducteur, sur son objet, afin de le rendre évaluable. À cet égard, elle exige que des attentes, des objectifs, des résultats soient formulés de manière suffisamment claire pour qu’un jugement puisse être porté sur leur atteinte. En Amérique du Nord, au cours du XX^e siècle, l’évaluation en éducation, en tant que théorie et ensemble de pratiques institutionnalisées, a été portée par les administrateurs de l’éducation, alliés aux spécialistes de la mesure et de la science des tests. Elle a donc pu profiter d’une double légitimité, celle d’une administration soucieuse d’efficacité et d’efficience et celle de la science des tests, de la psychométrie et de l’édumétrie, qui prétend apporter à la décision administrative la certitude du chiffre. Pour l’analyse des politiques, dans une perspective fonctionnaliste, l’évaluation est considérée comme une étape essentielle qui complète l’implantation d’une politique et fournit une rétroaction sur celle-ci. Elle peut servir d’outil de régulation et de pilotage et contribuer à la convergence des acteurs sur les objectifs d’action opérationnels et mesurables. Une [146]  perspective intéressante consiste à considérer l’évaluation et ses outils comme partie intégrante d’instruments d’action politique.

Qu’est-ce qu’un instrument d’action politique (IAP) ? Selon Lascoumes et Le Galès (2004), un IAP est un « dispositif technique à vocation générique porteur d’une conception concrète du rapport politique/société et soutenu par une conception de la régulation ». Il s’agit d’un dispositif à la fois « technique et social qui organise des rapports sociaux spécifiques entre la puissance publique et ses destinataires en fonction des représentations et des significations dont il est porteur » (p. 13-14).

Un IAP se concrétise dans des outils et des techniques particuliers et variables. Ainsi, le partenariat (entre les secteurs privé et public, entre les parents et l’école), la contractualisation entre l’État et des institutions éducatives, l’imputabilité, la pratique ou la politique fondée sur la preuve, sont des exemples d’IAP. Un IAP est socialement construit. Il organise les rôles remplis par les acteurs au moyen d’un ensemble de prescriptions règlementaires ou légales. Il définit les compétences nécessaires des acteurs et le contexte de leur usage. En ce sens, il contribue à mettre en forme et à stabiliser des relations sociales dans un cadre sociocognitif que des valeurs et des normes légitiment (par exemple, qui rend compte à qui ? Sur quel objet ? Pour quelle raison ?). Un IAP incorpore aussi des outils particuliers (par exemple, des tests). Pour toutes ces raisons, un IAP est considéré par Lascoumes et Le Galès comme une institution (2004, p. 14-15), dans la mesure où il fournit :

Un cadre stable d’anticipations qui réduit les incertitudes et structure l’action collective. Dans la version sociologique la plus dure, ou la plus proche du culturalisme, on considère que ces régularités de comportement […] sont obtenues par des matrices cognitives et normatives, ensemble coordonnés de valeurs, de croyances et de principes d’action, voire des principes moraux inégalement assimilés par les acteurs et qui guident leurs pratiques (p. 14-15).

Un instrument d’action politique, en tant qu’institution, a donc une dimension règlementaire, normative et cognitive.

2. Un peu d’histoire

Dans cette section, je fais un bref rappel des principales étapes de l’évolution de la problématique de l’évaluation en éducation. L’évaluation, du moins l’évaluation des apprentissages des élèves et des étudiants, est consubstantielle [147] à l’institutionnalisation de l’école. Elle est une dimension intrinsèque de la forme scolaire (Vincent, 1980) qui a toujours, d’une manière ou d’une autre, exigé que ses agents portent un jugement sur les élèves, sur leurs capacités et sur leurs acquisitions. Cela étant dit, son statut et sa légitimité ont varié dans le temps.

2.1. Les années 1960 et 1970 :
la contestation de l’évaluation des apprentissages

Au cours des années 1960 et 1970, l’évaluation, en tant qu’activité scolaire spécialisée, fut mise sur la sellette. Ce sont les sociologues de la reproduction qui ont mené la charge : Baudelot et Establet en 1964 et Bourdieu et Passeron en 1970 pour la France, Bowles et Gintis en 1977 pour les États-Unis. Ces auteurs ont dénoncé la propension des systèmes éducatifs à reproduire les inégalités sociales et culturelles en les transformant en inégalités scolaires, avec pour conséquence qu’elles paraissaient dès lors légitimes. Le Québec ne fut pas en reste : le mouvement la Maîtresse d’école, pour le primaire et le secondaire, et les travaux du groupe de recherche ASOPE (Lessard, 2006) portant sur les effets de la réforme scolaire des années 1960 sur les ordres secondaire et collégial, ont documenté le maintien des inégalités et le rôle de l’institution scolaire à cet égard. L’école fut en somme perçue comme biaisée dans son jugement, reconnaissant celles et ceux qui partagent sa culture et éliminant ou reléguant à des filières sans avenir les jeunes de milieux populaires dont la culture était éloignée de celle de l’école. L’évaluation fut alors condamnée comme l’instrument de cette sélection et de cette élimination ou relégation.

Paradoxalement, cette critique de l’évaluation des apprentissages et de ses effets inégalitaires n’aurait pu se déployer sans l’édification de bases de données évaluatives systémiques, permettant d’évaluer les politiques de démocratisation des systèmes éducatifs. En ce sens, la remise en question de l’évaluation des apprentissages par les sociologues de la reproduction s’est appuyée sur l’évaluation des politiques.

C’est aussi la période où une critique sévère fut faite des tests d’intelligence, notamment par M. Tort (1974) en France. Aux États-Unis, cette critique prit une tournure socioculturelle et sociopolitique, dans la mesure où les élèves afro-américains et hispanophones étaient davantage concernés. Aussi, les cultural studies et les Women Studies développèrent une épistémologie très critique de la science et de la mesure.

[148]

S’il y eut un débat sur les effets inégalitaires de l’évaluation, il y en eut un aussi sur les types d’évaluation à privilégier. En effet, dans le débat sur les théories pédagogiques, où s’affrontèrent les tenants d’une pédagogie ouverte et non directive et les tenants d’une pédagogie plus transmissive, l’évaluation fut remise en question : fallait-il valoriser des (auto)évaluations subjectives, qualitatives, fondées sur l’observation des élèves et intégrées au processus même de l’apprentissage (dans le langage spécialisé, il s’agit de l’évaluation formative critériée) ou, au contraire, devait-on s’en tenir à des évaluations objectives ou externes, fondées sur des instruments quantitatifs, à visée sommative et dont les résultats seraient interprétés de manière normative ? Même si le conflit des théories pédagogiques s’est apaisé depuis cette époque et que, dans plusieurs situations, les pratiques s’inspirent des deux types et les combinent, cette discussion est toujours vivante aujourd’hui.

2.2. Le virage des années 1980 :
les forces endogènes et exogènes
qui légitiment de nouveau l’évaluation

En 1983, le Conseil supérieur de l’éducation du Québec a produit un avis intitulé Évaluation, situation actuelle et voies de développement [1]. Ce rapport sur l’État et les besoins de l’éducation peut servir de révélateur des pratiques évaluatives recensées à l’époque. En effet, le Conseil observe l’avancée des cégeps en ce qui a trait à l’évaluation institutionnelle (davantage que les commissions scolaires et les universités, sauf là où des ordres professionnels sont présents). Il constate aussi l’absence ou la rareté de politiques et de pratiques d’évaluation du personnel enseignant [2], sauf dans les universités où l’évaluation de l’enseignement existe, aux fins de gestion de la carrière professorale. Enfin, le Conseil estime qu’il y a une grande variété de pratiques d’évaluation des apprentissages des élèves et qu’en ce sens il y a un couplage lâche entre la politique de l’évaluation du ministère de l’Éducation (1982), celle des commissions scolaires et les pratiques effectives des enseignants.

[149]

Le Conseil (1982) conclut :

La situation d’ensemble ne laisse pas d’étonner par le peu d’impulsion, de planification et de coordination générale des pratiques dans les milieux en matière d’évaluation. Contrairement à d’autres aspects du fonctionnement du système d’éducation et des institutions d’enseignement que régissent déjà des politiques ou des règles d’ensemble, l’évaluation est une fonction qui se développe de façon beaucoup plus aléatoire et imprévisible dans de larges secteurs du monde de l’éducation (p. 121).

En somme, le Conseil constate de grandes disparités et retient l’image d’une courtepointe avec des trous béants et dont les morceaux sont de taille inégale et lâchement attachés. À l’époque, il tente d’expliquer cet état de fait en proposant les explications suivantes : les conventions collectives et la résistance des enseignants empêchent l’administration de remplir sa fonction de supervision et de contrôle de l’enseignement ; l’égalitarisme enseignant ne permet pas de distinguer les enseignants performants ou excellents des autres et de les récompenser en conséquence ; la pédagogie de l’estime de soi, très populaire depuis les années 1970, rend illégitime tout effort de donner l’heure juste aux élèves sur leurs apprentissages ; la politique ministérielle de progrès continu banalise l’évaluation et lui enlève toute efficacité ; enfin, les carences de l’évaluation institutionnelle font que les établissements s’améliorent peu, faute de regard distancé sur leur fonctionnement et sur leurs résultats. Il y a 30 ans, ces explications étaient couramment évoquées par différents acteurs œuvrant à l’intérieur et à l’extérieur du système éducatif. Aujourd’hui, elles sont encore utilisées et font partie d’un discours convenu sur la difficulté d’instaurer au sein des milieux scolaires ce que le Conseil appelle de ses vœux, en conclusion de son avis, soit « une culture de l’évaluation », c’est-à-dire l’institutionnalisation d’une conception de l’évaluation comme processus « normal » de toute activité et de toute organisation. On peut comprendre que l’appel du Conseil repose sur l’idée que, si les obstacles étaient levés, alors cette culture de l’évaluation se développerait « naturellement ». Il y aurait donc, malgré les obstacles mentionnés, des forces endogènes propices à l’évaluation.

Il me semble possible de distinguer cinq forces ou facteurs endogènes : tout d’abord, à partir de la fin des années 1970, la fin d’un cycle de politiques publiques centré sur l’édification d’un système public d’éducation et sur sa massification-démocratisation relative (du moins dans l’enseignement obligatoire, préuniversitaire) ; ensuite, la critique de ce cycle politique qui définit les ratés de la massification de l’éducation et qui réclame une [150] éducation de meilleure qualité. Le déplacement des priorités qui s’opère s’exprime dans un discours qui entend promouvoir un mouvement systémique allant de l’accès pour le plus grand nombre à la qualité de la diplomation en éducation. Aussi, au sein du système scolaire, est en place un appareil administratif, professionnalisé, dont le rôle évolue avec le contexte changeant : il n’est plus prioritairement l’appareil devant planifier le développement éducatif, il lui faut dorénavant assurer le soutien et le contrôle de l’amélioration continue dans un contexte de croissance démographique limitée (voire de décroissance à plusieurs endroits) et de concurrence accrue entre les établissements privés et publics. Si la qualité perçue devient une variable à prendre en compte et si elle est vue comme déterminant partiellement la survie des établissements, alors l’appareil administratif doit intégrer, dans le fonctionnement des établissements et dans les pratiques des acteurs, l’évaluation comme condition d’amélioration de la qualité. Enfin, un élément est mentionné par le Conseil : les préoccupations des milieux éducatifs consultés en 1982-1983. On peut aussi ajouter que l’école publique québécoise, depuis sa création, est comprise comme étant une institution de la communauté locale, ce qui rend légitime le regard externe sur ses pratiques et ses résultats.

À ces forces endogènes s’ajoutent des forces exogènes : avec la crise du pétrole du milieu des années 1970, la période dite des Trente Glorieuses (1945-1973) se termine et l’État-providence est remis en question. Se répand un discours sur l’anticipation épouvantée de la croissance des coûts des services publics et sur l’impossibilité pour les pays développés (et encore davantage pour ceux qui sont en développement) de soutenir cette croissance. Cette crainte s’accompagne d’une critique de la bureaucratie étatique, jugée pléthorique, inefficace et inefficiente. La théorie de la capture (développée par Stigler, Prix Nobel d’économie en 1982) a une certaine résonance en soutenant que des groupes d’intérêts (notamment des ordres professionnels, des syndicats, des groupes au sein de la fonction publique) contrôlent la réglementation et les pouvoirs de l’État et les détournent à leur avantage. La démocratie est donc mal servie par les agents de l’État. Tout se passe comme si un régime de confiance entre l’appareil de l’État et la société s’effrite et est remplacé par davantage de méfiance, de soupçon et de « délégitimation » des institutions publiques et de leurs agents.

[151]

2.3. L’évaluation
et la nouvelle gestion publique (NGP)

Ce discours est celui de la NGP. Celle-ci pénètre tous les secteurs de l’État. Au Québec, elle fait l’objet d’un consensus fort et stable depuis deux décennies, au sein de la classe politique, des acteurs économiques et des institutions de coordination canadiennes auxquelles le Québec participe, par exemple, le Conseil des ministres de l’Éducation du Canada (CMEC). Ce discours s’est diffusé du haut vers le bas de l’appareil étatique, du Conseil du trésor aux ministères et aux agences gouvernementales, aux organisations parapubliques intermédiaires (les commissions scolaires et les centres de services sociaux et de la santé), puis aux écoles et aux hôpitaux. Cette NGP est portée par les organisations internationales (OCDE, Banque mondiale, Fonds monétaire international) (Laval et Weber, 2002). Elle a une vision de l’éducation axée essentiellement sur le développement du capital humain et sur l’apprentissage tout au long de la vie en réponse aux exigences de l’économie du savoir. Aussi, elle conçoit l’État comme devant être un facilitateur et le partenaire d’acteurs privés et communautaires dans l’organisation et la prestation de services pour des citoyens désormais considérés comme des clients ou des consommateurs à satisfaire. Cet État et ses citoyens discutent peu du bien commun et évitent autant que possible de le construire dans le débat et le conflit. Ils s’en remettent à des experts et à des agences externes qui, notamment par des outils évaluatifs, permettent de déterminer des cibles d’action. L’évaluation et ses résultats sont des outils pour faire converger les acteurs sur la nécessité d’une action dont on entend mesurer les effets.

La NGP est un modèle de gestion du changement animé par deux leviers : la planification stratégique et la concurrence. Elle agit au moyen d’un ensemble d’instruments d’action politique qui en se conjuguant construisent – du moins telle en est la prétention ou la promesse – une pression favorable à une performance accrue : la contractualisation qui encadre la planification stratégique et en détermine les résultats anticipés, une reddition de comptes sur les résultats, la « décentralisation », l’autonomisation des unités et l’octroi de pouvoirs accrus aux usagers, de telle sorte qu’ils puissent choisir et orienter les services publics en fonction de leurs valeurs et de leurs intérêts, des systèmes d’incitatifs et de sanctions pour accroître l’efficacité interne, la politique ou la pratique fondée sur la preuve, l’assurance qualité externe, etc. Ces instruments ont une certaine technicité et incorporent des outils, par exemple des tests, des dispositifs d’évaluation des enseignants, des classements et leur publicisation. Ils peuvent aussi comprendre des dispositifs de développement [152] professionnel ciblé. Il importe de reconnaître que la NGP est capable de souplesse et peut prendre différentes formes suivant les contextes, suivant les acteurs qui l’imposent, et suivant les acteurs qui doivent se l’approprier et l’intégrer à leurs pratiques. Si elle peut être vue comme une configuration d’IAPs, elle peut, si besoin et nécessité il y a, prendre diverses formes. Aussi, comme toute institution, elle est co-construite par les acteurs, ce qui peut laisser entrevoir une variété d’implantations, voire de modifications, de traductions ou de transformations.

2.4. La rencontre des forces endogènes et exogènes
et la « relégitimation » de l’évaluation

L’histoire relatée à grands traits dans les paragraphes qui précèdent peut être saisie comme la rencontre de forces endogènes qui constatent et déplorent l’absence ou le peu de place accordée à l’évaluation, et de forces exogènes associées à la NGP. Si, au départ, l’évaluation – des apprentissages – paraît peu légitime parce qu’elle est contestée en regard de ses effets inégalitaires, plus nous nous éloignons des années 1960, plus les acteurs scolaires réaffirment son importance. Cela rejoint les orientations de la NGP qui fait de l’évaluation l’un de ses principaux leviers de transformation des organisations.

Lorsque des forces endogènes rencontrent des forces exogènes, plusieurs scénarios sont envisageables et notre réflexion sur l’implantation de la NGP pourrait tirer profit d’une prise en compte de ces scénarios théoriques : tout d’abord, il peut y avoir un affrontement, un choc, une résistance et une lutte importante, avec pour effet la possible neutralisation des forces en présence ; dans le scénario du mariage des forces et de leur renforcement mutuel, le résultat ou le risque est celui d’une forte doxa, d’une hégémonie incontestée et d’un alignement fort des échelons du système éducatif ; enfin, dans les situations intermédiaires – ni renforcement total ni incompatibilité absolue –, des formes de négociation, de transformation et d’hybridation sont possibles. J’ai le sentiment que la réalité analysée dans cet article est entre le second et le troisième scénario.

Comme tout modèle de gestion, la NGP se veut rationnelle. À cet égard, l’évaluation joue un rôle central, notamment dans l’établissement du diagnostic et dans la lecture de la réalité à transformer, dans la mesure de l’écart entre le réel et l’idéal et dans la recherche des solutions établies par des données probantes. L’évaluation rationalise toutes les étapes de la planification [153] stratégique et contribue à définir la ligne de conduite, le choix des solutions et des dispositifs. Il est important de souligner que, par son rôle dans l’approche dite politique fondée sur la preuve, l’évaluation dépasse la simple fonction de diagnostic : elle est l’outil privilégié pour trouver la ou les solutions à adopter, celles qui ont fait l’objet d’une évaluation rigoureuse et dont les effets sont incontestables (ou sont construits comme tels…).

Par son instrumentalisation dans les classements et les comparaisons, l’évaluation est devenue un outil de la concurrence des systèmes éducatifs, des commissions scolaires, des institutions publiques et privées, des cégeps [3] et des universités. Récupérée par certains acteurs, elle se retrouve dans leurs stratégies de distinction et de mise en marché de leurs formations.

En somme, on peut dire que l’évaluation est désormais une « science agissante », dans la mesure où, incorporée à des IAPs, elle produit des effets réels. Lascoumes et le Galès mentionnent que les IAPs engendrent des effets propres : ils produisent une représentation spécifique de l’enjeu qu’ils traitent et induisent une problématisation particulière de cet enjeu (2004, p. 31-33). Voilà pourquoi, à partir des années 1980-1990, la légitimité de l’évaluation, insérée dans la NGP, cesse d’être questionnée et elle peut ainsi bouger de la périphérie vers le centre politique et administratif des systèmes éducatifs. C’est ce que je tenterai de montrer dans la section qui suit.

3. La situation actuelle de l’évaluation
au Canada et au Québec

Dans cette section, j’analyse la situation actuelle des trois principaux types d’évaluation : l’évaluation des apprentissages, l’évaluation institutionnelle et l’évaluation du personnel. On le constatera, il y a des variations importantes dans le développement des types d’évaluation.

3.1. L’évaluation des apprentissages

Au Canada, depuis le début des années 1980, le Conseil des ministres de l’Éducation du Canada (CMEC) a fait de l’obligation des résultats la pierre angulaire de sa mission. À cette fin, il a institué le Programme pancanadien d’évaluation (PPCE). Ainsi, tous les trois ans, des évaluations des apprentissages en lecture, en mathématiques et en sciences (suivant un [154] dispositif majeur/mineur) sont effectuées auprès d’élèves de 8e année. Des mesures ont été prises en 2007 et 2010, et le seront aussi en 2013. Aussi, le CMEC assume la responsabilité de la participation canadienne à divers programmes internationaux d’évaluation : le Trends in International Mathematics and Science Study (TIMMS), le Progress in International Reading Literacy Study (PIRLS) piloté par l’International Evaluation Association (IEA) et le programme PISA. Notons que le TIMMS mesure les apprentissages d’environ 500 000 élèves des 4e et 8e années à travers le monde. Des mesures ont été prises en 1995, 1999, 2003, 2007 et 2011. Quant au programme PIRLS, il se limite aux apprentissages des élèves de la 4e année du primaire.

Au Québec et dans la plupart des provinces canadiennes, les examens ministériels uniformes sont plus nombreux qu’autrefois ; ils touchent de plus en plus de disciplines et leurs résultats sont davantage publicisés.

Le programme PISA, en vigueur depuis 1997, est probablement le plus célèbre de tous ces programmes d’évaluation, peut-être en raison du pilotage de l’OCDE. Il fonctionne par cycle, se centrant d’abord sur les compétences en lecture (2000), puis sur celles de la culture mathématique (2003) et, enfin, sur la mesure de la culture scientifique (2006). Ce cycle a été repris en 2009. Ce sont les apprentissages des élèves de 15 ans qui sont évalués, soit au moment de la fin de la scolarité obligatoire dans la plupart des pays participants. Conçu au départ pour les pays membres de l’OCDE, au fil des ans, le PISA a élargi sa participation à un grand nombre de pays (63 pays la dernière fois).

L’OCDE ne se limite pas à mesurer les apprentissages des élèves et leur contexte socio-scolaire. Elle a aussi créé les nouveaux programmes suivants : d’abord, le programme Teaching and Learning International Survey (TALIS), une enquête internationale sur l’enseignement et l’acquisition de connaissances dans laquelle sont visés 90 000 enseignants et directions d’établissements dans 23 pays participants ; ensuite, le Program for the International Assessment of Adult Competencies (PIACC), centré sur l’évaluation des compétences des adultes (mesure prévue pour 2013, avec 26 pays participants) et, enfin, le programme Assessment of Higher Education Learning Outcomes (AHELO), sur l’évaluation internationale des résultats de l’enseignement supérieur (au moment de la rédaction de ce texte, il en était à l’étape de l’étude de faisabilité).

[155]

Rien de tout cela n’existait il y a 25 ans ! Un peu comme les objets technologiques pénètrent notre vie quotidienne, au point où ils sont désormais indispensables, et que nous avons de la difficulté à imaginer que nous avons pu vivre – et bien ! – sans eux, les acteurs du monde de l’éducation ont appris depuis quelques décennies à composer avec ce régime évaluatif qui tisse une toile de plus en plus vaste.

3.2. L’évaluation institutionnelle

Notons qu’au Canada le Conseil canadien de l’apprentissage (CCA), financé par le ministère des Ressources humaines et du Développement social du Canada, a produit un bulletin (chiffré !) sur l’éducation dispensée dans les provinces et les territoires du Canada, ainsi que dans les grandes villes canadiennes. Le CCA a été créé en 2004 et dissous en 2011.

Au Québec, depuis les années 1990, plusieurs développements manifestent la montée en puissance de l’évaluation à des fins administratives, à divers ordres d’enseignement.

Ainsi les commissions scolaires, déjà adeptes de la planification stratégique, sont dorénavant tenues de signer avec le ministère de l’Éducation, du Loisir et du Sport (MELS) une convention de partenariat (une forme de contractualisation). Elles doivent faire de même avec chacun de leurs établissements (conventions de gestion). Ces conventions ne peuvent s’élaborer sans données évaluatives qui indiquent le chemin à parcourir pour respecter les cibles ministérielles (pour les commissions scolaires) et celles de la commission scolaire (pour les établissements). Les commissions scolaires et les établissements ont aussi à l’œil les classements des écoles secondaires, produits par l’Institut Fraser et par l’Institut économique de Montréal (IEDM) depuis une décennie et qui incorporent, dans une formule controversée, les résultats des élèves.

À l’ordre collégial, la Commission de l’évaluation de l’enseignement collégial, créée en 1993, aura bientôt 20 ans d’expérience dans le domaine de l’évaluation institutionnelle. Elle a dorénavant une expertise certaine. Elle s’oriente de plus en plus vers l’audit, c’est-à-dire vers l’évaluation de la qualité des politiques et des pratiques d’évaluation désormais institutionnalisées dans les collèges.

Les universités ont acquis leur propre expertise en recherche institutionnelle, en évaluation des programmes, de l’enseignement et de la [156] recherche. Au début du millénaire, elles ont signé des contrats de performance avec l’État québécois, contrats non renouvelés après 2003. Comme dans l’enseignement obligatoire, les universités sont sensibles aux classements nationaux (publiés dans le Maclean’s) et internationaux (notamment celui de Shanghai et celui du Times Educational Supplement de Londres). À la suite de la Commission d’enquête sur les universités et collèges de l’Ontario (dite commission Rae, du nom de son président), cette province a mis sur pied le Conseil ontarien de la qualité de l’enseignement supérieur (COQES) qui a pour mandat d’évaluer le système d’enseignement postsecondaire ontarien et de recommander des politiques au ministre de la Formation et des Collèges et Universités en vue d’améliorer la qualité, l’accessibilité et la reddition de comptes des collèges et universités de l’Ontario.

Ainsi, l’Ontario participe pleinement au développement significatif, dans l’enseignement supérieur, de programmes d’évaluation nommés Assurance qualité [4]. Pour une bonne part, l’objectif visé est de s’assurer que l’évaluation interne, faite par l’institution et sous son contrôle, soit réalisée selon les règles de l’art, telles qu’elles sont formulées par des instances nationales et internationales. Ici on évalue en quelque sorte l’évaluation. Cela permet de respecter l’autonomie institutionnelle tout en fournissant un regard et un cadre externe. L’assurance qualité est aussi un outil qui permet de soumettre les institutions d’enseignement supérieur à une forme d’obligation de résultats, en fixant, dans la planification stratégique des cibles de performance et des normes de qualité (benchmarks).

3.3. L’évaluation du personnel

L’évaluation des personnels a aussi connu des développements, du moins celle des cadres et des administrateurs, soumis depuis plus d’une décennie à un régime évaluatif qui comprend des primes au rendement. Au sein de la fonction publique, l’évaluation passe par la formulation convenue d’attentes personnalisées qui précisent les objets d’amélioration du rendement du fonctionnaire. Si ce type d’évaluation a pénétré le monde de l’enseignement, il n’a pas encore rejoint les enseignants, même si à l’université, [157] et d’une manière peu transparente, des primes sont octroyées à des enseignants performants en recherche ou ayant obtenu des subventions de recherche exceptionnellement élevées.

L’évaluation des enseignants, à tous les ordres d’enseignement, est un dossier difficile. Certains développements américains – les systèmes de mesure de la « valeur ajoutée » d’un enseignant – couplant de manière serrée l’évaluation de l’enseignant, l’apprentissage de ses élèves et un système de récompenses et de sanctions, fonction de leur contribution quantifiée à la réussite des élèves, font craindre le pire à leurs associations syndicales. La controverse demeure vive ; elle porte à la fois sur la norme qui définit un bon professeur et sur sa responsabilité dans l’apprentissage des élèves, sur les outils de l’évaluation (le poids relatif de l’auto-évaluation, de l’évaluation par les élèves, de celle des pairs et de celle du supérieur hiérarchique, le processus et ses étapes, les grilles, les indicateurs, les observations), sur les usages (formatif/sommatif) et sur les effets (possible perfectionnement obligatoire, primes, sanctions, etc.).

Plus fondamentalement, pour que l’enseignement soit évalué, il faut que le travail des enseignants soit « évaluable », c’est-à-dire qu’il soit davantage explicité et formalisé (par exemple, à partir de référentiels de compétences) et aussi qu’il soit visible, objet d’observations. Par ces deux aspects, l’évaluation de l’enseignement transforme son objet et, conséquemment, le rapport du travailleur à son travail. D’où une difficulté à introduire dans l’enseignement une culture de l’évaluation, car l’enseignement est à bien des égards un métier fondé sur des savoirs tacites ou peu explicites et il est peu visible aux acteurs, autres que les élèves.

On constate donc la montée d’un cycle de politiques publiques qui utilisent beaucoup l’évaluation pour atteindre leurs fins. Où en est ce cycle ? Au début ? À sa phase quasi maximale, annonçant un déclin relatif ? Sera-t-il contesté dans son hégémonie par un cycle rival ? Bien malin qui pourrait répondre de manière certaine à ces questions.

4. Enjeux socioéducatifs et sociopolitiques
de la montée en puissance de l’évaluation
comme IAP

Je propose deux enjeux politiques. Ils traitent de l’extension du régime évaluatif actuel et de sa trajectoire, des objets de l’évaluation et de la difficile définition de la qualité recherchée. L’enjeu éthique de notre responsabilité [158] de chercheurs dans ces développements sans précédent et celui des appropriations-transformations possibles par les acteurs de ce régime évaluatif qui semble vouloir cadrer de manière de plus en plus serrée leurs pratiques, sera discuté en conclusion. Ces enjeux révèlent que l’évaluation est désormais un instrument d’action politique. D’abord, l’enjeu de la démesure.

4.1. Mesure et démesure : un délire évaluatif…

Allons-nous trop loin sur la route de l’évaluation ? Risquons-nous de tuer le « malade » à force de le soumettre à des remèdes évaluatifs ? Il suffit de faire la liste des épreuves pour imaginer les tentacules du monstre que nous avons créé : le PPCE canadien, le TIMMS, le PIRLS, le PISA, des centaines de plans stratégiques de commissions scolaires, de collèges et d’universités à évaluer, les 3 500 projets éducatifs d’établissements primaires et secondaires, les 3 500 conventions de gestion, les 3 500 plans de lutte contre le harcèlement et l’intimidation, les évaluations liées à l’accréditation des formations professionnelles, l’évaluation de la recherche par les organismes subventionnaires, etc. Nous avons mis sur pied une immense machine relativement bien coordonnée sur le plan national et international, professionnalisée, qui a à la fois requis et permis le déploiement d’une expertise édumétrique de haut niveau. Cette expertise se décline dans des colloques, des revues, des associations, des centres et des instituts gérant d’importantes bases de données et des sites Internet remplis de rapports et d’analyses statistiques, voire de logiciels permettant à tout un chacun de produire ses propres analyses. On entend parler d’une « industrie de la mesure et du test » qui donne une aura de science et de rigueur à des argumentaires, des choix et des politiques. On n’ose plus évaluer ou juger de la qualité de l’éducation sans présenter des chiffres [5].

Il y a 30 ans, nous souhaitions que l’évaluation devienne un processus « normal » au sein des organisations éducatives. On peut se demander si, aujourd’hui, nous ne risquons pas de souffrir d’« évaluïte aiguë ». Ou à tout le moins, on peut penser que le pendule a bougé à l’autre extrême très rapidement.

[159]

Dans une perspective d’analyse de politiques, on doit se demander où exactement nous en sommes dans la trajectoire temporelle de cette politique éducative qui repose sur des IAPs tributaires de l’évaluation. Cette politique qui a vu le jour dans les années 1980 atteint-elle ces années-ci son moment de domination sans conteste, une phase d’hégémonie mondiale, ou peut-on déjà entrevoir un déclin relatif ? Cette toile évaluative est-elle toujours en expansion ou se heurte-elle à des limites de divers ordres ? On peut néanmoins constater que déjà des critiques se font entendre : cet appareil et ces dispositifs d’évaluation sont lourds, coûteux ; ils commandent une bureaucratie que la NGP voulait au départ réduire ; ils utilisent des outils qui présentent des limites certaines et n’évaluent que ce qui est mesurable et comparable ; l’évaluation a des effets pervers ; elle donne lieu parfois à de la fraude et de la tricherie. Ou encore, malgré cet immense effort, au total, tout cela est peu utilisé, et produit peu d’effets ou de mauvais effets, notamment à cause d’« interférences politiques ». Enfin, cette évaluation, du moins dans son internationalisation, décontextualise l’éducation et la coupe de son histoire propre, facilitant ainsi une approche normative abstraite et formelle de l’éducation, telle qu’elle a été exprimée par la mode des standards et des évaluations comparatives. Il y a aussi des signes révélateurs de certaines limites. En effet, on observe, dans certaines évaluations nationales et internationales, des manifestations de résistance de certains établissements et de certaines familles à propos de la participation de leurs enfants aux épreuves. Certains États ou certaines régions ont de la difficulté à atteindre leur contingent de classes et d’écoles, nécessaire pour assurer la représentativité de l’échantillon national ou régional. Des inquiétudes s’expriment aussi eu égard aux coûts, à la lourdeur et à la longue durée des processus, ainsi qu’à l’égard de la faible utilisation des bases de données colligées (comparativement aux efforts consentis pour leur production) [6].

Les effets produits par ces IAPs sont paradoxaux : au lieu de réduire la bureaucratie scolaire et de centrer l’appareil sur la réussite des élèves et des étudiants, ils occasionnent un déplacement des ressources vers l’administration ; ils réduisent l’autonomie des acteurs de terrain sur le plan des processus et des moyens en prescrivant la mise en place de pratiques « gagnantes », « exemplaires » et « fondées sur des données probantes » ; aussi, dans un contexte de concurrence politique, ils politisent les résultats, [160] forçant les responsables locaux, intermédiaires et nationaux à justifier leur politique et à agir rapidement de manière correctrice, lorsqu’il y a lieu. Cela donne parfois un activisme prématuré, insuffisamment réfléchi et discuté avec les acteurs concernés. Un IAP censé accroître la réflexivité du système produit l’effet contraire : il est à la merci de la publicisation des résultats et de jeux médiatico-politiques à court terme.

4.2. La politisation de l’évaluation :
au nom de l’amélioration de la qualité
ou au nom de la performance ?

Autrefois, la légitimité de l’institution scolaire était fortement liée à sa capacité à socialiser les jeunes générations autour de valeurs communes fortes et de référents culturels partagés. Aujourd’hui, l’école paraît légitimée par une course ininterrompue à la performance, au maintien et à l’amélioration de son rang dans un ordre éducatif internationalisé. Cette performance est fonction de compétences générales (lecture, mathématiques et science) qui font la part mince aux savoirs identitaires nationaux (littérature et histoire nationales, philosophie, arts, etc.). Le programme d’études valorisé et mesuré par les instances internationales est dépouillé de ses racines historiques nationales. Comme si l’on désirait dorénavant que l’école prépare à une vie « déracinée », dénationalisée et mondialisée, appuyée sur le développement des compétences transversales et disciplinaires essentielles pour s’intégrer à l’« économie du savoir » et « apprendre tout au long de la vie ». N’y a-t-il pas là un danger d’uniformisation des systèmes éducatifs ou à tout le moins de la mise en veilleuse des particularités nationales, institutionnelles et pratiques ? Dans cette veine, les classements internationaux des universités évaluent-ils un modèle universitaire unique (anglo-saxon ?) en voie de mondialisation, au lieu de prendre en compte une diversité de modèles et de traditions ?

Il n’est pas facile de trouver une définition claire et univoque de la qualité. En fait, il y en a plusieurs. Ainsi, peut être considéré comme objet de qualité quelque chose qui respecte les normes ou les règles de l’art (par exemple, un séminaire est de qualité si, grâce à sa petite taille, il permet la discussion informée entre les étudiants et le responsable du séminaire). Aussi, la qualité peut être saisie comme ce qui est approprié ou pertinent à l’objectif visé (un stage est un dispositif de formation de qualité pour la socialisation professionnelle et l’apprentissage en contexte réel). Pour certains, la qualité est une forme d’excellence, ce qui suppose un marché de positions où les établissements se font concurrence (telle université occupe tel rang dans un [161] classement international) ; est de qualité ici ce qui est reconnu comme étant meilleur que les autres. La qualité peut aussi être associée à une valeur ajoutée : elle se retrouve alors dans les résultats, ce qui met l’accent sur les apprentissages des étudiants et les retombées du processus d’apprentissage. Enfin, la qualité peut être liée à la mission explicitement formulée par l’institution, et elle repose sur l’atteinte des objectifs que se fixe l’établissement ou le programme de formation.

Même si certaines définitions générales permettent d’y voir un peu plus clair, la qualité n’a de sens qu’en référence à une conception de la mission de l’établissement et à son contexte de réalisation. Générale et décontextualisée, la définition de la qualité exprime des lieux communs. Elle doit plutôt se saisir en référence à des réalités et des contextes particuliers et évolutifs.

De plus, il est difficile de parler de la mission ou des missions éducatives, car nous avons en tête diverses conceptions et divers modèles de référence. Ces modèles sont normatifs : ils définissent une école idéale qui n’existe nulle part dans une forme intégrale et exclusive. On comprendra que la qualité n’est pas définie de la même manière suivant ces modèles, qu’elle ne valorise pas les mêmes dimensions et qu’elle ne s’apprécie pas de la même façon.

Il faut donc se méfier quelque peu des définitions abstraites et formelles de la qualité, qui se traduisent dans des indicateurs quantitatifs uniformes. Non seulement, elles n’épuisent pas le réel pluriel, mais elles véhiculent inévitablement une conception dont on débat peu, puisqu’elle est présentée comme « objective », voire « scientifique ». Aussi, souvent, les indicateurs contribuent au « formatage » des pratiques institutionnelles qui paraissent dès lors plus conformes à des normes et plus efficientes, mais qui éloignent de l’essentiel. Par exemple, on peut rationaliser le parcours de l’étudiant aux études supérieures de manière à ce qu’il progresse plus rapidement et respecte les échéances imposées par les règles de financement de l’enseignement supérieur, mais rien n’assure que la recherche sera ainsi de meilleure qualité et que les apprentissages intellectuels que l’étudiant doit faire seront mieux assurés.

Conclusion

Sommes-nous impuissants face à une machine évaluative qui semble de plus en plus puissante à engendrer des effets réels ? De quelle marge de [162] manœuvre disposons-nous ? Pour y résister ? Pour la transformer ? Nous l’approprier ? Nous en accommoder tant bien que mal ?

À tous les échelons du système éducatif, peut-on constater une réflexivité plus grande associée à l’institutionnalisation de l’évaluation ? Si oui, peut-on préciser les conditions qui ont rendu cela possible ? A contrario, comment faire en sorte que l’évaluation et la publicisation de son produit ne contribuent pas à une politisation accrue de l’éducation, donnant ainsi parfois à penser que les élus nationaux, au-delà des luttes politiques quotidiennes, sont souvent davantage en mode réactif aux évaluations internationales ? La question dès lors se pose : qui, à moyen et à long terme, détermine la politique éducative des nations ? Les élus nationaux ? Les experts internationaux ? Les médias qui construisent une image des résultats ? Les parents consommateurs de classements ? Y a-t-il un pilote ?

À un autre niveau, les acteurs de l’éducation peuvent-ils s’approprier ou se réapproprier cette dimension fondamentale de l’action qu’est l’acte d’évaluer, et ainsi faire preuve de réflexivité individuelle et collective, et peut-être faire évoluer leur pratique ? S’analyser a du bon, pourvu que l’on puisse exercer un certain contrôle sur le processus, les outils et les résultats.

Les acteurs de l’éducation doivent aussi se demander comment assumer leur part de responsabilité pour certains effets pervers de l’évaluation et contribuer à les contrecarrer, des effets pervers comme le teaching to the test, la réduction du programme enseigné à ce qui est formellement évalué, l’élimination d’une participation à des épreuves standardisées des élèves qui sont en difficulté ou qui échouent, le marketing scolaire appuyé sur les résultats, etc.

Les experts en mesure et évaluation ont une responsabilité en cette matière. Certes, ils ont un bel avenir devant eux, ainsi que les analystes de bases de données quantitatives ! Mais, attention, leur champ scientifique, parce qu’il occupe l’avant-scène de la politique éducative, doit inévitablement se soumettre à des pressions multiples. Car, ce texte a tenté de le montrer, l’évaluation s’insère dans des instruments d’action politique puissants et de plus en plus mondialisés. En amont, elle participe de la nouvelle gestion publique et, en aval, elle contribue à la mise en concurrence des établissements et au développement de quasi-marchés en éducation. Les données édumétriques incorporées à des IAPs produisent donc des effets politiques.

[163]

Comme tout champ intellectuel, l’autonomie de la mesure et de l’évaluation est relative à sa pertinence sociale et politique. Plus la pertinence est forte, plus les risques d’hétéronomie sont élevés. Certes, les experts doivent faire preuve de compétence, de rigueur, d’objectivité et d’intégrité. C’est une question de crédibilité professionnelle. Ils doivent aussi développer des compétences liées au travail à l’interface entre le scientifique et le politique, des compétences et des vertus d’indépendance, de prudence, de justesse d’affirmation et de réflexivité. Cette dernière est très importante : il importe que les spécialistes de la mesure et de l’évaluation évaluent le régime évaluatif qu’ils ont contribué à ériger, qu’ils en mesurent les effets à divers niveaux, bref qu’ils contribuent à évaluer l’évaluation. Par exemple, l’évaluation contribue-t-elle à rassurer le citoyen sur la valeur des services publics qu’il paie de ses taxes ? Engendre-t-elle de la confiance ou de la méfiance de la part des usagers ? Contribue-t-elle à généraliser un soupçon que des évaluations subséquentes viendront nourrir, dans une spirale autodestructrice ? Améliore-t-elle les services éducatifs et contribue-t-elle à accroître la qualité de l’enseignement et des apprentissages ?

Cette réflexivité sera d’autant plus agissante que les experts en mesure et évaluation seront au clair sur leurs propres valeurs éducatives et qu’ils sauront résister aux instrumentalisations de leur activité intellectuelle.

Bibliographie

Baudelot, C., et Establet, R. (1964). L’école capitaliste en France. Paris : Maspéro.

Bourdieu, P., et Passeron, J.-C. (1970). La reproduction, éléments pour une théorie du système d’enseignement. Paris : Minuit.

Bowles, S., et Gintis, H. (1977). Schooling in capitalist America, educational reform and the contradictions of economic life : USA : Basic Books.

Conseil supérieur de l’éducation (1983). L’évaluation, situation actuelle et voies de développement. Rapport 1982-1983 sur l’État et les besoins de l’éducation. Québec : gouvernement du Québec.

Conseil supérieur de l’éducation (2012). L’assurance qualité à l’enseignement universitaire : une conception à promouvoir et à mettre en œuvre. Québec : CSE.

Dewey, J. (1933). How we think. Chicago : Henry Regnery Cie.

Giddens, A. (1987). La constitution de la société. Paris : PUF.

[164]

Hadji, C. (2012). Faut-il avoir peur de l’évaluation ? Paris : De Boeck.

Lascoumes, P., et Le Galès, P. (2004). Gouverner par les instruments. Paris : Les Presses de sciences po.

Laval, C., et Weber, L. (2002). Le nouvel ordre éducatif mondial. OMC, Banque mondiale, OCDE, Commission européenne. Bruxelles : Éditions Nouveaux Regards et Éditions Syllepse, Institut de recherche de la FSU.

Lessard, C. (2006). Guy Rocher, une pensée éducative entre l’utopie et la lucidité, Dans J.P. Warren et C. St-Pierre (dir.), Présences de Guy Rocher, hommages (p. 185-201). Montréal : PUM.

Rae, B. (2005). Ontario, a leader in learning. Report and recommendations. Ontario : gouvernement de l’Ontario.

Tort, M. (1974). Le quotient intellectuel. Paris : Maspéro.

Vincent, G. (1980). L’école primaire française, étude sociologique. Lyon : Presses universitaires de Lyon, éditions de la Maison des sciences de l’homme.