L’évaluation des politiques éducatives est indispensable tant à leur pilotage qu’au débat public. C’est pourquoi il importe que leurs résultats soient connus. Une boîte à outils élaborée par l’Ofcom propose des conseils méthodologiques pour apprécier l’impact des projets d’éducation aux médias. Les autorités scolaires romandes pourraient en tirer parti pour évaluer la pertinence, l’efficacité et l’efficience de l’enseignement aux médias du Plan d’études.
La numérisation des médias et des productions culturelles, l’omnipotence des médias sociaux, la désinformation généralisée et l’évolution rapide des usages modifient en profondeur le rapport à l’information et les compétences nécessaires pour l’appréhender. C’est ainsi que l’éducation aux médias et à l’information, à l’école et tout au long de la vie, est devenu un enjeu vital pour notre société.
Des plans d’action sont élaborés par les pouvoirs publics ainsi que par des organismes de la société civile pour développer les connaissances médiatiques des jeunes et de certaines catégories de la population, généralement avec l’objectif de limiter les risques des usages problématiques des médias ainsi que de favoriser les bonnes pratiques.
Il est indispensable que les résultats de ces politiques publiques d’éducation aux médias soient connus. Cependant, entre les discours et la réalité il y a souvent un grand écart.
L’évaluation, phase essentielle de la gestion des projets éducatifs
Les projets éducatifs ne doivent pas échapper aux principes généraux de bonne gouvernance. Il convient qu’ils soient adaptés aux besoins et aux attentes légitimes de la population concernée, gérés avec efficacité et efficience, avec un souci de transparence. Le public et les parties prenantes doivent avoir accès à toutes les informations qui leur permettent de suivre leur mise en oeuvre, des intentions jusqu’aux résultats. La participation est le maître mot d’une bonne gouvernance.
La gestion bien comprise de tout type de projet de quelque importance se compose de plusieurs phases, organisées en cycles, qu’il vaut la peine de rappeler: identification et analyse du problème, définition des objectifs, planification, réalisation et évaluation. Ceci est bien connu, cependant on peut constater trop souvent que l’évaluation, phase essentielle de tout projet, est omise ou passée sous silence.
Tout plan d’action vise à atteindre un résultat, préalablement défini et vérifiable. La définition de l’intention, des buts visés, des moyens nécessaires à sa mise en oeuvre ne suffisent pas. Encore faut-il pouvoir constater ses effets. C’est le processus d’évaluation qui permet de savoir si les ressources engagées l’ont été à bon escient et de fournir des indications permettant d’améliorer le dispositif en remédiant à ses faiblesses par des boucles de rétroaction. C’est pourquoi, l’évaluation doit être intégrée, dès le début, tout au long du processus d’élaboration et de mise en oeuvre d’un projet. Un soin particulier doit être porté à la communication de ses résultats et des connaissances acquises pendant la réalisation du projet aux bénéficiaires et aux parties prenantes.
L’OCDE a défini des critères d’évaluation pour les projets d’aide au développement qui sont souvent repris. Il vaut la peine les mentionner:
> La pertinence: Mesure dans laquelle les objectifs et la conception de l’intervention sont cohérentes avec les besoins du groupe cible et les priorités des mandataires et des institutions partenaires.
> L’efficacité: Mesure dans laquelle les objectifs et les résultats visés par l’intervention ont été atteints ou sont susceptibles de l’être.
> L’efficience: Mesure du rapport entre les résultats – qualitatifs et quantitatifs – et les ressources mises en œuvre pour les obtenir.
> L’impact: Mesure des changements positifs ou négatifs – au niveau sociétal ou individuel – qu’une intervention a suscités volontairement ou non, ses effets.
> La viabilité: Mesure selon laquelle les résultats positifs d’une intervention sont susceptibles de perdurer après la fin de celle-ci.
Ces critères très généraux sont à la base d’une évaluation sérieuse de projets de toute nature. Ils sont sont bien connus, mais encore faut-il les mettre en oeuvre.
La nécessité d’évaluer les systèmes de formation
La nécessité d’évaluer les systèmes de formation est une préoccupation qui a été abordée dans un numéro du bulletin «Politiques de l’éducation et innovations», intitulé L’évaluation des systèmes éducatifs, publié par le Secrétariat général de la Conférence intercantonale de l’instruction publique de la Suisse romande et du Tessin (CIIP) en mars 2001.
Dans son éditorial, Martine Brunschwig Graf, alors présidente de la CIIP, affirmait que l’information produite par l’évaluation des systèmes de formation est indispensable pour les piloter et déterminer les mesures à prendre pour les faire évoluer favorablement. Mais aussi pour que le débat public ne repose pas seulement sur les appréciations personnelles de la population. Elle précisait que le pilotage du système de formation romand nécessite «une évaluation objective de la façon dont fonctionnent l’école et les instruments qu’elle met en oeuvre pour servir la formation, l’éducation, la prévention et l’encadrement social nécessaire».
« aucune analyse d’efficacité de l’introduction du plan d’études n’a encore pu être réalisée du fait que son développement se poursuit »
Diego Erba, Secrétaire général du Département de l’instruction et de la culture du Tessin, défendait, dans un article qui a retenu notre attention, non seulement la nécessité de vérifier les résultats obtenus, mais aussi de comparer les politiques éducatives des cantons romands. Il en relevait cependant paradoxalement la difficulté, en raison des résistances aux procédures évaluatives du milieu éducatif lui-même, dont pourtant l’évaluation des élèves «qu’elle soit sommative, formative ou certificative – se pratique au jour le jour comme un outil de travail».
Considérant que «l’école n’est plus l’affaire des seuls enseignants et pédagogues», l’auteur assignait trois tâches à l’évaluation: d’abord «contrôler si les objectifs prévus ont été atteints», ensuite déterminer si les «efforts entrepris par les enseignants et les ressources investies par les pouvoirs publiques dans la formation des jeunes donnent pleine satisfaction», enfin fournir de l’information aux parties prenantes de sorte à «répondre d’une façon adéquate aux questions posées par les milieux politiques, les médias et les parents, questions qui ne peuvent pas être éludées, à l’époque où la transparence devient un élément important dans l’offre formative aussi bien que dans la gestion politique de l’école».
Diego Erba précisait qu’à l’échelon des établissements scolaires, l’évaluation, tant qualitative que quantitative, a pour but de confronter les résultats aux objectifs prévus pour permettre d’adapter si nécessaire les structures et les programmes, ainsi que de fournir aux enseignants des points de repère pour leur permettre de se situer vis à vis de leurs collègues ainsi que des autres établissements». Il soulignait que la participation du corps enseignant devait être favorisée car «l’école n’est pas une entreprise et ses points de repère sont toujours les personnes, qui doivent être informées, convaincues, associées à tout processus de réforme».
Le Secrétaire général du Département de l’instruction et de la culture du Tessin insistait pour que l’évaluation soit «partie intégrante de toute procédure de réforme scolaire» et que des ressources permettant d’assurer l’évaluation et le suivi dès le début du projet soient prévues.
La nécessité d’apprécier la pertinence, l’efficacité et l’efficience des politiques éducatives viennent d’être soulignées, mais comment évaluer les projets d’éducation aux médias?
Une boîte à outils pour l’évaluation des projets d’éducation aux médias
Pour soutenir les organisations qui mettent en oeuvre des initiatives d’éducation aux médias, l’autorité régulatrice des télécommunications du Royaume-Uni (Ofcom) a publié récemment un ensemble de guides pratiques à leur intention. La trousse d’outils d’évaluation (Evaluation Toolkit) qui en fait partie s’adresse en particulier à celles et ceux qui débutent dans l’évaluation, «il peut s’agir d’une petite organisation caritative dont le projet aborde des questions liées à la désinformation en matière de santé, ou d’une bibliothèque qui organise des cours sur les compétences numériques de base à l’intention des personnes âgées». Mais l’Ofcom souligne que bien évidemment des organismes de grande taille pourront aussi bénéficier des conseils méthodologiques proposés.
Après avoir rappelé tous les bénéfices que l’on peut attendre d’une intégration de la démarche évaluative dans le développement du projet dès son origine, les auteurs insistent sur l’importance d’évaluer ses résultats.
Tout d’abord son impact qui fait référence à des «changements au niveau individuel ou sociétal qui peuvent être attribués à une intervention» – ses effets donc. Le résultat doit être distingué de sa portée, laquelle se réfère à des éléments quantitatifs, comme par exemple: le nombre d’ateliers organisés pour les bénéficiaires, ou encore le nombre de téléchargements des ressources mises à disposition dans le cadre du projet. L’impact d’un projet d’éducation aux médias consiste en des modifications qualitatives et culturelles, qui pourraient consister par exemple en «une résistance accrue à la désinformation, un changement dans la manière dont les participants consomment l’information ou une augmentation de la créativité du public en ce qui concerne les médias en ligne». Encore faut-il mettre en oeuvre des moyens d’appréhender ces dispositions et de comprendre en quoi les bénéficiaires sont plus critiques et créatifs qu’avant l’intervention. Donc mieux armés pour faire face à des manoeuvres visant à les influencer, plus réflexifs sur leur consommation médiatique, plus innovants lors de la création de contenus.
Au niveau des individus, le processus évaluatif doit permettre de mettre en évidence des résultats mesurables en matière d’accroissement des connaissances, d’acquisition de compétences nouvelles et de changement d’attitude, précise le guide de l’Ofcom.
Ce guide vient à point, car l’évaluation est souvent le parent pauvre des politiques publiques en matière d’éducation aux médias.
La boîte à outils de l’Ofcom pourrait-elle être utile en Suisse romande?
Quels sont les acquis des élèves, une décennie après l’introduction de l’éducation aux médias (MITIC) dans le Plan d’études romand?
La formation générale aux Médias, images et technologies de l’information et de la communication (MITIC) a été introduite en 2011 dans le Plan d’études romand (PER). Depuis la rentrée 2013, l’ensemble du corps enseignant doit enseigner, de la 1re à la 11e année, des aspects d’éducation aux médias ainsi que d’encadrer l’utilisation par les élèves des outils multimédias en classe. Au coeur du programme, le développement progressif de l’esprit critique des enfants et leur capacité à décoder la mise en scène des contenus médiatiques.
En mars 2021, le Plan d’études romand (PER) a été révisé pour intégrer la culture informatique dans le cursus des études. Le nouveau domaine disciplinaire, nommé Education numérique, comprend trois dimensions: les usages des outils numériques, l’éducation aux médias et la science informatique. Il est prévu que cet enseignement soit étendu à toutes les filières du secondaire II, tant de la formation générale que de la formation professionnelle initiale.
Alors que la Conférence intercantonale de l’instruction publique de la Suisse romande et du Tessin (CIIP) a lancé une nouvelle phase de son projet, il est raisonnable de se demander quels sont les résultats qui ont été obtenus par son plan d’action après une décennie, en particulier quels sont les acquis des élèves en matière de compétences médiatiques et d’attitude face aux médias.
L’étude L’éducation en Suisse – rapport 2023 du Centre suisse de coordination pour la recherche en éducation (CSRE) nous apprend contre toute attente qu’en Suisse romande «aucune analyse d’efficacité de l’introduction du plan d’études PER n’a encore pu être réalisée du fait que son développement se poursuit». L’argument laisse songeur… Le tableau 28 du rapport intitulé «Evaluation externe dans le cadre de l’assurance qualité» qui classe les cantons selon qu’ils ont ou non procédé à cette évaluation confirme cette réalité.
On ne peut que s’étonner qu’une nouvelle phase du développement de ce projet (l’Education numérique) ait été lancée par la plus haute autorité de l’éducation en Suisse romande, la CIIP, sans qu’aucune évaluation n’ait été effectuée. Est-ce bien sérieux? Alors que les enjeux sont si importants pour la jeunesse et la société dans son ensemble, comment est-ce possible?
L’occasion d’en savoir plus nous a été donnée lors du 3e Forum des médias romands qui a eu lieu le 1er septembre 2022 à Lausanne. A l’issue de sa présentation intitulée «Les médias à l’école», nous avons interrogé Pascale Marro, Secrétaire générale de la CIIP, pour savoir si des projets d’évaluation des élèves qui permettraient de mesurer les résultats de cette politique publique ont été réalisés.
Mme Marro a répondu que les MITIC (Médias, images et technologies de l’information et de la communication) étant relatif à un domaine portant sur des compétences transversales, l’école ne fait pas passer des tests aux élèves comme pour le français ou les mathématiques. Mais le fait que depuis peu l’Education numérique soit un domaine disciplinaire qui fait partie du plan d’études «inscrit maintenant dans les grilles horaires, va induire qu’il faudra forcément trouver des moyens pour évaluer ce genre de compétences et développer des outils d’évaluation».
Ainsi, comme l’a indiqué la Secrétaire générale de la CIIP, les moyens d’évaluation des compétences des élèves relatifs à l’axe Médias de l’Education numérique n’ont pas même encore été envisagés plus d’une décennie après l’introduction de cet enseignement (alors intitulé MITIC) dans le Plan d’études romand. Pourtant, l’Accord intercantonal sur l’harmonisation de la scolarité obligatoire du 14 juin 2007 (Concordat Harmos) de la Conférence suisse des directeurs cantonaux de l’instruction publique (CDIP) faisait bien du «monitorage systématique, continu et scientifiquement étayé de l’ensemble du système suisse d’éducation» un instrument d’«assurance qualité». La convention précisant que «les développements et les performances de l’école obligatoire sont régulièrement évalués».
Pourtant, sans évaluation, impossible de connaître quels sont les acquis des élèves, de savoir quels sont les changements qui peuvent être attribués à un projet éducatif au niveau individuel ou d’une population scolaire, de comprendre ce qu’il faudrait modifier pour que celui-ci ait davantage d’impact, soit plus pertinent, efficace, efficient et que ses effets soient plus susceptibles de perdurer dans le temps (viabilité). Les critères d’évaluation de l’OCDE que nous évoquions plus haut. En un mot, de fournir une assurance sur la qualité du système éducatif.
Cependant, un article publié dans le bulletin de janvier 2020 de la Conférence intercantonale de l’Instruction publique de la Suisse romande et du Tessin (CIIP) témoigne que ce programme n’a été appliqué que de manière très lacunaire: «L’éducation aux médias souffre depuis toujours d’un mal chronique: les bonnes intentions officielles ne se concrétisent pas dans un dispositif qui comblerait les besoins de manière systématique et méthodique […] c’est un petit miracle qu’il trouve à produire quelques fruits méritoires, dont l’étalage sert de paravent commode pour masquer la froide réalité du terrain scolaire: inertie jalonnée d’imprégnations ponctuelles et sans lendemain». Dans ces conditions, ce projet éducatif ne pouvait avoir jusque-là que des effets insignifiants (son impact).
En l’absence d’appréciation objective et systématique de leur projet éducatif, force est de constater que les autorités scolaires romandes avancent à tâtons et sans que les parties prenantes puissent discuter valablement des résultats de leur politique d’éducation aux médias et à l’information.
Références
> Organisation de coopération et de développement économique (OCDE), Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats, 2002.
> Conférence intercantonale de l’instruction publique de la Suisse romande et du Tessin (CIIP), L’évaluation des systèmes éducatifs, Politiques de l’éducation et innovations, mars 2001.
> Ofcom, A toolkit for evaluating media literacy interventions, 7 February 2023.
> Conférence intercantonale de l’Instruction publique de la Suisse romande et du Tessin (CIIP), Formation générale (FG) – MITIC, Visées prioritaires.
> Centre suisse de coordination pour la recherche en éducation (CSRE), L’éducation en Suisse – rapport 2023, Aarau, 2023.
> Keystone-ATS, Un Forum pour parler de droit voisin et d’éducation aux médias, Swissinfo, 1er septembre 2022.
> Conférence suisse des directeurs cantonaux de l’instruction publique (CDIP), Accord intercantonal sur l’harmonisation de la scolarité obligatoire du 14 juin 2007 (Concordat Harmos).
> Christian Georges et Anne Bourgoz, L’éducation aux médias, pour renforcer la distance critique des élèves, Bulletin CIIP No 5 – janvier 2020: Vers une éducation numérique, Conférence intercantonale de l’instruction publique de la Suisse romande et du Tessin (CIIP), p. 20-22.
Les sites et documents ont été consultés le 15 avril 2023
Modèle pour citer cet article:
Domenjoz J.-C., «L’évaluation des projets d’éducation aux médias, principe d’une bonne gouvernance», Éducation aux médias et à l’information [en ligne], 15 avril 2023, consulté le date. https://educationauxmedias.ch/evaluation-des-projets-education-aux-medias-principe-une-bonne-gouvernance
Cet article concerne le domaine Médias, images et technologies de l’information et de la communication (MITIC) – Éducation aux médias et à l’information (EMI) – Media and Information Literacy (MIL) | Éducation numérique | educationauxmedias.ch