Université d'été « La formation continue ouverte et à distance »

Évaluation des dispositifs de formation continue en FOAD

Dieudonné Leclercq, professeur à la faculté de psychologie et des sciences de l'éducation, service de technologie de l'éducation, université de Liège

C'est un plaisir, un honneur et un danger que de vous parler pendant près d'une heure et demie. En effet, cette durée est trop courte pour me permettre de vous dire tout ce que je souhaiterais. Il faut toujours faire des choix et, pour vous faire connaître mes écrits sur les dispositifs de formation à distance, j'ai choisi de vous renvoyer au CD-ROM de l'ingénierie de la formation à distance publié par le CNED. Je suis responsable de l'unité numéro 4, l'évaluation des dispositifs de formation à distance.

Je vous propose un parcours réflexif sur des enjeux qui me paraissent dépasser l'échéance de l'année prochaine. Les technologies ont fait de grands progrès. Je souhaite que la pédagogie, la psychologie et l'apprentissage en fassent de même. Ces progrès peuvent se réaliser dans des domaines très divers et emprunter des directions sociales, interpersonnelles, cognitives, etc.

Je ne chercherai ni à être complet, ni à vous donner de mode d'emploi. Je chercherai simplement à vous faire partager mes préoccupations actuelles en les illustrant par des exemples précis, en espérant que certaines d'entre elles vous accrocheront.

Introduction

L'évaluation des dispositifs de formation à distance se compose de trois volets : l'évaluation des coûts (coûts de création, d'équipement, de maintenance, d'exploitation, etc.), l'évaluation des bénéfices et l'évaluation des méthodes. Je ne parlerai pas des coûts et passerai rapidement sur l'évaluation des méthodes. Je préfère concentrer mon intervention sur les bénéfices : que peut-on conceptuellement considérer comme un bénéfice de la FOAD ?

Assez souvent, dans l'enseignement traditionnel comme dans l'enseignement à distance, on a recours aux quatre méthodes d'évaluation suivantes :

  • on peut demander aux formés leur avis immédiat ;
  • on peut leur demander de répondre en différé à un questionnaire pour évaluer les résultats et l'impact de la formation sur le développement de leurs compétences ;
  • on peut chercher à évaluer l'impact de la formation en termes de transfert dans les conduites. A cet effet, il faut interroger les personnes qui travaillent régulièrement avec les enseignants formés, afin qu'elles confirment ou non que ces apprenants ont modifié leur conduite à la suite de la formation ;
  • on peut aussi chercher à mesurer l'impact de la formation sur les résultats de l'entreprise qui emploie la personne formée.

Plus le type d'évaluation diffère du simple recueil d'avis immédiats, moins l'enseignement à distance est la cause directe du résultat de l'évaluation. En effet, une entreprise ne vend pas seulement ses produits parce que des formations ont été dispensées à ses membres, mais aussi, par exemple, parce qu'elle a réalisé une campagne de publicité ou que des entreprises concurrentes ont fait faillite. Toutefois, idéalement, il faudrait pouvoir mettre en évidence l'impact de l'enseignement sur l'amélioration des résultats de l'entreprise.

Je n'entrerai pas davantage dans le détail des méthodes d'évaluation d'une formation, ma conférence étant consacrée à une réflexion sur les bénéfices de l'enseignement. Je souligne toutefois que l'évaluation des bénéfices n'a de sens qu'au regard d'une évaluation pertinente des coûts. Trois thèmes organiseront mon intervention : tout d'abord, faut-il croire les chiffres ? Ensuite, avons-nous suffisamment de concepts pour penser une évaluation pertinente, et si non quels sont les concepts que nous devrions affiner et développer au cours des vingt ou trente prochaines années ? Enfin, avons-nous les modèles adéquats pour évaluer et comparer les formations, qu'elles soient traditionnelles ou à distance ?

Faut-il croire les chiffres ?

Les chiffres et leurs sources

Vous avez probablement déjà lu les résultats de la recherche suivante : les gens retiennent environ 10 % de ce qu'ils lisent, 20 % de ce qu'ils entendent, 30 % de ce qu'ils voient, 50 % de ce qu'ils voient et entendent, 70 % de ce qu'ils disent et 90 % de ce qu'ils disent en faisant des choses.

Je retrouve encore malheureusement ce genre de statistiques dans les mémoires de licenciés et j'ai donc essayé de trouver la provenance de cette recherche. Après avoir effectué des investigations, j'ai découvert que mes étudiants n'avaient pas inventé ces statistiques : ils ont cité un article de Treichler, " Are you missing the boat in the training aids ? ", paru en 1967 dans la revue Film & AV communication. En revanche, dans cet article, Treichler a tout inventé. Ce n'est pas le fait de citer un ouvrage écrit en anglais qui justifie la validité des statistiques que vous citez.

Malgré tout, j'ai trouvé des références à ces stupides statistiques dans de nombreux ouvrages. Ainsi, Thierry Dumas de Rauly a publié un ouvrage aux Editions de l'organisation. Il a choisi d'utiliser les supports visuels et audiovisuels. En page 96, il justifie ainsi son recours à ces supports : " Des études montrent que le pourcentage moyen des notions retenues est de 15 % pour la lecture, de 10 % à 20 % pour l'écoute, de 20 % à 30 % pour la vue et de 40 % à 50 % pour l'écoute et la vue cumulées ". Vous notez que Thierry Dumas de Rauly ne parle plus d'une étude mais de plusieurs études. De même, les coefficients d'incertitude ont été modifiés. J'ai alors écrit aux éditions de l'organisation, situées à Paris. Voici un extrait de ma lettre : " Faisant moi-même des recherches dans ce domaine, je suis intéressé de savoir si vous recourrez à des études citées dans une référence de votre bibliographie ou dans d'autres sources. Pourriez-vous m'indiquer les sources exactes ? ". Inutile de vous dire que je n'ai jamais reçu de réponse...

Récemment, j'ai trouvé dans mon université des publicités hollandaises pour une société nommée Transparency to educate (TTE). Cette société hollandaise vend des catalogues de transparents. Pour vendre, elle affirme dans sa publicité que " les gens apprennent à 83 % par les yeux ". Vous constatez que, même si les images sont modifiées, le texte est similaire aux exemples précédents. J'ai écrit à Jan Krol, ancien professeur en histoire de l'art et directeur de TTE, en lui indiquant notamment " qu'un point ne me paraît pas clair. Il s'agit de la phrase répétée sur vos publicités, selon laquelle les gens apprennent à 83 % par les yeux. Pourriez-vous me communiquer les références de l'auteur, l'année de publication, la revue, etc. ? Mieux, vous pourriez m'envoyer une copie de l'article lui-même. "
Je vous traduis la réponse que j'ai reçue le 13 décembre 2000 : " Merci pour vos remarques. Je peux voir votre scepticisme à l'égard de la science et de la vérité. Je suis persuadé que vous fournir une bonne source ne vous suffirait pas pour être convaincu de la validité de cette affirmation, pas plus que cela ne me suffirait. En 1993, j'ai vu à la télévision un idéaliste qui jouait dans un théâtre de marionnettes et dont le but était de resocialiser des enfants du Bronx. Il a lâché cette phrase sur un air inspiré. Cela m'a fait réfléchir et je pense que cela vous fera aussi réfléchir. Voici la vérité qui se cache derrière le pourcentage de 83 %. Cela vous paraît-il suffisant ou bien jugez-vous qu'il y a là un abus de la bonne foi des acheteurs potentiels ? ". Je n'ai pas osé répondre, mais il s'agit évidemment d'un abus.

Je n'aurais jamais pensé qu'on puisse à ce point abuser consciemment des gens. Notez que cela ne vaut pas mieux que les proverbes chinois. En citant un proverbe chinois, on est protégé, car aucun chinois ne nous attaquera en justice. En outre, on peut faire dire tout ce que l'on veut aux proverbes chinois, car il est facile de les inventer. J'ai malheureusement des étudiants qui croient faire de la science en citant des proverbes chinois.

Laissez moi encore vous donner l'exemple d'Audio Visual Partners. Cette société vend des projecteurs et des écrans muraux. Dans leur catalogue, je trouve encore l'affirmation suivante, en allemand cette fois : " Nous apprenons ce que nous lisons à 10 %, ce que nous entendons à 20 %, etc. ". En économie, on dit que la mauvaise monnaie chasse la bonne. De même, nous menons un combat. Je ne sais qui gagnera, des médecins ou des rebouteux, des pédagogues et des scientifiques ou des proverbes chinois. L'avenir nous le dira, mais je crois que cet avenir est en partie dans nos mains.

Les chiffres et leur raison

Pourquoi savais-je à l'avance que Monsieur Dumas de Rauly ne répondrait pas à ma lettre ? Je savais dès le début que ses recherches n'étaient pas scientifiques. En effet, une étude non citée est toujours suspecte. En outre, une étude qui n'explicite pas son protocole de recherche ne peut être vérifiée. Or le protocole d'une expérience peut beaucoup modifier les résultats. Ainsi, Luh a montré en 1922 que selon la manière dont une question est posée, la réponse peut être différente. " Quel est le nom de cette personne ? " et " Cette personne s'appelle-t-elle Bourdieu, Passeron ou Meirieu ? " sont deux questions différentes. Les taux de réussite de réponse à ces questions ne sont pas identiques. En 1984, Bahrick a refait la même étude et il a montré que selon le type de question, les résultats pouvaient facilement varier de 30 %.

La façon dont on présente les " distracteurs " d'une reconnaissance influe aussi sur les résultats. Dans l'exemple précédent, les distracteurs étaient des mots, mais ils peuvent aussi être des images. Si on joue sur les modalités de mesure, on obtient des résultats totalement différents.

Les chiffres et leur sens

Dans une récente publication du CNED, on trouve une étude de Ben Abid de 1999 sur les coûts et réussites des centres de télé-enseignement universitaires (CTU) comparés aux coûts et réussites de l'enseignement traditionnel. La réussite dans les CTU est de 30 %, c'est-à-dire que, parmi les inscrits, seuls 30 % ont obtenu leur diplôme. La réussite dans l'enseignement traditionnel est de 60 %, soit le double. Ces chiffres sont ensuite ventilés en fonction des régions, des niveaux, etc.

Le coût par inscrit est quasi identique dans les deux types d'enseignement. Cependant, le coût par diplôme est différent : il est de 30 000 francs dans les CTU et de 15 000 dans l'enseignement traditionnel.

Au vu de ces chiffres, nous avons tendance à penser que les réussites sont deux fois moins nombreuses et les coûts deux fois plus élevés dans les CTU. Le rendement de l'enseignement traditionnel semble donc quatre fois supérieur au rendement des CTU. C'est faux ! Il ne faut pas multiplier les deux premiers chiffres, qui sont le reflet d'une même réalité.

Par ailleurs, pourquoi l'enseignement à distance est-il moins rentable que l'enseignement traditionnel ? Ben Abid lui-même reconnaît que les effectifs sont beaucoup plus faibles dans l'enseignement à distance que dans l'enseignement traditionnel. Il est donc plus difficile de réaliser des économies d'échelle et l'amortissement des coûts fixes demande plus de temps. J'ajoute, comme Monsieur Abid, que l'enseignement à distance permet à certaines personnes, qui n'ont pas accès à l'enseignement traditionnel, de réussir. Le taux de réussite de ces personnes dans l'enseignement traditionnel est nul. Cela nous permet d'affirmer que leur taux de réussite est beaucoup plus efficace dans l'enseignement à distance.

Les chiffres et l'enseignement programmé

Peut-être avez-vous connu la mode de l'enseignement programmé. Il s'agissait de diviser des matières en minuscules segments auxquels correspondaient de minuscules exercices. Grâce à cette méthode, de nombreux étudiants ont compris des notions difficiles, comme les lois de Newton, l'algèbre, etc. Cependant, cette méthode a aussi eu beaucoup de détracteurs, qui ont affirmé qu'elle était lassante et moins sélective que la méthode traditionnelle.

Dans l'enseignement traditionnel, un cours dure 50 minutes. Si un test est réalisé après ce type de cours, on constate que les étudiants n'ont pas tous acquis la même maîtrise de la matière. Leur rendement de compréhension est différent. Dans l'enseignement programmé, chacun progresse à sa propre vitesse. Certains auront assimilé le cours en moins de 50 minutes, quand d'autres auront besoin de davantage de temps. Cependant, finalement, ils auront tous assimilé le cours. Ne parler que du résultat final sans parler du temps nécessaire pour y parvenir serait un mensonge. De même, ne parler que de l'accroissement moyen du temps pris pour y parvenir serait un mensonge. L'enseignement programmé ne modifie pas les différences habituellement constatées : certains élèves sont toujours plus doués que d'autres. Toutefois, il fait s'exprimer ces différences autrement : au lieu qu'elles s'expriment en différence de rendement en un temps donné, elles s'expriment en différence de temps pour un rendement maximisé.

Conclusion sur les chiffres

Les chiffres n'ont d'intérêt que lorsqu'on sait exactement ce qu'ils mesurent, la manière dont ils ont été mesurés et la question précise qui était posée. Un de mes collègues médecins s'est un jour épouvanté des résultats d'un test qu'il avait fait passer à ses étudiants de quatrième année. Il leur avait demandé de " faire une représentation schématique du corps humain " et il s'est étonné que le résultat ne soit pas totalement conforme à la réalité. Cependant, leurs interprétations répondaient bien au critère " schématique ".

Si tout ce qui est pertinent est mesuré et si l'interprétation des données est correcte, alors les chiffres peuvent être intéressants.

Avons-nous assez de concepts pour penser une évaluation pertinente ?

Je pense que la pédagogie ne possède pas assez de concepts pour penser une évaluation pertinente. Il lui manque des concepts fondamentaux. Je n'en ai pas la liste exhaustive, mais je voudrais juste vous donner quelques exemples.

Tous éditeurs

Il existe aujourd'hui des phénomènes non comparables avec des phénomènes passés. Ils sont tellement nouveaux que l'humanité ne les a jamais connus auparavant. Il est donc impossible de leur trouver un point de comparaison.

Quels sont les événements majeurs dans l'histoire de la technologie et de l'humanité du point de vue de sa pensée ? Au fil de son histoire, notre population a connu un accroissement majeur, notamment au cours des derniers siècles. Le premier événement majeur qu'a connu l'humanité a été l'apparition de la parole, c'est-à-dire l'apparition de " la lumière sur fond de nébulosité ". Piaget considère que les animaux sont intelligents. Cependant, il reconnaît qu'il n'y a pas de pensée sans langage. Peu à peu, les êtres humains sont devenus tous " parlants ", c'est-à-dire doués de parole. Puis, un autre événement majeur s'est produit : l'écriture est apparue. Parallèlement, deux nouvelles capacités humaines ont émergé : la lecture et l'écriture. Lorsqu'elles sont apparues, peu de personnes maîtrisaient ces capacités, alors que beaucoup maîtrisaient la parole. Grâce à Gütemberg, deux grandes compétences humaines ont surgi : la possibilité d'imprimer et de diffuser. En plus des " parleurs ", des " lecteurs " et des " écriveurs ", des " imprimeurs " et des " diffuseurs " sont donc apparus. L'événement majeur qui a suivi la création de l'imprimerie date de 1896 : il s'agit de l'instruction obligatoire mise en place par Jules Ferry. Grâce à cela, de très nombreux parleurs sont devenus des " écriveurs " et des lecteurs. Cependant, dans le monde, de nombreuses personnes ne savent toujours pas ni lire ni écrire.

Je situe à 1980 l'arrivée des ordinateurs personnels. Désormais, chacun d'entre nous pouvait devenir un imprimeur, c'est-à-dire qu'il pouvait donner à ses textes une forme illustrée. A l'époque, nous n'étions cependant pas encore des diffuseurs. Pour diffuser ses textes, il fallait toujours recourir à un éditeur.

Ce n'est que depuis 1990 et l'apparition d'Internet que nous sommes potentiellement et de plus en plus des diffuseurs. Nous avons la possibilité de parler, de lire, d'écrire, d'imprimer et de diffuser. Cela pose encore des problèmes. Ainsi, on se plaint de la surcharge d'Internet, mais il existe déjà des moteurs de recherche.

La situation actuelle est donc totalement différente de celle d'il y a dix ans. Ces situations ne sont absolument pas comparables. Il y a dix ans, les diffuseurs étaient rares, alors qu'aujourd'hui, c'est une potentialité individuelle. Quels sont ceux qui l'exploitent ? Quels sont ceux qui en vivent ? Ce sont autant de questions qui ne se posaient pas auparavant. De fait, certaines questions sont propres à la période actuelle.

Savoir et sagesse

T. S. Eliot a dit " Où est l'information que nous avons perdue dans le fatras des données ? ". Ce problème est aujourd'hui considéré comme typique d'Internet, mais dans les bibliothèques traditionnelles, il est identique.

Je connais des universités dans lesquelles les personnes qui possèdent une maîtrise en information ne savent pas définir le mot information. Certains affirment que l'information, c'est ce que l'on trouve dans les journaux. En 1949, dans Theory of communication, Charles-Henri Weaver en a donné une définition simple mais féconde : " L'information, c'est ce qui réduit l'incertitude ". Dans le même ouvrage, il crée même une unité d'information, le bit. Aujourd'hui, notre société est une société d'information, nous délivrons des diplômes dans ce domaine, mais peu de gens connaissent effectivement le bit. Le bit est ce qui réduit l'incertitude de moitié.

Mesure de l'incertitude

Laissez-moi vous demander en quelle année vous pensez que je suis né. Une personne pourra penser que je suis né entre 1940 et 1950. Son incertitude est de 10 ans. Une autre personne pensera que je suis né entre 1935 et 1955. Son incertitude est beaucoup plus grande, elle atteint 20 ans. Admettons que je leur donne un indice et que je dise que je suis né pendant la seconde Guerre mondiale, soit entre 1940 et 1945. L'incertitude de la première personne diminuera de 10 à 5 ans, soit de 1 bit. L'incertitude de la seconde personne baissera de 20 à 5 ans, soit de 2 bits. Il est important de réaliser que la quantité d'informations transmises dépend non pas du message, mais du récepteur. Lorsque certains collègues me demandent de quantifier l'information transmise par une page, je suis obligé de leur demander " A qui cette information est-elle transmise ? ". Si l'on ne précise pas à quelle personne et donc " à quelle incertitude " on s'adresse, la quantité d'informations transmises est impossible à calculer. J'apprends tous les jours des informations, mais je ne les retiens pas toutes. La connaissance est composée des informations que je transporte avec moi, sans devoir rouvrir une source d'information.

Enfin, T. S. Eliot a dit " Où est la sagesse que nous avons perdue dans la connaissance ? ". Grâce aux browsers, nous commençons à pouvoir trouver les informations perdues au milieu des données. Quelle est la connaissance que nous devons garder des innombrables informations que nous recevons ? Pour le savoir, il faut développer une grande technologie intellectuelle, qui ne proviendra pas, à mon avis, des microprocesseurs. Ce sont les humains qui devront réfléchir au passage de l'information à la connaissance et à la sagesse. Parmi l'immensité des données, seules certaines constituent pour chacun d'entre nous de l'information. Parmi l'ensemble de ces informations, seules certaines deviennent de la connaissance. Enfin, parmi toutes nos connaissances, seules certaines nous aideront à agir, à nous positionner et à être des humains. Celles-ci sont considérées comme de la sagesse.

Vigilance cognitive et curriculum caché

Lorsque j'étais à l'armée, la question suivante était posée à des universitaires : " Quelle différence de potentiel faut-il appliquer aux oreilles d'une femme pour qu'elle avoue où elle a caché son bébé ? " Les réponses proposées étaient les suivantes : 110 volts, 220 volts et 380 volts. Tous les universitaires avaient fait des études, mais ils avaient des difficultés pour répondre. Nombre d'entre eux pensaient que 110 volts feraient hurler la femme, sans la faire parler pour autant. A 380 volts, ses oreilles seraient détruites. Par conséquent, ils avançaient la réponse de 220 volts. Lorsqu'on leur disait qu'on ne doit pas torturer, ils répondaient que ce n'était pas là la question. Autrement dit, nous ne sommes pas habitués à nous poser les questions qu'on ne nous pose pas.

De fait, chacun de nous possède une sorte de curriculum caché, c'est-à-dire quelque chose que personne ne nous enseigne mais que chacun de nous apprend. Ainsi, quand le maître donne une réponse en classe, cette réponse est supposée juste. Quand il pose une question, cela signifie que cette question est pertinente et qu'il existe une réponse. Si on ne l'a pas apprise, on ne peut pas la fournir, etc. Tous les enseignants transmettent cela à leurs élèves. Si je demande à mes élèves quelle est la capitale de l'Italie, qu'un élève lève le doigt et me répond Rome, j'ai renforcé en lui non seulement la connexion entre Rome et l'Italie, mais aussi la conviction qu'il est très bien de répondre aux questions posées par le professeur. Je pense qu'il faut que nous ayons une réponse structurée et systématique contre le curriculum caché qui, même s'il présente de bons côtés, possède aussi des aspects pervers.

Il y a quelques années, j'ai eu la chance d'assister à la présentation du film Le péril jeune à Paris. Ce film était suivi d'un débat en présence du réalisateur, Cédric Klapisch, et de quelques acteurs. Au cours du film, un des élèves fait l'amour avec sa jeune professeur d'anglais. Lors du débat, un spectateur a regretté le côté irréaliste du film, au prétexte qu'en réalité, il est très rare que des élèves aient l'occasion de faire l'amour avec leur professeur. Puis il a ajouté, à l'adresse de l'acteur qui jouait l'élève en question, " Lors du tournage, avez-vous réellement fait l'amour avec l'actrice qui jouait le rôle de la professeur d'anglais ? ". Je me suis levé et j'ai dit " Ne pensez-vous pas que cela le regarde ? ". Cet acteur allait répondre à la question !

Il faut accepter l'idée de ne pas répondre aux questions que l'on nous pose. De même, lors des émissions télévisées, très rares sont les personnes qui refusent de répondre aux questions. Ces réflexions paraissent anodines, mais les personnes jugées à Nüremberg n'ont pas eu d'autre défense que d'affirmer que " c'est ce qu'on leur avait dit de faire ". Lisez La mort est mon métier, de l'excellent auteur français Robert Merle. Vous constaterez que la défense du responsable du camp de concentration d'Auschwitz est ainsi : " Himmler me l'avait demandé ". Or Himmler s'est ensuite suicidé et nous n'avons jamais su pourquoi il le lui avait demandé. Il faut que nous apprenions à résister.

A l'université de Liège, j'enseigne aux étudiants de première année, dès le premier semestre. Je m'arrange toujours pour avoir cours avec eux le tout premier jour. S'ils veulent devenir professeurs, ils doivent encore passer par mes mains à la fin de leurs études. Je les informe dès le début que je leur donnerai à remplir des centaines de questionnaires et qu'il ne faudra jamais qu'ils omettent les solutions générales implicites à ces questions. En plus des réponses qui sont inscrites sur les QCM, il faudra toujours prévoir les quatre solutions supplémentaires suivantes, qui ne seront pas indiquées : " autre ou aucune ", " toutes ", " manque de données " et " absurdité dans l'énoncé ". Ainsi, à la question initiale que l'on m'avait posé à l'armée, il fallait répondre " absurdité dans l'énoncé " ou " on ne torture pas, même avec 1 volt ". Toutes les autres réponses sont incorrectes.

Ces quatre solutions supplémentaires sont des solutions générales qu'il faut toujours envisager, même à l'oral. L'enjeu dépasse largement les questions que je peux leur poser. Il ne faut pas accepter de répondre à n'importe quelle question : ce concept de vigilance cognitive est très important. Si cette vigilance n'est pas intégrée à l'évaluation de nos enseignements, qu'ils soient à distance ou en présence, je pense qu'un pan complet de la formation est ignoré. Si vous avez éduqué des enfants et des adolescents, vous savez qu'il faut faire des compromis entre l'imposition et l'acception du point de vue d'autrui. C'est d'autant moins simple que nous n'y sommes pas habitués.

Que signifie avoir appris ?

Konrad Lorenz disait " Said but not heard " : Quelque chose peut avoir été dit mais non entendu. C'est un problème de communication ou de pollution sonore. Il suffit de répéter ses mots pour que l'autre les entende. Ce n'est qu'un problème physique ou mécanique.

" Heard but not understood " signifie qu'on a tout entendu ou tout lu, mais pas tout compris. C'est un défi pédagogique que de donner une information de manière à ce qu'elle soit comprise. De fait, aucun de nous n'a la même structure mentale ou la même histoire. Pourtant, nous essayons de communiquer entre nous et d'avoir la même compréhension des choses. Souvent, on se comprend très vite à condition de discuter longtemps.

" Understood but not accepted " est de l'ordre de l'affectif. Je peux avoir compris quelque chose sans l'accepter. C'est le cas des opinions politiques par exemple. Je sais et je comprends ce qu'est le libéralisme mondialiste, mais je ne l'accepte pas.

" Accepted but not put into practice ". Nous acceptons certaines choses, sans les mettre effectivement en pratique. De fait, les médecins ont compris et accepté le fait qu'il ne fallait ni fumer, ni boire. Cependant, ils ne le mettent pas tous en pratique.

" Put into practive but for how long ? ". Parfois, nous mettons certaines choses en pratique, mais pour un temps très limité, car nous ne sommes que des humains.

J'en reviens à l'évaluation de la formation : lorsque les enseignants rentrent chez eux après une formation, leur comportement a-t-il changé ? Nous devons garder à l'esprit cette échelle d'apprentissage. Apprendre, ce n'est pas seulement avoir lu ou entendu, c'est aussi avoir compris, avoir accepté et finalement avoir mis en pratique. Ce sont des concepts qu'il faut bien distinguer. Pour évaluer une formation, je mettrai en place ces cinq niveaux. Le critère " how long " montre que je ne peux pas évaluer l'impact d'une formation immédiatement à l'issue de celle-ci.

Avoir appris, c'est aussi avoir enrichi son propre réseau de concepts. En deux secondes, plusieurs ensembles de nos neurones pulsent, mais ils ne le font pas tous au même moment. Ceux qui pulsent en même temps représentent un même concept. Apprendre, c'est enrichir le réseau de ses concepts par de nouveaux concepts, structurer davantage les concepts en multipliant les liens entre eux et leur fournir davantage d'images mentales minimales (images visuelles, tactiles, sonores, etc.). Ainsi, il existe une manière picturale de comprendre la douleur. Nous avons tous accumulé des images sonores, visuelles, tactiles et parfois gustatives qui enrichissent notre expérience.

Enfin, avoir appris, c'est lier les concepts aux actions. Connecter les concepts aux actions est très important. Cela peut maintenant être fait par Internet. Il suffit de voir le site d'Attac par exemple.

Se connaître soi-même

" The problem in our world is that fools are sure of everything and wise persons full of doubts " : le problème dans notre monde, c'est que les imbéciles sont sûrs de tout et les sages pleins de doutes (Bertrand Russell).

Jean-Marie Albertini, professeur de sciences économiques à Lyon, disait que " notre ignorance est en pleine expansion ". En effet, au moment où je vous parle, de nombreuses personnes inventent des nouveautés dans le monde. La connaissance humaine grandit de manière exponentielle. Cependant, connaître, c'est aussi gérer son ignorance et savoir reconnaître ce que l'on sait et ce que l'on ignore.

Je travaille beaucoup sur les degrés de certitude. De fait, chaque fois que mes étudiants répondent à une question, ils doivent accompagner leur réponse d'un degré de certitude. Ils doivent dire s'ils sont sûrs à 0 %, 20 %, 40 %, 60 %, 80 % et 100 %. Je réalise ensuite un spectre de leurs performances sur une échelle qui comprend 13 degrés : réponse correcte avec 20 %, 40 %, 60 %, 80 % ou 100 % de certitude, omission de la réponse (0 %) et réponse incorrecte avec 20 %, 40 %, 60 %, 80 % ou 100 % de certitude. En Belgique, il n'existe pas de baccalauréat et à l'issue des études secondaires, aucune épreuve ne permet de connaître le niveau des étudiants. Cela permet de dire que " les jeunes d'aujourd'hui ne valent plus rien " puisque rien ne permet de l'infirmer... L'an dernier, nous avons pour la première fois testé les étudiants qui entraient dans neuf universités de la communauté française de Belgique en leur posant des questions dans dix domaines différents. En matière de vocabulaire, 73 % des étudiants ont su définir " corroborer ", 28 % " prérogative ", 35 % " stigmatiser ", etc. Les étudiants ont reçu leurs résultats personnels, ainsi que la moyenne générale.

Le test de vocabulaire comportait au total 45 questions. 13 % des réponses étaient correctes à 100 % de certitude, 10 % étaient correctes à 80 % de certitude, 10 % étaient correctes à 60 %, etc. Cependant, nos connaissances utilisables ne sont que celles dont on est sûr à plus de 50 %. Celles dont on est sûr à plus de 50 % alors qu'elles sont fausses sont nos connaissances dangereuses. Mark Twain disait d'ailleurs que " ce n'est pas ce que nous ignorons qui nous porte tort, c'est ce que nous savons, mais qui est faux ". Enfin, toutes les autres connaissances sont inutilisables. Dans le cas du test de vocabulaire, seule une réponse sur trois était statistiquement utilisable.

Par ailleurs, je collabore aux recherches du professeur Jean-Paul Divernois sur la pédagogie médicale et l'éducation des patients, notamment ceux qui sont diabétiques. Ces patients sont invités à exprimer leurs connaissances en les accompagnant de degrés de certitude. Nous avons montré que pour bien se soigner, il fallait non seulement disposer des informations, mais aussi atteindre un degré de certitude élevé pour oser passer à l'acte.

L'autonomie de l'apprenant

Nous assistons à l'explosion des besoins d'apprendre : de plus en plus de personnes veulent à tout moment apprendre, non seulement dans des classes, mais aussi chez elles ou dans leurs entreprises. Cela pose d'énormes problèmes de coût : l'Éducation nationale ne pourra augmenter son budget de manière suffisante pour répondre à cette explosion de la demande. Je suis persuadé que le XXIème siècle sera celui de l'apprentissage. Dans le secteur de l'éducation, je crois que l'on assistera à l'augmentation d'une demande apparue dans tous les secteurs de la consommation : le self-service ou " servuction " en français. Jean-Marie Albertini m'a dit que si nos communications téléphoniques devaient encore aujourd'hui passer par des opératrices pour aboutir, la population féminine française n'y suffirait pas. La servuction est le fait de rendre un service, en impliquant beaucoup celui qui le reçoit. Dans l'enseignement traditionnel et dans la formation continue, nous devons former des personnes qui auront la capacité d'être des apprenants autonomes. Que faisons-nous pour qu'elles deviennent des apprenants autonomes ? Au moment de la réalisation du bilan d'une formation, nous devons nous poser cette question.

Avons-nous des modèles adéquats pour évaluer ?

Architecte des compétences

Je forme les étudiants en leur enseignant plusieurs types de compétences :

  • des compétences spécifiques

    Les compétences spécifiques sont les données inscrites dans les livres. Les étudiants pourraient acquérir ces compétences sans moi, il leur suffirait d'apprendre le contenu des livres. Pour évaluer leurs compétences dans ce domaine, il me suffit de leur faire passer des QCM ou de proposer des questions ouvertes.

  • des compétences démultiplicatives

    Les compétences démultiplicatives sont des compétences utilisables de manière transversale, comme la lecture, l'écriture, l'utilisation de logiciels, etc. Ce sont des compétences que les étudiants apprennent dans un cours, mais qu'ils pourront utiliser dans d'autres cours et durant le reste de leur vie. Ainsi, j'apprends à mes étudiants de première année comment utiliser la bibliothèque de l'université. Comme cette compétence est évaluée, ils sont obligés de l'acquérir et ils peuvent ensuite la mobiliser durant la suite de leurs études.

  • des compétences stratégiques

    Les compétences stratégiques permettent de se connaître et de savoir comment interagir avec les autres. Si j'ai prévu de faire ma présentation Powerpoint au cours de la nuit, suis-je réellement capable de rester éveillé toute la nuit ou est-il préférable que je me réveille plus tôt demain matin ? Il faut savoir ce qu'on peut supporter. Or l'école ne nous y entraîne pas.

  • des compétences dynamiques

    Les compétences dynamiques appartiennent au registre des pulsions, des envies. Lorsqu'un professeur emmène ses étudiants pendant une semaine à Londres, ces derniers n'apprendront pas beaucoup plus l'anglais qu'en y travaillant intensivement en Belgique. Le professeur a emmené ses étudiants à Londres pour leur inoculer le virus de l'amour de l'anglais qui les habitera toute leur vie !

Exemple

Je dispense un cours à distance sur l'édumétrie et la docimologie. Auparavant, je le faisais traditionnellement en présentiel, ex cathedra. En présentiel, mon évaluation portait principalement sur les compétences spécifiques et j'étais fier des résultats. A distance, j'ai mis en place des exercices interactifs et des forums. Le contenu est placé en ligne, de telle manière qu'en coupant et en collant des informations, les étudiants puissent produire leurs propres documents. Les cours sur Internet ne remplacent pas le contenu du livre que je leur ai demandé d'acheter. Les étudiants doivent aussi réaliser des travaux pratiques et je leur fournis un exemple de ce qu'ils devront créer. Sur la base de cet exemple, ils doivent produire leurs propres cas, poser onze questions relatives à ces cas à trois autres étudiants et animer les forums s'y rapportant. Grâce aux cours sur Internet, les élèves apprennent l'édumétrie. En outre, ils ont désormais une connaissance de la réalité de l'enseignement à distance, une pratique de la négociation avec les autres en tant que tuteur et une expérience de création. Ils ont particulièrement apprécié de créer ce qu'ils devaient apprendre. Cette démarche a renversé la perspective habituelle de l'enseignement.


Actes de l'université d'été - La formation continue ouverte et à distance

Mis à jour le 15 avril 2011
Partager cet article
fermer suivant précédent