Proposition de modèle pour l’évaluation d’un dispositif numérique de formation : l’exemple du e-manuel d’histoire

Nous présentons ici nos réflexions concernant le dispositif d’évaluation du manuel numérique  d’histoire  développée par Numérique Premium présente en partenariat avec Nouveau Monde éditions, l’UVSQ, avec le soutien de l’Université Paris-Saclay et du consortium Couperin,  un manuel numérique dédié aux études en histoire.  Ce dispositif est en cours de validation.

Les différentes formes d’évaluation

L’évaluation d’un dispositif numérique de formation peut être menée de différentes façons et surtout s’intéresser à différentes dimensions de celui-ci. Nous distinguons trois grandes catégories

  • Impact sur la performance académique. Pour mesurer cet impact, on peut s’intéresser soit à l’avantage pédagogique relatif du dispositif. On procèdera alors à une comparaison entre un groupe utilisant le dispositif et un autre ne l’utilisant pas. On peut également s’intéresser à l’impact sur la progression de l’élève et dans ce cas, on utilisera une méthodologie pré et post-test. A côté de ces méthodes essentiellement qualitative, on peut également s’attacher à caractériser qualitativement les acquisitions avec le dispositif. C’est notamment le cas avec les approches de la cognition située.
  • L’ergonomie et les usages. Pour évaluer cette dimension, il est nécessaire d’observer en situation l’interaction entre le sujet et le dispositif dans une tâche spécifique. Si l’observation en situation naturelle n’est pas possible, on peut la reproduire en laboratoire. La tâche est alors choisie de façon à être aussi représentative que possible de la situation naturelle. On procède ensuite à une analyse qualitative des observations et éventuellement à une auto-confrontation.
  • Perception et adoption du dispositif par les usagers. Il s’agit dans ce cas d’évaluer la satisfaction des usagers et l’intention d’utiliser le dispositif, mais surtout d’identifier les freins et ce sur quoi il convient de se focaliser pour lever ceux-ci. Les méthodologies utilisables sont les focus groupes et le brainstorming. Pratiquer sur de petits groupes, ces méthodes présentent l’avantage d’une évaluation spécifique au dispositif et qualitativement très riche, mais également très chronophage à mettre en œuvre. L’autre solution est l’emploi de questionnaires, notamment des tests permettant une évaluation plus facile à mettre en œuvre à grande échelle et éventuellement de façon récurrente. Pour cela, il est nécessaire de valider le test afin de s’assurer qu’elle constitue un instrument psychométrique valide.

Le choix s’est porté sur cette dernière catégorie. Cela veut dire que le mode d’évaluation ne dira rien de l’impact pédagogique réel. Nous assumons le fait que cela relève de l’activité de l’enseignant. Nous pourrons cependant estimer la perception de l’impact pédagogique par l’étudiant. Nous assumons également de ne pas regarder l’usage en situation de classes ou dans des tâches académiques. Notre objectif est d’évaluer l’adoption du livre électronique par les étudiants et surtout de mesurer les facteurs connus pour avoir un impact sur cette adoption de façon à orienter la réflexion sur la réduction des freins. Notre approche consiste à développer un outil générique adaptable à des dispositifs numériques de formation variés et permettant le cas échéant de comparer ces dispositifs avec pour projet de mettre à disposition l’outil sur la plateforme d’évaluation des enseignements e-Pericles (http://v2.e-pericles.org/) sous la forme d’une banque de questions.

Fondements théoriques

L’outil d’évaluation proposé repose sur un courant de recherche qui s’est intéressé à l’adoption des nouvelles technologies par les usagers, le modèle d’acceptation de la technologie (TAM pour Technology Acceptance Model ; Davis, 1989). Cette théorie trouve son origine dans la théorie de l’action raisonnée (TRA pour Theory of reasoned action ; Ajen & Fishbein, 1980). Selon cette théorie, le comportement des individus dépend des croyances relatives aux normes sociales et à celles relatives au comportement et à l’évaluation de celui-ci (attitude à l’égard du comportement). Concernant l’usage des livres, les normes sociales conduisent à survaloriser l’usage papier au motif que c’est ainsi qu’on apprend depuis toujours à lire et que la lecture change le rapport à l’écrit. De telles affirmations ont à la fois un fondement social lié à une croyance que le « vrai » livre est en papier et trouve également leur source dans la représentation qu’on a de notre façon de lire et des changements qu’un support numérique pourrait imposer. La lecture numérique apparait ainsi pour beaucoup d’utilisateurs comme moins compatible avec une lecture linéaire dans le cas des romans ou un balayage de la page dans le cas de recherche d’information, ce que contredit la généralisation de la lecture sur tablette  ou liseuse de roman.

Azjen a précisé la TRA en proposant la théorie du comportement planifié (TPB pour Theory of planned behavior ; (Fishbein & Ajzen, 1977). Aux facteurs identifiés dans la TRA, les auteurs proposent de prendre également en compte les croyances de l’individu en sa capacité à réussir (sentiment d’auto-efficacité). Ce sentiment est lié à la perception qu’un sujet peut avoir de la maîtrise personnelle notamment si dans des situations analogues, il a des expériences réussies, qu’il y est encouragé socialement ou qu’il a pu observer la réussite d’autres personnes dans ce contexte. Les composantes du sentiment d’auto-efficacité ne sont pas détaillées dans la TPB, mais la mesure du facteur est importante car elle permet de savoir si l’individu se sent suffisamment confiant pour utiliser le dispositif. Par exemple, les personnes peu à l’aise avec les outils informatiques auront à priori une attitude de rejet pour l’utilisation d’un ebook.

Appliqué aux nouvelles technologies, cette théorie a donné naissance au modèle d’acceptation de la technologie (TAM pour Technology Acceptance Model ; Davis, 1989). Selon cette théorie, deux facteurs sont déterminants dans l’adoption d’un dispositif technologique : la facilité d’utilisation perçue (utilisabilité) et son utilité perçue (utilité). Ces facteurs déterminent la satisfaction à utiliser un dispositif et sont eux même influencés par les facteurs précédemment identifié dans la TCP. De la satisfaction dépend les comportements effectifs d’utilisation et en partie la performance avec ceux-ci.

Le TAM a d’abord été employée pour évaluer l’usage d’applications de bureautique (traitement de textes, messagerie électronique, la visioconférence etc.). Il a ensuite été utilisé pour évaluer l’acceptation d’outils numériques de formation par les étudiants (Buche et al., 2019; Park, 2009; Yi & Hwang, 2003) et par les enseignants.

Dans le même ordre d’idée, Rogers a proposé la théorie de la diffusion de l’innovation (DIT pour Diffusion of Innovations Theory ; Rogers, 2003) ; qui propose un cadre conceptuel au concept d’acceptabilité pour expliquer comment une innovation technologique passe du stade d’invention à celui d’utilisation élargie (voir la fameuse courbe d’adoption des innovations technologiques). Il propose de détailler l’attitude à l’égard du comportement en distinguant l’avantage relatif, c’est-à-dire l’évaluation du gain de l’innovation par rapport aux solutions antérieures (avantage relatif) et la compatibilité avec les valeurs et habitudes de l’utilisateur (compatibilité). Ces facteurs étaient précédemment regroupés dans les attitudes à l’égard du comportement dans la TRA et la TPB. Rogers avance également le facteur de la complexité de l’innovation qui renvoie en fait à l’utilisabilité que nous avons évoquée précédemment, ainsi que l’observabilité qui correspond à l’utilité perçue. Le dernier facteur avancé est la possibilité de tester le dispositif (testabilité) qui pour notre propos n’est pas pertinent puisque tous les sujets auront effectivement utilisé le ebook.

Modèle d'évaluation d'un ebook
Figure 1: Modèle d’évaluation ebook

 

Le modèle construit par Jin (2014) est la synthèse de l’ensemble des modèles précédents qui ont été révisés pour évaluer l’adoption des ebooks. Nous nous en sommes largement inspiré pour construire le nôtre. Nous avons distingué dans les normes sociales le prestige et l’acceptabilité sociale de façon à identifier ce qui relève de la perception de l’impact de ces normes pour le sujet lui-même et pour son groupe social (Moore & Benbasat, 1991). Nous y avons ajouté le facteur « volontarisme » qui reflète la motivation à utiliser de nouveau dispositif et est très proche de la recherche de nouveauté (Dabholkar & Bagozzi, 2002; Jung et al., 2012; Moore & Benbasat, 1991). Nous avons également introduit des mesures de l’impact perçu sur la performance à l’instar de ce qu’on fait Isaac et al. (2017) pour l’étude de l’impact de l’introduction d’Internet dans l’administration au Yemen. L’idée est qu’à défaut de pouvoir corréler directement la performance avec l’adoption du e-manuel, il est possible au moins d’en évaluer l’impact perçu par l’étudiant.

Il faut cependant nuancer le caractère unidirectionnel des modèles fondés sur le TAM. Même si elles ont été peu étudiées, des boucles de rétroaction doivent avoir un effet sur l’acceptation du dispositif et la qualité perçue de la conception, ainsi que sur les facteurs externes. Apprendre à se servir d’une application renforce avec le temps l’auto-efficacité perçue, l’envie de découvrir de nouvelles fonctionnalités. Comme tous les instruments, les individus doivent apprendre à s’en servir et en retour sont amenés à modifier leurs représentations, ce qui rend les dispositifs plus compatibles avec les habitudes de travail nouvellement acquise, suivant en cela le veille adage que c’est en forgeant qu’on devient forgeron. L’évaluation des avantages relatifs se fait également à l’aune de l’expérience de l’usage de l’instrument à mesure que les freins sont levés. Utiliser un traitement de texte peut s’avérer peu intéressant pour un débutant au regard de la commodité de l’écriture manuscrite, mais à mesure que se développe l’expertise l’accès à nouvelles fonctionnalités ou de nouveaux usages renforce son intérêt au regard de l’écriture manuscrite. Si ces feedbacks ont été peu pris en compte dans les modèles précédents, c’est que le TAM est avant tout fait pour essayer de prédire l’adoption des nouvelles technologies. Dans l’usage que nous en proposons ici, il s’agit d’en faire un instrument d’évaluation de la pertinence d’un dispositif numérique d’enseignement. La première application que nous en proposons est le e-manuel d’histoire, mais le modèle est conçu pour être applicable à tout type de dispositif numérique d’enseignement et surtout permettre une évaluation récurrente permettant d’évaluer l’évolution de son adoption par les usagers et éventuellement de comparer les différentes versions ou usages dans des contextes pédagogiques différents.

Chaque dimension étant évaluée sur une même échelle, il est possible par moyennage de définir des indicateurs. En amont, il est ainsi possible d’identifier les facteurs qui, le cas échéant, freinent l’adoption du dispositif (normes sociales, facteurs personnels ou techniques). Dans le même ordre d’idée, la moyenne des facteurs d’utilisabilité et d’utilité fournit un indice de la qualité perçue de la conception. La moyenne des facteurs satisfaction et usage actuel donne un indice d’acceptation du dispositif. De la même façon, l’impact perçu sur la performance peut être résumé en moyennant les dimension sous-jacentes.

Enfin, la conception factorielle du modèle autorise de retenir tout ou partie de celui-ci, à condition de valider le construit et une relative indépendance des mesures. Ainsi nous ne sommes pas obligés de retenir tous les facteurs d’entrée (sociaux, personnels ou techniques) ou les facteurs d’impact sur la performance académique.

Le test est conçu pour être facilement administrable. Nous avons donc fait le choix d’un nombre limité de questions à deux ou trois questions pour chacune des 14 dimensions étudiées. Cependant, pour prévenir l’invalidation de certains items et faciliter la réutilisation du test avec les mêmes sujets, 5 questions par dimension ont été élaborées.

 
Facteurs Dimensions Définition

Normes sociales

Prestige

Considération sociale pour l’utilisateur liée à l’utilisation du dispositif

Acceptabilité sociale

Acceptabilité du dispositif dans le groupe social

Facteurs personnels

Volontarisme

Motivation à utiliser de nouveaux dispositifs

Auto-efficacité

Capacité perçue à pouvoir utiliser un dispositif

Facteurs techniques

Compatibilité

Consistance perçue entre le dispositif et les habitudes de l’utilisateur

Avantage relatif

la mesure dans laquelle un dispositif  est perçu comme étant meilleur que d’autres dispositifs analogues

Qualité de conception

Utilisabilité

Facilité d’utilisation perçue

Utilité perçue

Intérêts perçus à utiliser un dispositif

Acceptation du dispositif

Satisfaction

Adéquation du dispositif aux attentes du sujet

Intention d’utiliser

Motivation du sujet à utiliser le dispositif

Impacts perçus sur la performance

Acquisition de connaissances

Impact perçu du dispositif sur l’acquisition de connaissances

Recherche d’information

Impact perçu du dispositif dans les tâches de recherche d’information

Communication

Impact perçu du dispositif sur la communication interpersonnelle

Travail académique

Impact perçu sur le travail académique

 

Bibliographie

Buche, M., Davis, L., & Vician, C. (2019). Does Technology Acceptance Affect E-learning in a Non-Technology-Intensive Course? Journal of Information Systems Education, 23(1). https://aisel.aisnet.org/jise/vol23/iss1/4

Dabholkar, P. A., & Bagozzi, R. P. (2002). An attitudinal model of technology-based self-service : Moderating effects of consumer traits and situational factors. Journal of the Academy of Marketing Science, 30(3), 184. https://doi.org/10.1177/0092070302303001

Davis, F. D. (1989). Perceived Usefulness, Perceived Ease of Use, and User Acceptance of Information Technology. MIS Quarterly, 13(3), 319‑340. https://doi.org/10.2307/249008

Fishbein, M., & Ajzen, I. (1977). Belief, Attitude, Intention, and Behavior : An Introduction to Theory and Research. Philosophy and Rhetoric, 10(2), 130‑132.

Isaac, O., Abdullah, Z., Ramayah, T., & Mutahar, A. M. (2017). Internet usage within government institutions in yemen : An extended technology acceptance model (tam) with internet self-efficacy and performance impact. Science International, 29(4), 737‑3747. https://www.researchgate.net/profile/Osama_Isaac/publication/318866085_Internet_Usage_within_Government_Institutions_in_Yemen_An_Extended_Technology_Acceptance_Model_TAM_with_Internet_Self-Efficacy_and_Performance_Impact/links/59824afe0f7e9b9ebaab17bd/Internet-Usage-within-Government-Institutions-in-Yemen-An-Extended-Technology-Acceptance-Model-TAM-with-Internet-Self-Efficacy-and-Performance-Impact.pdf

Jin, C.-H. (2014). Adoption of e-book among college students : The perspective of an integrated TAM. Computers in Human Behavior, 41, 471‑477. https://doi.org/10.1016/j.chb.2014.09.056

Jung, J., Chan-Olmsted, S., Park, B., & Kim, Y. (2012). Factors affecting e-book reader awareness, interest, and intention to use. New Media & Society, 14(2), 204‑224. https://doi.org/10.1177/1461444811410407

Moore, G. C., & Benbasat, I. (1991). Development of an Instrument to Measure the Perceptions of Adopting an Information Technology Innovation. Information Systems Research. https://doi.org/10.1287/isre.2.3.192

Park, S. Y. (2009). An Analysis of the Technology Acceptance Model in Understanding University Students’ Behavioral Intention to Use e-Learning. Journal of Educational Technology & Society, 12(3), 150‑162. JSTOR. https://www.jstor.org/stable/jeductechsoci.12.3.150

Rogers, E. M. (2003). Diffusion of Innovations, 5th Edition (5e éd.). Free Press.

Yi, M. Y., & Hwang, Y. (2003). Predicting the use of web-based information systems : Self-efficacy, enjoyment, learning goal orientation, and the technology acceptance model. International Journal of Human-Computer Studies, 59(4), 431‑449. https://doi.org/10.1016/S1071-5819(03)00114-9

Pour citer cet article : Meunier, J.M.,(29/01/2021) "Proposition de modèle pour l’évaluation d’un dispositif numérique de formation : l’exemple du e-manuel d’histoire,"[blog] Cognition et numérique, avalialable at https://cogninum.hypotheses.org/222 [accessed 10/12/2022]. ISSN 2495-6414.

2 réflexions sur « Proposition de modèle pour l’évaluation d’un dispositif numérique de formation : l’exemple du e-manuel d’histoire »

  1. Bonjour,
    Votre texte est passionnant!
    Je mène actuellement un projet de création d’une microformation en ligne et je cherche un modèle d’évaluation de la qualité. Votre article m’inspire. Avez-vous publié cette proposition dans une revue?
    Merci,
    Marie-Josée Goulet
    Professeure
    Université du Québec en Outaouais

    1. Bonjour,
      Le modèle repose sur de nombreux travaux qui ont permis de le valider. La traduction française est en cours de validation auprès d’étudiants utilisant le e-manuel d’histoire, mais aussi dans le cadre d’une étude sur l’utilisation de Facebook dans l’enseignement à distance. Le recueil de données a pris un peu de retard. Je n’ai donc rien de publié à part cet article de blog, Je suis ouvert à son utilisation dans d’autres contextes si vous êtes intéressée.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.