En UX, on parle de plus en plus de mesure du ROI, la valeur ajoutée pour l’entreprise. C’est cohérent, car une entreprise n’aurait a priori pas de raison d’investir dans l’UX si cela ne lui apportait pas de bénéfices en retour. Néanmoins, j’aime à croire qu’en tant que designer nous n’avons pas seulement un impact sur l’économie des entreprises, mais également (et même surtout) sur la qualité de vie des personnes qui utilisent nos solutions numériques.
J’en parlais dans cette vidéo (dans l’axe 4, à 2 minutes) :
Il y a un an et demi, j’ai cloturé un projet passionnant avec un industriel lyonnais sur lequel j’étais intervenue en tant que consultante UX et Product Owner. Juste avant la livraison du dernier des nombreux projets réalisés avec eux, un an auparavant, j’avais envoyé un questionnaire aux utilisateurs finaux pour mesurer la qualité de leur expérience utilisateur à l’instant t et le temps qu’ils passaient sur leur tâche. Un an après la livraison j’ai renvoyé ce même questionnaire enrichi de questions pour tenter de mesurer l’impact, notamment sur la qualité de vie des usagers, de la mise à dispo du projet sur lequel j’avais bossé.
Contexte
Ce client c’est Clauger, un industriel qui conçoit, développe, distribue et réalise la maintenance de matériels dans le secteur de l’air froid industriel. Je suis intervenue sur différents projets, mais celui qui nous intéresse aujourd’hui concerne les CERFA que les techniciens doivent remplir chaque fois qu’ils manipulent du fluide frigorifique (avec la ou les bouteilles utilisées, le fluide concerné, le volume transféré ainsi que plein de données techniques).
Comme vous pouvez le voir sur l’image, c’est assez indigeste, et difficilement utilisable en l’état. Clauger avait donc mis au point un fichier Excel avec des macros dans tous les sens pour permettre aux techniciens de saisir moins d’informations et d’en déduire autant que possible. Sauf que ce fichier restait complexe à remplir, et était très lourd, et les ordinateurs des techniciens très peu performants, de sorte qu’il leur fallait tellement de temps pour allumer le PC et ouvrir le fichier qu’ils avaient tendance à repousser cette tâche en fin de journée, voire la faire sur leur temps libre le week-end (coucou l’équilibre vie pro / vie perso). L’objectif du projet était donc de profiter d’un changement réglementaire (qui aurait impliqué 3 semaines de refonte du fichier Excel) pour intégrer cette brique fonctionnelle dans l’application mobile sur laquelle je travaillais par ailleurs, afin de :
- limiter les erreurs en encouragant les techniciens à remplir le fichier pendant l’intervention plutôt qu’après ;
- tenir à jour la base de données des bouteilles avec leur niveau de remplissage.
Réalisation du projet
Ce n’est pas l’objet principal de l’article mais voici tout de même la démarche que j’ai suivie dans un contexte d’urgence puisque nous n’avions que quelques mois pour mettre en prod’ la brique dans l’application mobile avant le changement réglementaire :
- Discovery : échange approfondi avec un référent métier, démo par un technicien de la pesée d’une bouteille et des logiciels utilisés actuellement.
- Idéation : atelier de codesign avec un technicien et le référent métier.
- Conception : 2-3 itérations pour aboutir à une première version du parcours utilisateurs avec les écrans principaux, travail en pair avec mon collègue UI designer pour la version haute fidélité, réalisation d’un prototype interactif.
- Evaluation : Recueil de réactions face à plusieurs démos et découvertes en autonomie du prototype par des managers et autres personnes non utilisateurs finaux mais connaissant très bien le métier, puis un peu plus tard réalisation de tests utilisateurs auprès de techniciens sur la version en cours de dev et le prototype pour les éléments non encore développés.
- Accompagnement du dev : Ecriture des user stories (US) et priorisation du backlog pour identifier les stories vraiment indispensables pour la 1ère livraison. Specification précise de toutes les US métier au fil d’échanges hebdomadaires avec le référent métier. Priorisation de la correction des bugs en collaboration avec la QA.
Mesure d’impact
Construction des questionnaires
J’aimais déjà beaucoup mesurer la qualité de l’UX avant et après refonte pour voir l’impact de mon boulot et les axes d’amélioration. Je l’avais fait en particulier sur 2 autres projets chez ce même client avec des améliorations significatives qui font du bien à l’ego.
J’ai donc mis en place un questionnaire « avant refonte » (se basant sur l’expérience avec Excel), en y intégrant :
- le questionnaire SUS qui permet de donner un score unique sur l’utilisabilité de l’outil. Simple, facile à interpréter, et permettant d’estimer un risque d’erreur, mais ne donnant pas d’information sur ce qui peut être amélioré ;
- le questionnaire UEQ qui mesure la qualité de l’expérience utilisateur, à travers 6 axes ;
- des questions sur le temps de remplissage du fichier excel (selon deux cas de figure assez différents) et le temps d’ouverture du PC et du fichier excel
Ce questionnaire m’a également permis de récolter les mails de quelques techniciens prêts à participer à améliorer le produit.
Un an plus tard, j’avais lancé un podcast sur l’expérience utilisateur qui m’avait donné l’occasion de réfléchir à plein de choses, et de maturer cette envie de mesure d’impact. Sachant que les techniciens remplissaient régulièrement les formulaires sur leur temps libre, et que c’était un des critères de réussite du projet que de déplacer le remplissage vers le moment de l’intervention, j’ai eu envie de tenter de mesurer cela. J’avais également très envie de mesurer l’impact sur différents aspects de leur qualité de vie au travail, en particulier leur perception de leur équilibre vie perso / vie pro. J’ai regretté bien entendu de ne pas y avoir pensé plus tôt pour intégrer cela dans le 1er questionnaire mais ce qui est fait est fait, inutile de regretter trop fort.
Dans le questionnaire « après refonte », j’ai donc soumis mes répondants aux mêmes questionnaires standardisés (SUS et UEQ) et questions sur le temps passé (dans les 2 cas de figure + ouverture de l’application), et en y ajoutant les items suivants :
- Quand faisiez-vous principalement vos cerfa à l’époque du fichier Excel ? Et maintenant ? (avec des propositions à cocher)
- Quel est l’impact pour vous de l’intégration du cerfa dans l’appli mobile sur… (avec un choix entre 5 propositions allant de « impact très négatif » à « impact très positif »)
- Votre équilibre vie perso / vie pro
- Votre sentiment d’efficacité
- Votre niveau de stress quotidien
- Les intéractions avec vos collègues
- Les intéractions avec vos clients
- La qualité du Cerfa (en termes de nombre d’erreurs)
Résultats
J’ai obtenu 28 réponses exploitables lors du second questionnaire, contre 13 seulement pour le 1er.
Concernant l’indice d’utilisabilité (SUS, score sur 100), il était de 50,7 dans la version Excel, ce qui le classe dans les 13 % pires interfaces qu’on peut imaginer (score F) et est associé à une estimation du taux de réussite de la tâche de 16 %. C’est, sans surprise, vraiment très faible. L’expérience était catastrophique.
Dans la version dans l’app mobile, cet indice atteint 77,9 (score B+) ce qui le place au 84e percentile dans le benchmark (seulement 16 % des solutions numériques sont meilleures), avec un taux de réussite de la tâche estimé à 95 %. On aurait pu rêver encore mieux, j’ai réussi à attendre le score A sur un autre projet chez eux, mais cette activité reste quelque chose d’intrinsèquement complexe donc j’estime que c’est tout à fait honorable, le risque d’erreur ayant tout de même été divisé par près de 20.
Le questionnaire UEQ mesure la qualité de l’expérience utilisateur à travers six axes : Attraction, Compréhensibilité, Efficacité, Contrôlabilité, Stimulation et Originalité. Ce questionnaire a montré des différences significatives avant/après refonte sur tous les axes, avec notamment une différence très importantes dans ce contexte pour le critère Efficacité qui, comparés à un benchmark de solutions numériques passent de « Lower border » (= les pires interfaces) à « Good » (meilleur que 75 % des interfaces). Il serait intéressant de creuser pourquoi l’axe Contrôlabilité n’est pas plus haut (il est certes plus haut que d’autres, mais l’originalité, la stimulation et l’attraction ne sont pas des critères cibles pour ce type d’interface métier très technique) et d’essayer de s’améliorer là-dessus. Peut-être qu’il existe encore des bugs gênants par exemple, qui nuisent à l’expérience.
L’estimation du temps de réalisation a donné des réponses avec une grande variabilité en fonction de l’expertise du répondant : dans le questionnaire avant refonte, les réponses allaient de 1 à 20 minutes pour un CERFA basique et de 2 à 30 min pour un CERFA complexe. Il y avait alors un risque important d’avoir une population différente répondant au 2e questionnaire (plus d’experts, ou plus de novices) et que la comparaison n’ait pas de sens. Pour contrôler ce biais, j’ai demandé aux techniciens répondants au 2e questionnaire d’estimer également le temps qu’ils passaient dans la version Excel. Malgré la grande variabilité individuelle, la moyenne restait la même entre les 2 groupes sur ces questions là, j’ai donc pu comparer sereinement.
Les résultats montrent que le temps de réalisation d’un CERFA basique passe en moyenne de plus de 9 minutes à 3 minutes dans la nouvelle version, et celui d’un CERFA complexe de plus de 12 à moins de 6 minutes. En gros, on a divisé par deux à trois le temps de réalisation. Le temps d’ouverture (du PC et du fichier Excel ou de l’application mobile) a quant à lui été divisé par 16, passant de près de 15 minutes à moins d’une minute.
Rapporté à l’activité de l’entreprise, cela représente plus de 1100h ou 160j de travail gagnés sur un an, liés la création de cerfa, et plus de 640h soit 90j/an supplémentaires liés à la réduction du temps d’ouverture1. Un gain total de 250j par an.
On arrive maintenant aux impacts humains.
Le graphique suivant représente le moment où les techniciens font leur cerfa, dans la majorité des cas : pendant l’intervention, après l’intervention mais sur du temps facturé au client, sur du temps de travail non facturé au client ou sur du temps perso (soir, week-end). Seuls 19 % des répondants remplissaient leurs CERFAs pendant l’intervention dans la version Excel, et ce taux est passé à plus de 50 % dans la version mobile. On aurait pu espérer encore mieux, mais la bonne nouvelle c’est que l’autre moitié des répondants rempli ses CERFAs juste après l’intervention, sur du temps facturé au client. Le nombre de personnes faisant leurs CERFAs majoritairement sur du temps de travail non facturé aux clients a été divisé par 7, passant de 29 à 4 %. Et last but not least, le taux de répondants faisant majoritairement ses CERFAs sur du temps perso est passé de 19 % à 0 %.
Enfin, l’impact sur la qualité de vie au travail a montré des résultats très positifs pour la majorité des répondants sur tous les axes. Un seul répondant a jugé que la modification avait eu un impact « Un peu négatif » sur 3 axes (niveau de stress quotidien, intéractions avec les clients et qualité du CERFA), tous les autres ont jugé que l’application mobile avait eu un impact soit positif soit nul sur tous les axes. Sans surprise, l’impact le plus fort avec 71 % de réponses « Très positif » et 25 % de réponses « Positif » est celui du sentiment d’efficacité, qui contribue, selon moi, au bien-être au travail. Juste en-dessous, on trouve la qualité du CERFA, qui n’est pas directement une évaluation du bien-être mais qu’on peut supposer fortement liée au sentiment de faire du bon boulot et donc à l’estime de soi.
L’équilibre vie pro / vie perso et le niveau de stress sont deux axes dont les réponses sont assez tranchées : impact très positif pour près de la moitié des répondants, impact positif pour 14 et 11 % respectivement, et impact nul pour 39 %. On peut supposer que les réponses dépendent beaucoup des individus et de leurs niveau d’expertise : un impact très positif a probablement eu lieu pour ceux qui avaient pour habitude de faire leur cerfa sur leur temps perso, et pour ceux que la complexité du fichier Excel ou le fait de devoir ramener du travail à la maison rendait anxieux. En revanche, l’impact est sans doute nul pour les techniciens plus expérimentés qui s’en sortaient avec le fichier Excel et arrivaient à remplir leur Cerfa pendant leur journée de travail.
Enfin, le questionnaire a montré également un impact positif ou très positif pour 72 % des répondants sur les interactions avec les collègues et avec les clients. C’est une très bonne surprise dans la mesure où j’avais au contraire identifié une crainte des techniciens d’être mal vus par leur client du fait d’avoir un téléphone dans la main (« Qu’est ce qu’il fait sur son téléphone au lieu de bosser ! »), et un risque de réduction des interactions entre collègues lié au fait que tout passerait par l’appli (« plus besoin de se parler »).
Conclusion
Pour résumer, cette étude m’a permi de :
- mesurer la qualité de l’expérience utilisateur à travers différents axes et identifier ceux sur lesquels il pourrait être pertinent de mettre encore des efforts ;
- estimer le risque d’erreur et l’impact du travail de l’équipe sur celui-ci ;
- estimer le temps gagné par cette « refonte », au niveau individuel et au niveau de l’entreprise, ce qui peut se traduire en gain économique ;
- valider l’atteinte de l’objectif qui était de déplacer le replissage des CERFAs du soir vers le moment de l’intervention ;
- démontrer l’impact d’une telle transformation numérique sur le bien-être des individus en termes de niveau de stress, sentiment d’efficacité, estime de soi, relations interpersonnelles, équilibre vie pro/vie perso.
En tant que designer, c’est ce genre de projet qui me rappelle pourquoi je fais ce métier. Oui, l’UX peut améliorer la productivité et réduire les coûts — et c’est important. Mais ce que je retiens surtout ici, c’est l’impact concret sur la qualité de vie des personnes sur le terrain. Rendre un outil plus simple, plus rapide, plus fiable a des impacts concrêts sur la vie des gens, surtout si cet outil est utilisé fréquemment. Ce n’est pas juste une question d’interface, c’est une façon de rendre le quotidien un peu moins pénible, un peu plus fluide, et c’est un facteur d’émancipation des individus. Et c’est peut-être un détait pour vous, mais pour moi ça veut dire beaucoup. Lalala Lalala, lalala, lalalaaaa !
Références :
SUS : Gronier, G. & Baudet, A. (2021). Psychometric evaluation of the F-SUS: Creation and validation of the French version of the System Usability Scale. International Journal of Human-Computer Interaction
UEQ : Laugwitz, B., Schrepp, M. & Held, T. (2008). Construction and evaluation of a user experience questionnaire. In: Holzinger, A. (Ed.): USAB 2008, LNCS 5298, pp. 63-76.
1 Calculé sur la base du nombre de CERFAs réalisés en 2023, de journées de 7h, de 229j de travail par an et d’une session d’ouverture par jour