Les pour et les contre des solutions de tests utilisateurs à distance
Aussi utiles soient-ils, les tests utilisateurs classiques peuvent faire peur. Il faut des installations adaptées, un modérateur qualifié, des participants prêts à se déplacer à une date et une heure précise et, avouons-le, un budget assez substantiel (bien qu’il y ait quelques astuces pour minimiser les coûts). Maintenant, plusieurs solutions en ligne permettent de faire des tests utilisateurs à distance. L’offre est pas mal alléchante. Il vous suffit de construire votre test, l’envoyer par courriel à vos participants et récolter les résultats de l’analyse automatique. Est-ce trop beau pour être vrai ?
Pour vous aider à vous faire une idée, je jouerai l’avocat du diable en vous présentant cinq raisons de choisir les tests utilisateurs à distance et cinq raisons de les éviter…
5 raisons de choisir les tests utilisateurs à distance
Ils sont moins dispendieux que les tests classiques en laboratoire. Généralement, vous payez par projet, par tâche ou par participant. Beaucoup de plateformes sont flexibles et vous offrent de payer seulement pour ce que vous avez besoin. D’autres offrent des abonnements qui sont avantageux pour les entreprises qui font des tests utilisateurs sur une base régulière. Les tests étant réalisés en ligne, il n’y a aucun coût lié à la modération, la prise de notes en temps réel ou les installations.
Ils vous permettent de sauver du temps. Ici, pas besoin de réserver 60 minutes pour chaque participant. Les tests peuvent avoir lieu tous en même temps et pas nécessairement du lundi au vendredi entre 8:00 et 18:00. De plus, la plupart des solutions de tests utilisateurs à distance analysent les résultats de façon automatique pour déterminer les taux de succès et d’échec aux tâches (ex. : trouver l’adresse).
L’analyse des résultats se fait automatiquement. Au-delà de l’économie de temps, l’analyse automatique des résultats réduit au minimum le travail de l’analyste. Avec les tests classiques, l’analyste doit prendre des notes rigoureuses en temps réel ou passer plusieurs heures à écouter les enregistrements de tests pour déterminer les taux de succès et d’échec aux tâches, les parcours des utilisateurs sur le site, etc.
Ils sont plus flexibles. Les tests peuvent être réalisés tous en même temps, n’importe où dans le monde et à n’importe quelle heure. Les participants sont libres de faire les tests où ils veulent au moment qui leur convient le mieux. Vous pourriez donc envoyer votre invitation à participer à un test à des utilisateurs situés au quatre coins de la planète le vendredi après-midi, et revenir le lundi matin avec cinquante tests complétés.
Ils permettent de faire des tests avec plus de participants. Plusieurs tests peuvent être réalisés en même temps, aucun encadrement humain n’est requis et l’analyse est automatique. Plutôt que de vous limiter à une dizaine de participants comme c’est souvent le cas avec les tests classiques, vous pouvez facilement en avoir trente. Vous pourriez même en recruter plusieurs centaines, ce qui serait inconcevable en termes de temps, d’efforts et de coûts dans un processus de tests utilisateurs classiques.
5 raisons d’éviter les tests utilisateurs à distance
Ils ne permettent que très peu ou pas du tout de feedback qualitatif. Lorsque l’on fait des tests utilisateurs classiques, on demande aux participants de penser à voix haute afin de récolter leurs commentaires spontanés. À distance, même si vous demandez aux participants de penser à voix haute, il est peu probable qu’ils le fassent. Le feedback qualitatif se limite donc à quelques questions de sondage après les tâches.
Il est difficile de contrôler le sérieux des participants. Avec les tests à distance, ce sont les participants qui décident quand ils ont terminé une tâche. Chez imarklab, nous utilisons une solution où ils doivent cliquer sur « J’ai réussi » ou « J’abandonne ». La solution évalue ensuite si les succès sont réels en vérifiant si un URL de succès a été atteint, un texte X a été affiché, etc. Certains participants risquent de passer rapidement à travers les tâches sans les faire réellement seulement pour avoir l’incitatif à la participation (ex. : un montant d’argent). Cela vient fausser les données.
Ils ne sont pas adaptés pour les tâches complexes et les prototypes. Lorsqu’un modérateur anime des tests classiques, il peut intervenir pour assister les participants en cas de difficulté lors de tâches complexes. On parle alors de succès ou d’échec « avec assistance » dans l’analyse des résultats. Cette nuance n’est pas possible avec les tests à distance. Le modérateur gère aussi les attentes si un prototype incomplet est testé, notamment au niveau du design graphique. Il veille ainsi à ce que les participants commentent seulement ce qui peut être évalué dans le prototype.
Plusieurs participants auront des problèmes techniques et abandonneront. Après avoir accepté de participer à votre test utilisateur à distance, les participants doivent passer par plusieurs étapes de mise en place. Dans la plupart des cas, ils doivent autoriser l’application de la solution utilisée à accéder à leur webcam et leur micro, télécharger un plug-in et s’assurer d’avoir un navigateur compatible. Si vous recrutez des participants qui n’ont pas l’habitude de ce type de tests en ligne, plusieurs risquent d’avoir des problèmes techniques et d’abandonner avant le début du test.
Une marge d’erreur est à prévoir. D’une part, à cause du manque de sérieux. D’autre part, parce que certains succès seront analysés comme des échecs. Je m’explique. Vous pourriez demander à vos participants de trouver une fonctionnalité X et définir l’URL de celle-ci comme l’objectif à atteindre pour que la tâche soit réussie. Quelques participants pourraient trouver le bouton de la fonctionnalité et cliquer sur « J’ai réussi », mais ce sera un échec s’ils ne cliquent pas sur le bouton pour atteindre l’URL.
***
Les tests utilisateurs à distance peuvent être à prioriser ou à éviter. Tout dépend de votre contexte. Dans tous les cas, la meilleure façon de choisir la formule qui vous convient le mieux est d’évaluer les forces et faiblesse de chacune. Vous voulez profiter des avantages des tests à distance tout en minimisant les désavantages ? Nous pouvons vous aider. Jetez un oeil à notre offre de tests à distance. Pour un exemple concret, référez-vous à notre étude de cas sur la Bibliothèque de HEC Montréal.
Vous avez de la difficulté à définir quels sont vos besoins en matière de recherche utilisateur ? Cet arbre de décision vous aidera à vous orienter !
