Crusader Kings 3 : Tests de la Recherche Utilisateur

Voici la traduction du 35ème carnet de développement de CK3, le prochain jeu de Paradox Development Studio, consacré à la Recherche Utilisateur.


Bonjour tout le monde !

Je m'appelle Hanna et je travaille dans un domaine en pleine expansion du développement de jeux appelé la Recherche Utilisateur (User Research) ! Je suis ici pour vous parler un peu du travail lui-même et aussi de la façon dont moi et mon équipe avons travaillé avec les tests utilisateurs pour Crusader Kings III.

Ah, les tests utilisateurs, j'ai compris - vous êtes le QA/assurance qualité !

Oh, combien de fois j'entends ça ! Mais non, je ne le suis pas. C'est très, très simplifié, c'est un peu comme ça : Lorsque le QA évalue un élément, il en rend compte d'une manière oui/non - Est-ce que ça fonctionne ? Oui/Non, alors voici un rapport de bogue.

Lorsqu'il est demandé à la Recherche Utilisateur d'évaluer une fonctionnalité, nous examinons le jeu du point de vue de l'utilisateur en essayant de tester et de recueillir des commentaires sur des éléments tels que la façon dont les joueurs comprennent le jeu, si certains menus sont déroutants, si les joueurs s'amusent, etc. Cela peut se faire de différentes manières, mais pour Crusader Kings III, nous avons surtout utilisé des tests de jeu où nous avons laissé 2 à 15 joueurs correspondant à un profil spécifique (dans ce cas-ci, des joueurs de stratégie Paradox Development Studio) dans notre laboratoire pour jouer une version inachevée du jeu tout en les regardant et en les enregistrant, puis nous avons apporté des clips vidéo et des commentaires de joueurs à l'équipe de développement.

Woah, cela semble assez abstrait ! Comment pouvez-vous vous assurer que ces choses sont tout à fait correctes et précises ?

Vous avez raison, c'est difficile - Nous le faisons en utilisant beaucoup de méthodes utilisées en sciences sociales pour pouvoir vérifier nos conclusions. La plupart du temps, nous utilisons une combinaison d'observation (c'est-à-dire que nous regardons le joueur jouer et prenons des notes sur ce qu'il dit/fait), d'une ou plusieurs enquêtes, puis d'un entretien. Si nous pouvons voir plusieurs personnes se débattre avec une étape de tutoriel, il y a de fortes chances qu'elles ne soient pas les seules à avoir ce problème, et le fait qu'elles décrivent ce qu'elles ressentent, tant verbalement que par écrit, nous permet d'identifier ce qui ne va pas.

Mais bien sûr, les humains sont compliqués, et il est important de se rappeler que si nous utilisons des méthodes scientifiques, notre travail n'est pas de produire des résultats scientifiques. Notre travail consiste plutôt à donner à nos collègues un aperçu de la manière de mettre les choses au point en leur fournissant une base de discussion et de remaniement.

Et cela concerne les Crusader Kings III parce que... ?

Eh bien, je pense qu'une Recherche Utilisateur est bonne pour tout type de support interactif quand il s'agit d'évaluer les idées et les conceptions mises en œuvre dans le jeu. Crusader Kings III est également un défi intéressant du point de vue de la conception pour l'utilisateur : comment conserver la complexité que les joueurs les plus exigeants souhaitent tout en s'assurant que les nouveaux joueurs puissent découvrir la sensation géniale d'hériter d'un titre parce que votre neveu a eu un "accident" ? Si nous n'écoutons pas ce que les joueurs réels disent et pensent, nous risquons de faire des erreurs et de les découvrir quand il est trop tard pour changer quoi que ce soit.

Assez parlé de la Recherche Utilisateur ou autre, qu'avez-vous fait pour Crusader Kings III ?

Comme vous l'avez probablement vu, nous faisons beaucoup de choses nouvelles dans ce jeu par rapport aux autres titres de Paradox Development Strudio et à Crusader Kings II, ce qui signifie qu'il est bon d'avoir les commentaires des joueurs dès le début pour éviter d'aller de l'avant avec quelque chose qui s'avère être une erreur.

Par exemple, l'une des premières choses que nous avons faites pour Crusader Kings III a été réalisée en interne : l'équipe de développement a réalisé les premiers dessins des personnages et la Recherche Utilisateur les a aidés en envoyant un sondage à tous nos collègues pour recueillir leurs réactions. À l'époque, les personnages ressemblaient à ceci :



Et c'est une bonne chose que nous ayons eu des retours, car le style s'est avéré bien trop caricatural pour la plupart des gens ! Cela a peut-être apporté beaucoup de travail à nos collègues, mais je suis heureux que nous ayons découvert ce problème avant le jour de la sortie...

Tout au long du développement du jeu, nous avons également effectué des tests de jeu bimensuels d'une heure avec 2 à 4 joueurs. Ces tests sont souvent effectués en étroite collaboration avec les concepteurs de l'UX [User Experience, en français dans le texte Expérience Utilisateur] et visent à déterminer si les joueurs sont capables de terminer des actions de base comme se marier, commencer et terminer une guerre, mettre en place un complot et d'autres choses du même genre. Grâce à ces tests, plusieurs modifications ont été apportées à des menus qui se sont avérés difficiles à naviguer pour les joueurs, comme les menus Conseil, Mariage et Construction et les aperçus Siège/Guerre.

Mais ce que je préfère dans mon travail, c'est de voir les gens jouer et expérimenter le jeu pendant des tests plus longs. Pour Crusader Kings III, le test de jeu le plus important a été le moment d'évaluer le tutoriel et les systèmes d'aide en jeu. Pour ce test, nous avons eu 12 participants, dont 6 avec 200-800h de jeu sur CK2 et 6 d'entre eux "débutants", qui ont essayé le tutoriel et ont ensuite joué au jeu pendant 2 heures en utilisant ce qu'ils avaient appris.

Et vous savez quoi ? La plupart d'entre eux se sont très bien débrouillés, ce qui n'est pas vraiment quelque chose que j'ai l'habitude de voir quand il s'agit de débuts sur un jeu Paradox. Les nouveaux joueurs ont adoré le fait que le tutoriel utilise des repères visuels pour les guider dans les menus et que les suggestions les aident à résoudre un problème qui se pose pour de nombreux titres Paradox Development Studio : que diable dois-je faire ensuite ? Les "anciens" joueurs ont trouvé que l'interface utilisateur prenait un certain temps à s'habituer, mais ils ont également trouvé les systèmes de suggestions utiles comme listes de contrôle sur ce qu'il faut faire ensuite.

Mais bien sûr, rien n'est parfait - et grâce aux commentaires des joueurs, nous avons également pu identifier les domaines dans lesquels il fallait travailler davantage, tant pour les nouveaux que pour les anciens joueurs, notamment en ce qui concerne l'interface utilisateur. Mais tout au long des tests que nous avons effectués, j'ai été heureux de voir le jeu passer de l'incompréhensible à l'accessible, tant pour les nouveaux fans de Crusader Kings que pour les anciens.

Alors, si vous faites ces tests, pourquoi les jeux ne sont-ils pas parfaits et étonnants ?

Oh, je me demande la même chose tous les jours... Mais la vérité est que le développement de jeux est compliqué et parfois, il n'y a tout simplement pas de temps, de main d'œuvre ou d'argent pour résoudre les problèmes que nous avons découverts. Nous partageons également nos résultats avec la direction de la communauté et le marketing pour leur donner un aperçu des questions et des préoccupations qu'ils peuvent attendre à la sortie du jeu.

Est-ce que quelque chose a changé à cause de Corona ?

Oh absolument ! Le plus grand changement pour mon équipe de chercheurs est que nous n'avons pas accès à notre magnifique laboratoire au bureau de Stockholm. Le laboratoire est équipé de postes informatiques où vous pouvez préparer l'installation des jeux et la configuration des enregistrements à l'avance. Cela nous facilite grandement la mise en place des études et c'est aussi un bon moyen d'éviter les fuites.
Crusader Kings III a eu la chance d'avoir terminé la plupart des activités de laboratoire que nous avions prévues avant la sortie, mais pour d'autres projets, nous avons fait des études à distance, ce qui signifie que nous avons laissé les joueurs jouer au jeu sur leur propre ordinateur et faire toutes les interviews via des chats vidéo. Alors que nous essayons encore de mettre les choses au point, nous découvrons également de nombreux avantages à cette méthode de travail - le plus important étant que nous pourrions éventuellement faire des tests de jeu avec des gens du monde entier !

Que ferez-vous après la sortie du jeu ?

Pour Crusader Kings III, je commencerai à travailler sur la collecte et le compte-rendu des réactions après la sortie du jeu - ce qui signifie que tout ce que vous écrivez sur Steam ou d'autres pages, je le passerai en revue et j'essaierai de résumer les sujets pour que nous sachions ce qu'il faut améliorer ensuite. Ensuite, il est temps de planifier de nouveaux tests de jeu pour les patchs et les DLCs !

J'espère que vous avez apprécié la lecture d'un domaine moins connu du développement de jeux et que vous attendez avec impatience la sortie prochaine d'un jeu avec lequel j'ai absolument aimé travailler. Je serai en vacances lorsque ce message sera publié, mais je serai heureux de répondre à toutes les questions sur la Recherche Utilisateur lorsque je reviendrai le 1er août. Oh, et soyez gentil avec mon personnage de vanité si vous la rencontrez - elle est très, très faible.



Vous pouvez discuter de ce nouveau jeu sur le forum

Carnet traduit avec l'aide de DeepL