Testeum.com – Application crowdtesting platform

Étude de cas – Technopole de la Réunion

Bastien SERAFIN — Tue, 10 Sep 2024 22:27:34 +0000

Tester un module web complexe

Téléchargez le cas pratique Technopole de la Réunion

La Technopole de la Réunion accompagne les porteurs de projets innovants et aide à la création d’entreprises, par le biais de son Incubateur. Elle propose, via son site web, différents services et informations, ainsi qu’une cartographie des acteurs de l’innovation à la Réunion.

La Technopole de la Réunion : carrefour de l’innovation

La Technopole de la Réunion, est une organisation dédiée à l’innovation et au développement économique de l’île. Elle soutient les start-ups et entreprises innovantes à travers des services d’incubation, d’accompagnement personnalisé, et de formation. En favorisant les synergies entre entrepreneurs, chercheurs, et investisseurs, elle stimule l’écosystème local dans des secteurs stratégiques tels que les technologies de l’information, les énergies renouvelables, et la biotechnologie, contribuant ainsi à la croissance économique et à l’innovation régionale.

Les enjeux de la Technopole

Le module « Mapping de l’Innovation » de la Technopole de La Réunion vise à identifier et cartographier les acteurs clés de l’écosystème d’innovation sur l’île. Les enjeux de ce module sont multiples : il permet de mieux comprendre les dynamiques locales d’innovation, de favoriser les collaborations entre les différents acteurs, et d’identifier les opportunités de développement. Le grand nombre de liens disponibles, ainsi que le fait que la version dynamique du mapping soit proposée sur différents terminaux rendent la compatibilité du module difficile à garantir.

Solution Testeum

Afin de permettre à la Technopole de la Réunion d’avoir une vision globale de l’implémentation du module du mapping, Testeum a proposé deux campagnes clé en main auprès des utilisateurs francophones de la communauté, une campagne sur ordinateur fixe, et une autre sur smartphones.

Les objectifs de test ont été conçus et implémenté directement pour le compte de la technopole, et les campagnes lancées immédiatement après. Après environ 24 heures, les résultats étaient disponibles, puis compilés dans une synthèse permettant de prioriser les corrections.

Details:

Audience: 20 testeurs francophones, et utilisateurs de PC fixes, ou terminaux mobiles.

Conditions: Pas de condition particulière.

Les alternatives au service de Testeum sont :

Les développeurs : pour tester l’application.

Les acteurs présentés : pour donner un retour des informations qui les concernent.

Valeur ajoutée pour le projet :

Un regard extérieur des testeurs : des retours de vrais utilisateurs, en particulier sur le contenu.

Les remarques des testeurs en temp réel, qui permettent de challenger l’interface et l’UX.

Plus grande confiance dans l’application à la suite des retours utilisateurs.

Une approche exhaustive : sur l’ensemble des contenus et parcours, ainsi que sur les terminaux utilisés

Les indicateurs projet :

Prestation :

Test clé en main.

Inclus :

2 heures de gestion de projet
2 campagnes de test de 30 minutes réalisées par 10 testeurs chacune.

Durée :

36 heures au total avec les deux campagnes soumises en même temps.

Résultats:

58 rapports d’anomalie sur l’ensemble des 2 campagnes.

« Une belle découverte entre nos deux entreprises, une équipe TESTEUM totalement impliquée et concernée par notre mission, je ne peux que porter un éloge sincère à vos travaux. Encore merci pour cette première collaboration A bientôt ! »

Laurent GABORIAU Directeur de la Technopole

L’article Étude de cas – Technopole de la Réunion est apparu en premier sur Testeum.com - Application crowdtesting platform.

Comment intégrer le crowdtesting à sa stratégie qualité ?

Bastien SERAFIN — Mon, 01 Jul 2024 22:20:42 +0000

Testeum est une plateforme de crowdtesting, une pratique présentant de forts atouts directs :

Mais aussi quelques atouts indirects qui viennent comme une cerise sur le gâteau. Pour n’en citer qu’un : l’acquisition possible de nouveaux utilisateurs connaissant parfaitement vos services !

Néanmoins, une question demeure et empêche certaines organisations de sauter le pas : comment ça se passe concrètement ? Comment intégrer le crowdtesting à son organisation, à sa démarche qualité ?

Comment le crowdtesting fonctionne-t-il ?

Très simplement, on a d’un côté une organisation et son site web (ou application mobile), et de l’autre côté des internautes curieux et souhaitant un complément de revenu. Le crowdtesting consiste à mettre en relation, de manière pertinente et organisée, ces deux groupes. Une plateforme de crowdtesting est au cœur de cette mise en relation. Elle va permettre aux organisations de diffuser leurs tests, et aux testeurs de fournir leurs retours : tests réussis, tests en échec, anomalies trouvées…

Sur Testeum par exemple, des tableaux de bord sont mis à disposition et se mettent à jour en temps réel au fur et à mesure que les tests sont déroulés par les crowdtesteurs.

Quelle plateforme de crowdtesting choisir ?

Il est vrai que cette question va considérablement impacter votre aventure crowdtesting ! Il existe à ce jour de nombreuses plateformes, chacune proposant ses particularités et sa valeur ajoutée. Bien évidemment, Testeum ne peut pas être juge et parti. Mais promis, c’est la seule question de cet article qui n’aura pas de réponse claire !

Qu’est-ce que ça permet de tester ?

Les offres varient, mais dans la plupart des cas, les tests proposés sont des tests fonctionnels. Certains sites proposent du test complètement libre, d’autres permettent de guider les crowdtesteurs dans leur recherche d’anomalies en définissant des scénarios de test.

Quand déployer des tests en crowdtesting ?

Quand vous avez déjà une confiance relativement bonne dans la qualité de votre site ou de votre application, le crowdtesting permet de trouver les « loups » qui vous auraient échappés, et/ou que vous n’auriez pas pu trouver en interne. Cela vous permet en outre d’améliorer votre stratégie de test en interne, car ce qui est découvert pendant la phase de crowdtesting peut venir enrichir vos tests de régression.

Le crowdtesting peut également être déployé plus en amont, mais attention à tout de même assurer une qualité suffisante : ce serait trop bête de recevoir des rapports de bugs que vous auriez pu voir vous-mêmes très facilement !

Comment choisir les scénarios à faire tester ?

Évidemment, les premiers scénarios que vous devrez choisir sont les scénarios critiques : « Si cette fonctionnalité ne marche pas, on est dans la m**** ! »

Les tests de bout-en-bout sont d’excellents candidats au crowdtesting. S’inscrire sur tel site, effectuer telle et telle action, vérifier que telle ou telle notification est envoyée par mail, que telle information est récupérée à la connexion suivante, effectuer un paiement et recevoir un reçu, etc.

Pensez aussi à ce qui n’est pas, ou difficilement automatisable.

Comment rédiger ses tests pour le crowdtesting ?

Premier mot d’ordre : la pédagogie

Il faut garder à l’esprit que les crowdtesteurs qui vont accéder à votre site ou votre application ne connaissent pas forcément votre domaine métier. Attention donc à expliciter le vocabulaire spécifique.

Si votre site est un site grand public, par exemple une boutique en ligne, les risques d’incompréhension sont certes modérés, mais attention tout de même au jargon web ! Par exemple, le terme « modale » est assez peu connu du grand public, et on pourrait lui préférer le terme « popup » (même si ce n’est pas la même chose) pour s’assurer que tout le monde comprend. De même, des périphrases seront préférées à « fil d’Ariane » (ou pire, « breadcrumb »), « footer », « widget »…

Deuxième mot d’ordre : l’indépendance des tests

Cette bonne pratique est valable aussi bien pour le crowdtesting que dans d’autres contextes de test.

Chaque cas de test doit pouvoir être joué dans n’importe quel ordre, sans que cela influe sur les autres tests. Par exemple, si vous avez un test « Création d’un utilisateur ayant pour nom Boniface », n’ayez surtout pas un autre test « Suppression de l’utilisateur Boniface ». Sinon, gare à l’effet boule de neige si par hasard le premier test de la série échoue !

Jouer les tests dans n’importe quel ordre n’est pas un vain exercice de style. C’est aussi interagir avec l’applicatif d’une manière qui se rapproche davantage de la réalité ; en production, les utilisateurs suivent leur propre chemin dans l’ordre qu’ils souhaitent, et qui n’est pas forcément celui qu’on avait imaginé.

Gardez aussi à l’esprit qu’un même cas de test pourrait être joué par plusieurs testeurs différents. Attention donc aux contraintes liées :

aux doublons (plusieurs utilisateurs essaient de créer « Boniface » et reçoivent un message d’erreur « Cet utilisateur existe déjà »)
aux accès concurrents (sur certains sites, il n’est possible d’avoir qu’une session active par utilisateur, avec un système de déconnexion automatique).

Le crowdtesting est-il pertinent pour tester des services B2B ?

Bien sûr ! Les crowdtesteurs sont là pour réaliser des scénarios de tests, et si ceux-ci sont suffisamment précis, rien n’empêche de tester des sites ou des applications B2B.

Obtenir un retour provenant d’utilisateurs hors de votre cible marketing peut être très intéressant : par exemple, cela pourrait vous faire prendre conscience de certains problèmes que vous ne rencontrez pas encore en production, mais qui pourraient arriver par la suite si vous vous ouvrez à d’autres publics ou zones géographiques.

Nous ne trouvons plus de bugs en interne, que peut nous apporter le crowdtesting ?

Vous avez testé au mieux, dans un temps limité, avec des moyens limités, et certainement quelques biais, car on en a tous ! Le crowdtesting permet de s’affranchir de ces limites matérielles et intellectuelles : votre service sera testé sur une panoplie de nouvelles machines de toutes les marques, de toutes les tailles et de toutes les années, par des personnes de tous horizons.

Les bugs trouvés lors de campagnes de crowdtesting sont donc aussi variés qu’imprévisibles…

En voici un exemple croustillant. Une de nos campagnes de crowdtesting a permis de découvrir que sur un certain site, un certain bouton était cliquable à la souris, au trackpad… mais pas au « tap-to-click » ! Personne n’avait trouvé ce bug en interne, pourtant la fonctionnalité était présente depuis quelques semaines et remarquablement stable. Ce fameux bouton était-il le bouton « Payer ma commande » ? L’histoire ne le dit pas… mais imaginez !

Un article signé par

Zoé THIVET

L’article Comment intégrer le crowdtesting à sa stratégie qualité ? est apparu en premier sur Testeum.com - Application crowdtesting platform.

Étude de cas – Station N

Bastien SERAFIN — Thu, 22 Feb 2024 03:53:29 +0000

Tester une application web importante

Téléchargez le cas pratique Station N

La Station N est le lieu emblématique de la transformation digitale, de la Tech et de l’innovation de la Nouvelle-Calédonie, et administré par le Gouvernement de Nouvelle-Calédonie. Le tout nouveau site Web de la Station N, présente l’agenda des événements, les partenaires et services disponibles dans le lieu, et propose également la réservation en ligne des ressources disponibles.

Station N : de l'émergence de startups et de projets innovants en Nouvelle - Calédonie

La Station N, est le lieu emblématiqueNouvelle-Calédonie:fédérer l’écosystème de laTech, être le point focal de l’animation en matière de tech et d’innovation, favoriser l’émergence de projets innovants, ou encore devenir la vitrine de laTech et des compétences locales au niveau régional sont autant d’objectifs fixés à la Station N, par laDirection du Numérique et de la Modernisation (DINUM).

Les enjeux de la DINUM pour le site Web de la Station N.

Le nouveau site Web de la Station N a pour ambition de rendre compte de ses missions, de présenter l’actualité de l’écosystème et des partenaires de la Station N. En outre, le siteWeb propose un système de réservation des ressources de la Station N aux membres possédant un compte. L’objectif, enfin est que ce site soit attractif pour le public visé.

Solution Testeum

Les parties prenantes du projet étaient l’équipe de la DINUM, leur prestataire en charge du développement, et Testeum, qui est intervenu en complément des tests effectués par l‘équipe de développement. Nous avons fourni une offre complète de test sur les supports possibles, en contact avec le public cible, et avec des préconisations d’améliorations, clé en main.

La plateforme permet de recueillir l’avis des internautes locaux, tout en les laissant parcourir les différents parcours proposés.

Details:

Audience: 10 testeurs en Nouvelle-Calédonie utilisateurs de PC fixes ou terminaux mobiles.

Conditions: Les testeurs devaient valider deux aspects : répondre et poster une annonce.

Les alternatives au service de Testeum sont :

en interne : tester sur la base des cas d’usage identifiés.

Par le prestataire : renforcer les tests avec le prestataire en charge du développement.

Valeur ajoutée pour le projet :

Les anomalies trouvées rapidement et efficacement : énormément de temps a été gagné au niveau du projet.

Les remarques des testeurs en temp réel, qui permettent de challenger l’interface et l’UX.

Un plus grand attrait de l’application web vis-à-vis des utilisateurs.

Les indicateurs projet :

Coût :

750 € pour du test clé en main.

Inclus :

3 heures de gestion de projet,
2 campagnes de test de 40 minutes réalisées par 10 testeurs.

Durée :

48 heures au total avec les 2 campagnes soumises en même temps.

Résultats:

77 rapports d’anomalies, dont 31 suggestions sur l’UI ou l’UX de l’application.

L’article Étude de cas – Station N est apparu en premier sur Testeum.com - Application crowdtesting platform.

Étude de cas – Shareflat

Bastien SERAFIN — Thu, 22 Feb 2024 03:35:26 +0000

Améliorer l’expérience par des tests utilisateurs

Téléchargez le cas pratique Shareflat

Shareflat est une startup française qui met à disposition des étudiants d’Europeoccidentale une petite plateforme publicitaire. Cette plateforme crée des opportunitésuniques de location d’appartementspour les étudiants souhaitant s’installer pour unedurée moyenne. Shareflat a utilisé les tests utilisateurs pour fluidifier les deux aspectsdu parcours utilisateurs sur la plateforme

Shareflat : la plateforme innovante de sous - location

Shareflat, a été fondée en France par Mathis et Tom. Ils sont tous deux étudiants et ont rencontré quelques difficultés pour trouver une location d’appartement lorsqu’ils ont quitté leur école de commerce pendant quelques mois dans le cadre d’un programme d’échange étudiant. Ils ont eu l’idée de diffuser de petites annonces de sous-location d’appartements, parfaites pour les étudiants qui changent de campus pour quelques mois et qui ne souhaitent pas mettre fin à leur location d’appartement.

Les enjeux de Shareflat

Quelques mois après la mise en ligne de la plateforme, Shareflat a bénéficié d’excellentes critiques dans les médias, mais même avec des pics d’affluence, les fondateurs ont remarqué que la rétention des utilisateurs était faible. Ils soupçonnaient l’existence de certains points de friction dans les parcours des utilisateurs et souhaitaient les identifier.

Shareflat a également un défi de notoriété : ce service de niche n’étant pas encore réputé sur le marché, les fondateurs ont donc voulu tester le contenu du site Web pour vérifier la clarté de la proposition de valeur. Enfin, quelques nouveautés avaient été publiées juste avant les campagnes de tests, et Shareflat a souhaité vérifier leur implémentation

Solution Testeum

Les parties prenantes du projet étaient les fondateurs de Shareflat, qui développent et maintiennent eux-mêmes la plateforme, et Testeum. Nous avons fourni à Shareflat une offre clé en main comprenant la rédaction des tests, la gestion de la campagne de tests et les rapports de tests finalisés livrés directement.

Après l’édition des cas de tests et le lancement de la campagne, la plateforme informe simplement les testeurs correspondant aux critères Shareflat, avec des profils triés sur le volet. Ainsi, très peu de ressources sont engagées pour exécuter des tests avec Testeum, les rapports de tests sont directement partagés avec les fondateurs, et la structure des rapports de tests permet également de vérifier certaines hypothèses sur l’UI/UX et la clarté du contenu.

Details :

Audience : 10 testeurs en Nouvelle-Calédonie utilisateurs de PC fixes ou terminaux mobiles.

Conditions : Les testeurs devaient valider deux aspects : répondre et poster une annonce.

Les alternatives au service de Testeum sont :

en interne : tester sur la base des cas d’usage identifiés.

Par le prestataire : renforcer les tests avec le prestataire en charge du développement.

Valeur ajoutée pour le projet :

Un regard extérieur des testeurs : des retours devrais utilisateurs, en particulier sur le contenu.

Les remarques des testeurs en temp réel, qui permettent de challenger l’interface et l’UX.

Plus grande confiance dans l’application à la suite des retours utilisateurs.

Les indicateurs projet :

Coût :

350 € pour du test clé en main.

Inclus :

1 heure de gestion de projet,
2 campagnes de test de 30 minutes réalisées par 10 testeurs.

Durée :

8 jours au total avec les 2 campagnes soumises en même temps.

Résultats :

33 rapports d’anomalies, dont 14 suggestions sur l’UI ou l’UX de l’application.

L’article Étude de cas – Shareflat est apparu en premier sur Testeum.com - Application crowdtesting platform.

Crowdtesting

Bastien SERAFIN — Thu, 22 Feb 2024 03:08:33 +0000

Trouvons un autre nom au crowdtesting

Les noms qu’on donne aux choses n’ont rien d’anodin; ils modèlent notre façon de les appréhender et influencent nos actions. Il est donc intéressant, quand on se lance dans une activité, de s’interroger sur le nom même de cette activité.

Un terme à franciser ?

Il y a quelques mois, sur le blog Hightest, il était question de la désignation française de l’activité de crowdtesting.

Faudrait-il parler de test participatif, simple et clair, mais en deux mots ? De massifouinage, ludique mais peut-être un peu obscur ? D’immensitest ou de diversitest, pour mettre en avant les apports spécifiques de cette pratique ? Ou encore, la horde de crowdtesteurs pourrait-elle être appelée validescouade?

L’essentiel étant de se comprendre, et l’anglais étant globalement maîtrisé à un niveau au moins basique au sein des DSI, il n’est finalement peut-être pas urgent que ça d’avoir un terme francophone pour désigner cette pratique.

Pendant que les encyclopédies et la Délégation Générale à la langue française et aux langues de France se creusent la tête sur cette question (si seulement), nous vous proposons cependant aujourd’hui de constater un autre problème du terme «crowdtesting».

Un terme trop orienté ?

«Crowdtesting» signifie littéralement «test par la foule». Il adopte le point de vue du créateur d’application, qui recherche un maximum de retours d’utilisateurs, idéalement une «armée» de testeurs. Ce terme a tout pour le faire rêver ; on imagine tout de suite les cas de test en train de slammer sur une foule de testeurs du monde entier, et c’est en effet ce qui est proposé.

Alors où est le problème ?

Ce qui est dommage avec le mot «crowdtesting», c’est qu’il ne fait pas forcément rêver… les crowdtesteurs. Il n’est pas forcément valorisant de se dire qu’on n’est qu’un individu dans une foule, surtout lorsqu’il nous est proposé de fournir un travail. Travaillez-vous mieux en sachant que vous avez une responsabilité unique, ou lorsque vous vous dites que «de toute façon, d’autres personnes vont avoir à faire exactement la même chose» ?

C’est d’ailleurs une idée que l’on retrouve dans la chanson d’Alain Souchon «Foule sentimentale» ; le titre de ce morceau a ceci de saisissant qu’il juxtapose l’impersonnel et l’intime, ce qui nous rabaisse et ce qui nous sublime.

Par ailleurs, l’image de la foule évoque en partie des aspects négatifs, surtout depuis l’arrivée de la pandémie. Pour certaines personnes, elle est synonyme d’anxiété voire d’agoraphobie.

La foule est aussi le lieu où chacun se sent anonyme, pour le meilleur et pour le pire. C’est ainsi le lieu de prédilection des pickpockets et des «frotteurs». Le terme de crowdtesting pourrait-il favoriser des comportements déviants, dits de «passager clandestin» ou (pour continuer à utiliser des anglicismes) de «free-rider» ?

Un crowdtesteur pourrait être tenté de «frauder» en faisant semblant de tester et en remontant des résultats au pif (heureusement, Testeum comprend par design des mécanismes pour réduire à néant ces comportements). Les crowdtesteurs, réels ou potentiels, n’ont donc peut-être pas envie ni intérêt de s’identifier à cette foule. Or, cette population représente tout de même une des deux cibles principales de ce type de plateforme.

Que pourrait-on imaginer à la place ?

L’article Crowdtesting est apparu en premier sur Testeum.com - Application crowdtesting platform.

Les crowdtesters

Bastien SERAFIN — Thu, 22 Feb 2024 02:57:26 +0000

Ces utilisateurs dont vous avez toujours rêvé

Vos produits vous plaisent, c’est un début

«L’essayer, c’est l’adopter».

Vous croyez profondément en vos produits, et les retours de vos clients renforcent ce sentiment. Vous y avez mis le meilleur de vos compétences, ils vous ont fait grandir, il se peut même que vous les utilisiez à titre personnel.

Bref, votre cœur palpite au rythme des commits et des mises en prod.

«L’essayer, c’est l’adopter» ; le problème, c’est qu’essayer prend du temps, et que tout le monde manque de temps. Sauf…

Les crowdtesters : bien plus que des chasseurs de bugs

Le but premier du crowdtesting est de fournir des informations à forte valeur ajoutée sur la qualité des applicatifs. Pour ce faire, une escouade de testeurs se lance dans le déroulement de tests et rapporte des bugs le cas échéant. Est-ce que ça s’arrête là ? Non.

Les crowdtesters sont les utilisateurs dont vous avez toujours rêvé :

Ils forment un groupe hétérogène, chacun arrivant riche de points de vue et d’idées qui lui sont propres.
Ils prennent le temps qu’il faut pour explorer patiemment votre applicatif, ils ne sont pas pressés d’étudier la concurrence.
Ils suivent des parcours que ne suivraient peut-être pas spontanément d’autres utilisateurs.
Ils vous fournissent des retours impartiaux et sincères sur l’expérience vécue sur votre applicatif.

Si seulement tous les utilisateurs étaient comme ça, n’est-ce pas

Avec Testeum, chaque cas de test est joué au moins par 5 testeurs différents. Cela représente donc 5 fois plus d’occasions :

certes, de trouver des bugs. Mais aussi:
de trouver des améliorations en termes d’UX. Les crowdtesters facilitent alors la conversion ou la fidélisation des prochains utilisateurs.
de directement convertir le crowdtester en utilisateur régulier.

Travailler sur un produit, même sur un temps court, crée un sentiment d’implication bien plus fort que simplement visiter un site web. Les crowdtesters ont de bonnes chances de se souvenir de votre produit, d’en parler autour d’eux, et d’atteindre certainement des populations que vous n’aviez peut-être pas ciblées au départ.

Que vous soyez une jeune startup, une PME ou un grand groupe, vous avez forcément à gagner avec cette approche.

Alors, on en parle ?

L’article Les crowdtesters est apparu en premier sur Testeum.com - Application crowdtesting platform.

Crowdtesting et bêta testing

Bastien SERAFIN — Thu, 22 Feb 2024 02:39:04 +0000

Ne confondez plus crowdtesting et bêta-testing

«Le crowdtesting… c’est un peu la même chose que le bêta-testing au fond, non ? C’est un nouveau terme pour désigner une pratique déjà ancienne ? »

Faux !

Premièrement, certes le crowdtesting est plus récent que le bêta-testing, mais c’est tout de même une pratique qui existe depuis déjà une dizaine d’années et a atteint un certain niveau de maturité.

Deuxièmement, chacune de ces deux pratiques a ses codes et ses objectifs. Pour sortir du flou, plongeons-nous dans les définitions !

Une définition du bêta-testing

Dans le glossaire daté de 2015, ISTQB définit le bêta-testing comme suit :

Tests opérationnels par des utilisateurs/clients potentiels et/ou réels sur un site externe non associé aux développeurs, pour déterminer si un composant ou système satisfait ou non les besoins des utilisateurs/clients et s’adaptent aux processus d’entreprise. Le bêta-test est souvent utilisé comme une forme de tests externe d’acceptation de façon à obtenir des informations de retour du marché.

Pourquoi bêta… parce qu’il y a un alpha, évidemment ! Les alpha tests étant définis comme suit dans le même glossaire :

Test opérationnel réel ou simulé par des utilisateurs/clients potentiels ou par une équipe de test indépendante sur le site de développement, mais en dehors de l’organisation de développement. Les tests Alpha sont souvent utilisés comme une forme de tests d’acceptation interne.

NB: toutes les définitions du glossaire de l’ISTQB peuvent être retrouvées dans le Dictionnaire du testeur.

Une définition du crowdtesting

Quant au crowdtesting, il est absent de ce glossaire, en revanche il est possible de trouver des définitions qui ne soient pas issues des plateformes elles-mêmes, et sont donc réputées impartiales.

Dans How Google Tests Software (à découvrir ici), James Whittaker en donne la définition suivante :

Le crowdsourcing […] représente une solution au fait que le nombre des testeurs soit limité, de même que leurs ressources matérielles à leur disposition. Les utilisateurs sont quant à eux très nombreux et possèdent tous les environnements qu’on pourrait avoir envie de tester. Et si une sous-population de ces utilisateurs était d’accord pour nous aider ? Ainsi la foule entre-t-elle en scène : une cohorte d’utilisateurs clés, férus de tests, et qui souhaitent donner un coup de main en échange d’une rémunération raisonnable. Ils n’ont besoin que d’un environnement de pré-production pour exécuter l’application à tester, et d’un mécanisme pour fournir leurs retours et leurs rapports d’anomalies. […]La foule représente non seulement un grand nombre de machines et de configurations, mais aussi un volume important de perspectives différentes. Au lieu d’avoir un testeur qui essaie de deviner comment mille utilisateurs vont se comporter, on a mille utilisateurs qui se comportent comme des testeurs. Quoi de mieux, quand on souhaite connaître le comportement qu’auront les utilisateurs finaux, que de compiler directement les retours d’utilisateurs réels ? On a besoin de changer d’échelle et démultiplier les variations, et ça, la foule le permet. (p. 107, traduction Hightest).

En théorie, des objectifs initiaux différents

En comparant ces deux définitions, on voit bien où se situe la différence d’objectifs.

Les crowdtesteurs sont là pour décupler les capacités de l’équipe de test, alors que les bêta-testeurs sont là pour fournir un retour réaliste sur l’acceptabilité du produit. En résumé, on se situe dans deux niveaux différents de la pyramide des types de test : le bêta-testing concerne les tests métier, alors que le crowdtesting se focalise sur les tests système.

Il est ainsi courant que les crowdtesteurs soient guidés dans leurs tests afin d’assurer la meilleure couverture des tests: des plans de test et des cas de test peuvent leur être fournis.

Inversement, il est courant que l’applicatif à tester soit tout bonnement livré en pâture aux bêta-testeurs, dans l’objectif d’observer leurs comportements dépourvus des biais que pourraient induire des consignes et des documentations.

Historiquement, les populations ne sont pas tout à fait les mêmes non plus. Parmi les crowdtesters, on trouve une proportion de testeurs professionnels généralement supérieure à celle que l’on peut trouver dans un contexte de bêta-testing. Bon nombre d’aspirants-testeurs ou de testeurs débutants choisissent de se lancer dans le crowdtesting pour faire leurs premières armes; on retrouve également des testeurs plus expérimentés souhaitant développer leur culture fonctionnelle ou s’amuser à manipuler de nouveaux produits.

Sur le papier, il y a donc une frontière assez claire entre crowdtesting et bêta-testing. En pratique toutefois, il est vrai qu’il existe des recoupements !

En pratique, un métissage des usages

Arrive-t-il aux bêta-testeurs de remonter des anomalies de même que les testeurs au cours des tests système ? Oui.

Arrive-t-il aux crowdtesteurs de fournir des retours en tant qu’utilisateurs potentiels ? Oui aussi.

Il y a un continuum entre les retours que l’on peut obtenir entre les bêta-testeurs et les crowdtesteurs.

Choisissez donc l’une ou l’autre des ces pratiques en connaissance de cause (quel est votre besoin premier : trouver un maximum d’anomalies ou obtenir un maximum d’avis utilisateurs?) tout en gardant à l’esprit que chacune d’elle pourra vous fournir une partie de ce que l’autre vous offrira.

Bons tests !

L’article Crowdtesting et bêta testing est apparu en premier sur Testeum.com - Application crowdtesting platform.