Remote usability - sig nej tak!

Overblik: Nej tak til remote usability – kort fortalt

Umodererede usability-tests, hvor brugerne er rekrutteret via et online-panel, og hvor du blot ser video-klip af brugerne, har alvorlige ulemper:

• Empati er svær at opbygge uden fysisk at møde brugerne.
• Deltagerne i remote usability har atypisk gode it-kompetencer.
• Moderering under testen er sjældent muligt.
• Rekrutteringen til en remote usability-test er upræcis.
• Kropssproget hos brugerne kan ikke iagttages under testen.

Tilmeld dig Copenux' nyhedsbrev, og få artikler som denne pr. e-mail hver måned.

Empati er svær at opbygge uden fysisk at møde brugerne

Usability handler ikke kun om data, men også om at opbygge empati og intuitiv forståelse af brugerne. Uden det fysiske møde med brugerne er det sværere at opbygge den sympati og det engagement, der skal til for at følge effektivt op på en usability-test.

Jared M. Spool fra User Interface Engineering har undersøgt, hvad der får nogle webteams til at skabe fantastiske brugeroplevelser og andre til at fejle: De teams, hvor redaktører, designere og chefer ser deres brugere anvende deres website i mindst 2 timer hver 6. uge, har succes. At se resultater af usability-tests på video har ikke samme effekt, fastslår Jared Spool i artiklen Fast Path to a Great UX – Increased Exposure Hours (2011):

"Each team member has to be exposed directly to the users themselves. Teams that have dedicated user research professionals, who watch the users, then in turn, report the results through documents or videos, don’t deliver the same benefits. It’s from the direct exposure to the users that we see the improvements in the design."

Gov.uk, der formentlig er Europas mest ambitiøse webprojekt, har indført som princip, at alle, der er involveret i websitet, skal eksponeres for dets brugere i mindst 2 timer hver 6. uge.

Leisa Reichelt fra Gov.uk begrunder det i artiklen We need to talk about user needs (2015) med, at vi kun kan lære at tænke som vores brugere, hvis vi møder dem jævnligt:

"You are not your user and you cannot think like a user unless you're meeting users regularly."

---

Deltagerne i remote usability har atypisk gode it-kompetencer

It-svage brugere melder sig typisk ikke til brugerpaneler hos remote usability-tjenester. Det betyder, at testpersonerne i en remote usability-test i udgangspunktet er atypisk kompetente i forhold til at bruge websites. Det er folk, der kan få lyd og video til at fungere på deres computere, og som ofte har flere browsere installeret osv. Vi har endda kendskab til professionelle multimediedesignere, cand.it.er og webredaktører, der stiller sig til rådighed som testpersoner for remote-tests.

Panel-deltagere, der gennemfører mange tests, bliver efterhånden trænede i at bruge en langt bredere vifte af websites, end den typiske webbruger gør.

Overkompetente testpersoner betyder, at resultaterne af usability-testen bliver utroværdige. Væsentlige brugervenlighedsproblemer bliver ikke identificeret. Brugere, der sidder ved en computer hver dag, oplever ikke de samme problemer som brugere, der ikke bruger computere så ofte (lastbilschauffører, håndværkere, osv.), gør.

Leisa Reichelt fra Gov.uk fortalte i det britiske magasin Net (nr. 263, 2015, s. 35), at deres erfaring er, at fx dropdown-menuer ikke giver nogen problemer for it-vante brugere, men at de medfører, at it-svage brugere må give op:

"'Because we do research with a wide audience, we discovered you don't have to go far down the digital literacy scale before using a drow-down becomes really difficult' [...]. Research revealed that drop-down menus can actually stop people from being able to do things that they'd otherwise be able to achieve without problem."

---

Moderering under testen er sjældent muligt

Remote usability findes i 2 varianter: Modereret og umodereret. De fleste remote usability-tjenester giver ikke mulighed for moderering – altså at tale med brugerne undervejs. Men det er netop de opfølgende spørgsmål, der gør, at man ikke bare ser, at der er et problem i brugergrænsefladen, men også forstår, hvorfor det er et problem.

Spørgsmål som "Hvor tror du, linket fører hen?", "Hvad er det, du leder efter?" og "Kan du forklare mig, hvad der fik dig til at vælge dén knap?" gør det muligt at forstå brugernes ræsonnementer. Uden mulighed for at moderere og stille opfølgende spørgsmål til brugerne får man ikke altid de informationer, man skal bruge for at kunne løse de identificerede brugervenlighedsproblemer.

Steve Krug skriver i bogen Rocket Surgery Made Easy (2010, s. 78), at opfølgende spørgsmål ("probing") er vejen til at forstå baggrunden for et brugervenlighedsproblem:

"While the participant is doing the tasks, you'll inevitably notice things that you'd like to know more about. [...] That's why you always want to leave some time at the end to go back and probe. It's your chance to make sure you understand what happened and to try to figure out – with the participant's help – why it happened."

Joe Dumas og Beth Loring skriver i bogen Moderating Usability Tests (2008, s. 73-74), at modereringen er nøglen til indsigt i et systems styrker og svagheder:

"A probe is an intervention by a moderator that asks participants for additional information or clarification. Whenever one of the objectives of a test is to gather diagnostic information about the strengths and weaknesses of a product, carefully worded probes are one of the keys to both uncovering and gaining insight into issues."

---

Rekrutteringen til en remote usability-test er upræcis

Profilen på de brugere, der indgår i en usability-test, er afgørende for resultaternes relevans. Men hvis man rekrutterer sine brugere via de online-paneler, der er knyttet til remote usability-tjenester, er det ofte kun muligt at udvælge testpersoner efter overfladiske kriterier som køn, alder og geografi. Det, man har brug for, er ofte meget mere specifikt – fx forældre til børn i institutionsalderen, efteruddannelsessøgende sygeplejersker, friluftsinteresserede unge, dansklærere, der anvender digitalt undervisningsmateriale ...

"Specificerede brugere" er faktisk en del af selve definitionen af usability i ISO 9241-11 (1998, stk. 3.1), der fastslår, at brugervenlighed er, i hvor høj grad et produkt kan bruges af en præcist defineret brugergruppe:

"[Usability is the] Extent to which a product can be used by specified users to achieve specified goals with effectiveness, efficiency and satisfaction in a specified context of use."

ISO 9241-11 (1998, stk. 5.3.1) angiver brugernes viden, kompetencer, erfaring og uddannelse som eksempler på detaljerede kriterier for rekruttering af relevante testpersoner:

"Relevant characteristics of the users need to be described. These can include knowledge, skill, experience, education, training, physical attributes, and motor and sensory capabilities."

David Travis konkluderer i artiklen Writing the perfect participant screener (2008), at brugerundersøgelser med brugere, der ikke er repræsentative, ganske enkelt er spild af tid og penge:

"User research with unrepresentative users is a waste of time and money. It makes no sense to cut corners."

---

Kropssprog hos brugerne kan ikke iagttages under testen

Kommunikation er som bekendt ikke udelukkende verbal. Kropssproget er en vigtig del af den samlede kommunikation. Det gælder også i usability-tests. Når en bruger, der ellers har siddet tilbagelænet under en test, pludselig læner sig helt frem mod skærmen, betyder det, at han oplever noget som særligt bemærkelsesværdigt eller overraskende. Når en bruger har rynker i panden, mens hun læser en tekst, antyder det, at hun synes, indholdet er svært at forstå.

Kropslige signaler bliver sjældent afrapporteret, men de hjælper testleder og observatører med at forstå og vægte både positive og negative fund under en test. Bruger man remote usability, går man helt glip af muligheden for at kunne analysere brugernes kropssprog.

Katherine Hill og Robert Zander skriver i artiklen Rethinking UX Research: Non-Verbal Clues (2016), at de kropslige signaler ofte er mere sigende end brugernes udtalelser under en usability-test. (Brugernes udtalelser er nogle gange udtryk for efterrationaliseringer):

"More often than not, the movement of the user's cursor is not the only movement to track. Take a look at their posturing, their gestures as they attempt to explain their reactions to the interface and their facial expressions while interacting with the prototype. These non verbal indicators of posture, gesture, and expression will often provide more insight than their stumbled articulation of their experience with the tool or application."

Tilmeld dig Copenux' nyhedsbrev, og få artikler som denne pr. e-mail hver måned.

Konklusion

Remote usability indebærer en risiko for resultater, der ikke er valide, fordi testpersonerne i den slags tests er udvalgt efter vage kriterier, og fordi deltagerne i online-paneler pr. definition er atypisk it-stærke.

Analysen af de iagttagelser, der bliver gjort under en remote usability-test, kan være mangelfuld, fordi man ikke har haft mulighed for at stille opfølgende spørgsmål til brugerne undervejs, og fordi man ikke har kunnet iagttage deres kropssprog.

Engagementet i at løse usability-problemerne efter testen er mindre, når webteamet bare har set nogle museklik på video – frem for rent faktisk at have mødt deres brugere, givet dem hånd, tilbudt dem kaffe og talt med dem.

Brugervenlighed er alt for vigtigt til, at man kan forlade sig på ikke-optimale metoder som remote usability. Hvis brugerne ikke kan gennemføre deres ærinder på et website, er alt andet ligegyldigt. Teknikken kan bruges som et supplement til usability-tests, eller når man tester meget generelle forhold på et website – men ikke som en metode til at sikre brugervenligheden. Få en grundig usability-test i dit næste projekt:

• Brug en stringent usability-metode.
• Rekruttér de helt rigtige testpersoner.
• Analysér resultaterne grundigt.
• Sørg for selv at være med under usability-testen.

... Og sig nej tak til remote usability!

 

Publiceret: 01.04.2016. Opdateret: 04.09.2016.