Kræv grundige usability-rapporter

Usability-rapportens indhold – kort fortalt

Afrapporteringen af en usability-test bør ifølge internationale standarder (ISO), usability-organisationers anbefalinger, faglitteratur og praksis i branchen indeholde følgende komponenter:

• Liste med alle identificerede usability-problemer.
• Nøgletal for gennemførlighed, ubesværethed og tilfredshed.
• Vurdering af problemernes alvorsgrad.
• Problemernes frekvens blandt testpersonerne.
• Sandsynlighedsberegning af problemernes udbredelse blandt alle brugere.
• Anbefalinger til løsning af de identificerede usability-problemer.

Læs videre om hver enkelt komponent i usability-rapporter herunder.

Tilmeld dig Copenux' nyhedsbrev, og få artikler som denne pr. e-mail hver måned.

Problemliste

Oversigten over identificerede usability-problemer (og evt. positive fund) er rygraden i enhver usability-rapport. For hvert problem bør der være en kortfattet beskrivelse – evt. ledsaget af skærmbilleder og udsagn fra brugerne.

Statistikeren Jeff Sauro skriver i artiklen 10 Things To Know About Usability Problems (2011), at listen over de problemer, brugerne har mødt, er det vigtigste output fra en usability-test:

"If you collect nothing else in a usability test it should be a list of problems encountered by users."

---

Nøgletal for usability

Kvalitative data fra usability-tests kan ikke stå alene. Når en usability-tester identificerer brugervenlighedsproblemer, bygger det på en analyse. Forskellige usability-testere vil komme frem til forskellige vurderinger af de samme hændelser under en test. Det kaldes evaluator-effekten. Indeholder afrapporteringen kun kvalitative data, er man 100 % afhængig af den enkelte usability-testers analyse og dømmekraft.

Statistikeren Jeff Sauro skriver i artiklen 7 Steps to Conducting Better Qualitative Research (2013), at usability ofte fejlagtigt bliver beskrevet som en kvalitativ metode. Reelt bliver der indsamlet både kvalitative og kvantitative data under usability-tests:

"Usability testing is often characterized as a qualitative activity. Summarizing findings from watching participants in a usability test generates a lot of utterances, actions and images. In reality, usability testing is (or at least should be) a mixed-method approach: both qualitative and quantitative data are collected."

ISO-standarden Guidance on usability (1998), stk. 5.4.1, beskriver 3 målelige parametre for usability:

• Gennemførlighed (effectiveness)
• Ubesværethed (efficiency)
• Tilfredshed (satisfaction)

"It is normally necessary to provide at least one measure for each of effectiveness, efficiency and satisfaction."

Succesrate

'Kongetallet' i usability er succesraten: Procenten af gennemførte opgaver (på tværs af brugere), der under en usability-test er løst korrekt. Succesraten afspejler usability-parameteret gennemførlighed ("effectiveness").

Usability-eksperten Jakob Nielsen forklarer i artiklen Success Rate: The Simplest Usability Metric (2001), hvorfor succesraten er det vigtigste nøgletal: Hvis brugerne ikke kan gennemføre deres ærinder på et website, er alt andet ligegyldigt:

"I like success rates because they are easy to collect and a very telling statistic. After all, if users can't accomplish their target task, all else is irrelevant. User success is the bottom line of usability."

Ubesværethed

Efficiency-parameteret i usability (ubesværethed, nemhed, hurtighed) kan måles på flere måder: fx ved tidtagning, ved at tælle antallet af klik, brugerne foretager, eller ved at angive procenten af opgaver, som brugerne har løst uden omveje og fejl undervejs.

ISO-standarden Guidance on usability (1998), stk. 5.4.3, siger, at efficiency kan måles på mange måder:

"Measures of efficiency relate the level of effectiveness achieved to the expenditure of resources. Relevant resources can include mental or physical efforts, time, materials or financial cost."

Tilfredshedsgrad

Brugerne bør efter hver opgave og/eller efter hele usability-testen spørges om, hvor tilfredse eller utilfredse de er med websitet på en standard-skala (der gør, at man kan sammenligne resultaterne med andre undersøgelser). Man kan fx efter hver opgave stille brugerne spørgsmålet: "Hvor svær eller let synes du, denne opgave var?" og anvende en skala fra 1 til 7 til svarene.

Statistikeren Jeff Sauro skriver i artiklen If You Could Only Ask One Question, Use This One (2010), at det er lige så vigtigt at måle tilfredshed som præstation i en usability-test:

"Performance metrics are important to collect when improving usability but perception matters just as much. Asking a user to respond to a questionnaire immediately after attempting a task provides a simple and reliable way of measuring task-performance satisfaction."

---

Alvorsgrad

Problemerne, der er identificeret under en usability-test, bør have en alvorsgrad angivet. Alvorsgraden angiver, hvor høj prioritet løsningen af problemet bør have. Er problemet fx 'kosmetisk' eller 'kritisk'? Der bør normalt anvendes en anerkendt skala for alvorsgrad.

Jakob Nielsen skriver i artiklen Severity Ratings for Usability Problems (1995), at vurderingen af alvorsgrad bl.a. kan kvalificere en beslutning om, hvorvidt et system er klar til lancering:

"Severity ratings can be used to allocate the most resources to fix the most serious problems and can also provide a rough estimate of the need for additional usability efforts. If the severity ratings indicate that several disastrous usability problems remain in an interface, it will probably be unadvisable to release it. But one might decide to go ahead with the release of a system with several usability problems if they are all judged as being cosmetic in nature."

---

Frekvens

Hvor mange af brugerne oplevede hvert af de identificerede usability-problemer? Det bør fremgå af usability-rapporten. Det bør også angives i hvilken opgave, den enkelte bruger oplevede hvert problem, så man kan finde tilbage til iagttagelsen.

Statistikeren Jeff Sauro argumenterer i artiklen Five Ways To Make Any Usability Test More Credible (2010) for, at angivelsen af antallet af brugere, der oplever et givent usability-problem, er en afgørende oplysning:

"Count the number of users that experience each problem. Early testing is all about finding and fixing usability problems. But make those problem lists even more helpful by providing the number of users that encountered the problem. For example 3 out of 5 or 5 out of 7. These numbers will be crucial for estimating impact, prioritizing and for use in future comparisons."

---

Sandsynlighedsberegning

Frekvensen af et usability-problem bør suppleres af en sandsynlighedsberegning med konfidensintervaller (fx 'Du kan være 95 % sikker på, at problemet vedrører mellem 12 % og 77 % af alle brugere; mest sandsynligt omkring 43 %'.). Det kan være svært at vurdere, hvor stor vægt man skal lægge på, at fx 2 ud af 5 testpersoner har oplevet et problem under en usability-test, hvis oplysningen ikke suppleres med en sansynlighedsberegning af problemets udbredelse blandt alle brugere.

Certificerings-konsortiet UXQB anbefaler i sit CPUX-UT Curriculum (2015), s. 50:

"Report both the success rate and the corresponding confidence interval."

Statistikeren Jeff Sauro fastslår i artiklen Best Practices for Using Statistics on Small Sample Sizes (2013), at sandsynlighedsberegning ikke er begrænset til store undersøgelser, men sagtens kan anvendes i en usability-test med fx 5 brugere:

"Some people think that if you have a small sample size you can’t use statistics. Put simply, this is wrong, but it’s a common misconception. There are appropriate statistical methods to deal with small sample sizes."

---

Anbefalinger

Problemer er som bekendt til for at blive løst, så for hvert af de identificerede brugervenlighedsproblemer (eller gruppe af problemer) bør der i en usability-rapport være et bud på, hvordan problemet kan løses. Anbefalingerne kan evt. underbygges med henvisninger til anerkendte usability-guidelines, så man sikrer sig, at anbefalingerne ikke blot er udtryk for personlig smag. (Løsningsforslagene bør selvfølgelig gøres til genstand for en ny usability-test).

Usability.gov – et website fra U.S. Department of Health and Human Services – anbefaler i artiklen Reporting Usability Test Results, at der i usability-rapporter er et løsningsforslag for hvert problem:

"Each finding (or group of related findings) should include recommendations on what to do."

Usability-eksperten Jared M. Spool pointerer i artiklen The Road to Recommendation (2006), at løsning af brugervenlighedsproblemer er hele formålet med usability:

"Affecting positive change is our end goal. Having solid recommendations is how we make that happen."

Tilmeld dig Copenux' nyhedsbrev, og få artikler som denne pr. e-mail hver måned.

Konklusion

Afrapporteringen af en usability-test er grundlaget for at løse de brugervenlighedsproblemer, man finder under en usability-test. En overfladisk afrapportering er udtryk for en overfladisk analyse; en grundig rapport er tegn på, at data og indtryk fra testen er blevet analyseret grundigt.

Usability-rapporter bør som minimum indeholde:

• usability-problemer,
• nøgletal for usability,
• alvorsgraden af problemerne,
• frekvensen af problemerne blandt testpersonerne,
• sandsynlighedsberegning af problemernes omfang blandt alle brugere og
• anbefalinger.

Afrapporteringen af en usability-test kan indeholde mange andre nyttige elementer som fx:

• citater fra brugerne,
• videoklip,
• skærmbilleder,
• metode-beskrivelse,
• resumé og
• forklaring af usability-problemer med heuristikker.

Udbyttet af en usability-test er større, jo grundigere den bliver analyseret. En god usability-rapport kan ikke bare bruges i det aktuelle projekt, men også i det fremtidige webarbejde. Så snyd ikke dig selv ved at falde for fristelsen for 'hurtige', 'agile' anbefalinger (eller andre synonymer for 'overfladisk').