Kwantitatief en kwalitatief UX-onderzoek analyseren
Het analyseren van UX-onderzoek kan een lastig en tijdrovend aspect zijn van het onderzoeksproces. In dit artikel helpen we je op weg met de meest gebruikte metrics en een stappenplan voor het analyseren van user tests, interviews en focusgroepen.
Inhoudsopgave
De rol van analyseren in UX-onderzoek
UX-onderzoek stelt organisaties in staat om te begrijpen hoe gebruikers hun producten en diensten ervaren. Deze inzichten vormen de basis voor verbeteringen en innovaties. Analyse is de brug tussen ruwe gegevens en bruikbare inzichten. Het is het proces waarmee je de betekenis achter de cijfers onthult en de verhalen van gebruikers ontdekken.
Wanneer voer je de analyse uit?
Het uitvoeren van analyse is een gestructureerd proces, en het tijdstip waarop je dit doet, is van cruciaal belang. In de meeste gevallen vindt analyse plaats nadat alle gegevens zijn verzameld en de ruwe data beschikbaar zijn. Dit zorgt voor een volledig beeld van de gebruikerservaring en voorkomt voorbarige conclusies.
4 valkuilen bij analyseren van UX-onderzoek
- Overhaaste conclusies. In de moderne wereld is er vaak druk om snel resultaten te presenteren. Dit kan leiden tot het overhaasten van de analyse. Onderzoekers moeten zich bewust zijn van deze druk en zich richten op een grondige en zorgvuldige analyse in plaats van snelle conclusies.
- Confirmation bias. De neiging om bewust of onbewust te zoeken naar bevestiging van bestaande overtuigingen. Om bevestigingsbias te voorkomen, moeten onderzoekers bewust streven naar objectiviteit. Dit omvat het actief zoeken naar tegenstrijdige gegevens en het openstaan voor nieuwe inzichten, ook als deze in strijd zijn met eerdere inzichten.
- Positivity bias. Dit omvat de neiging om te focussen op de positieve bevindingen, waardoor negatieve bevindingen minder aan het licht komen. Dit kan leiden tot vertekende inzichten en gemiste kansen voor verbetering.
- Gebrek aan context. Analyse zonder de juiste context kan leiden tot misinterpretaties. Het is essentieel om te begrijpen in welke situaties en omstandigheden gebruikers interacties hebben gehad met een product of dienst. Om dit te ondervangen is het van belang naast kwantitatief onderzoek ook kwalitatief onderzoek uit te voeren. Voor extra inzicht in de context kan ervoor worden gekozen testers deel te laten nemen vanuit huis.
Kwantitatief onderzoek analyseren
Kwantitatieve analyse is een onderzoeksmethode waarbij numerieke gegevens worden verzameld en geëvalueerd om patronen, trends en statistische conclusies te identificeren. In UX-onderzoek omvat kwantitatieve analyse het verzamelen van meetbare gegevens over de interactie van gebruikers met een product of dienst. Deze gegevens worden vaak uitgedrukt in numerieke waarden en kunnen variabelen zoals tijd, frequentie en scores omvatten.
Kwantitatieve usability metrics
Er zijn verschillende usability metrics die inzicht geven in bepaalde aspecten van de user experience.
Task completion rate of succesratio
De succesratio, ook wel bekend als de task completion rate of task success rate, is een van de meest bekende usability metrics. Wanneer de taak die de respondent duidelijk is verwoord en een meetbaar einddoel heeft (bijvoorbeeld plaatsen van een order), laat de succesratio zien hoe goed gebruikers met het product overweg kunnen.
De succesratio is de ratio van het aantal gebruikers die de takenvan de usability test succesvol hebben kunnen uitvoeren. De succesratio bereken je door het totale aantal succesvolle taken van alle respondenten te delen door het totale aantal taken dat alle respondenten hebben uitgevoerd.
Time to task completion rate
De time to task completion geeft inzicht in hoe lang respondenten (gemiddeld) nodig hadden om een taak te voltooien. Het helpt hierbij om voorafgaand aan de usability test doelstellingen op te zetten, zodat je deze kunt vergelijken met de werkelijkheid.
Over het algemeen geldt dat hoe langer een gebruiker nodig heeft, hoe complexer de taak of het proces is. De time to task completion bereken je door de tijd die gebruikers nodig hadden bij elkaar op te tellen en deze te delen door het totale aantal respondenten.
User Error Rate
Dieper inzoomen op fouten die gebruikers of respondenten maken tijdens het uitvoeren van de usability testen is van grote waarde. Het geeft je een beeld van de gebruiksvriendelijkheid van het product en laat je zien waar gebruikers tegenaan lopen.
Los van het totale aantal fouten dat respondenten maken, kun je ook vergelijken welke interfaces fouten in de hand werken of juist meer duidelijkheid verschaffen. Dat natuurlijk met als doel om het uiteindelijke design nog effectiever te maken.
Maar wanneer maakt de gebruiker een fout?
Voordat je de error rate kunt uitrekenen, wil je duidelijk hebben wanneer iets een fout is en wanneer niet. Hierbij kun je denken aan het openen van een verkeerde pagina, het selecteren van een verkeerd product, invullen van incorrecte informatie bij contactformulier, et cetera.
Dit is natuurlijk afhankelijk van het type product dat je ontwikkelt. Om ervoor te zorgen dat de error rate geen vertekend beeld schetst, doe je er goed aan dit van tevoren vast te leggen in het usability testplan.
Wanneer je duidelijk hebt wanneer iets een fout is, kun je de error rate met onderstaande formule berekenen. Hiervoor som je het totaal aantal gemaakte fouten op. Dit deel je door de vermenigvuldiging van het totale aantal fouten mogelijk en het totale aantal respondenten.
Houd er daarbij rekening mee dat het heel normaal is dat gebruikers en respondenten fouten maken. Een studie van Jeff Sauro, die 719 taken heeft geanalyseerd, liet zien dat de gemiddelde error rate per taak 0.7 is - wat dus inhoudt 2 van de 3 gebruikers fouten hebben gemaakt.
Additional usability metrics
Los van bovenstaande metrics, zijn er nog vier andere usability metrics die veel worden gebruikt:
Kwalitatieve analyse voor UX
Kwalitatieve UX-analyse is een methode waarbij de resultaten uit interviews, focusgroepen en user tests worden geëvalueerd om diepgaande inzichten en begrip te verkrijgen. In UX-onderzoek richt kwalitatieve analyse zich op het begrijpen van de ervaringen, attitudes en percepties van gebruikers, evenals op het identificeren van patronen en thema's in de verzamelde data.
Het analyse proces voor user tests, interviews en focusgroepen is vrij uitgebreid in vergelijking met de analyse bij kwantitatief UX-onderzoek. Hieronder hebben we het proces voor je uitgewerkt:
1 - Blik terug op de onderzoeksvragen
Voordat je aan de analyse begint, is het aan te raden om even terug te blikken op de doelstellingen en onderzoeksvragen van jouw onderzoek. Zo weet je precies waar je op moet letten en zorg je dat je relevante aantekeningen kunt maken.
2 - Maak zoveel mogelijk aantekeningen
Zorg ervoor dat je bij het terugkijken van de sessie-opnames zoveel mogelijk aantekeningen maakt, zodat je zeker weet dat alle interessante bevindingen worden meegenomen in de analyse. Om het proces later te vergemakkelijken, kun je hierbij alvast gebruik maken van hashtags om aan te geven wat voor soort bevinding het is. Hierbij kun je bijvoorbeeld denken aan hashtags zoals: #navigatie #informatieontbreekt #homepage.
3 - Groepeer je aantekeningen op basis van thema of taak
Nadat je alle sessies hebt geanalyseerd, is de kans groot dat je een grote hoeveelheid aan aantekeningen hebt. De aantekeningen kunnen verschillen in vorm en inhoud, waardoor je waarschijnlijk geen goed overzicht hebt en het lastig is om conclusies te trekken. De volgende stap in het proces is daarom om de bevindingen te gaan categoriseren. Hier zijn twee manieren voor:
Thematische analyse
Thematische analyse is een methode voor het identificeren, analyseren en rapporteren van patronen (thema's) binnen kwalitatieve data. Het proces omvat het coderen van tekst of observaties om herhaalde ideeën en concepten te ontdekken. Thema's kunnen vervolgens worden geïnterpreteerd om inzichten te genereren. Voorbeeld:
Aantekening: Validatie van e-mailveld werkt niet goed
Aantekening: Link achter algemene voorwaarden werkt niet
Voorbeeldthema: Pijnpunten bij aanmeldformulier
Taakanalyse
Taakanalyse is een methode waarbij inzichten worden gegroepeerd op basis van de taken die zijn uitgevoerd tijdens user tests. Hierbij worden problemen en observaties gerelateerd aan specifieke taken geïdentificeerd en geëvalueerd.
Frequentie van bevindingen bijhouden
Zorg ervoor dat je bijhoudt hoe vaak een bepaalde bevinding voorkomt. Dit kun je doen per bevinding, maar aan te raden is om dit bij te houden voor het aantal thema's om te voorkomen dat je zaken dubbel telt. Er zijn verschillende manieren om hier vorm aan te geven, maar vaak werkt een spreadsheet het beste. Zorg ervoor dat je de volgende gegevens bijhoudt:
- Een uniek ID per bevinding of thema
- Een korte beschrijving van de bevinding of het thema
- Geef aan hoeveel gebruikers hier tegenaan liepen
4 - Van thema's en bevindingen naar echte inzichten
De volgend stap in het proces is om de bevindingen uit het onderzoek te gaan interpreteren. In andere woorden, je gaat de bevindingen nu omzetten naar inzichten.
Het verschil tussen bevindingen en inzichten in UX-onderzoek
Een bevinding laat je simpelweg weten wat er is gebeurd, zonder verdere uitleg of een oplossing voor te dragen. Een inzicht, daarentegen, omschrijft een aspect van menselijk gedrag of motivatie. Hierdoor wordt het duidelijk hoe de oplossing eruit zou kunnen zien.
Een bevinding zou bijvoorbeeld kunnen zijn 'Testers geven aan verschillende websites te gebruiken voor het boeken van een vakantie'. Deze bevinding zou tot het volgende inzicht kunnen leiden: "Er is op dit moment geen all-in-one oplossing voor het boeken van een vakantie, wat betekent dat er meerdere websites moeten worden geraadpleegd."
Als blijkt dat bovenstaand inzicht bij veel gebruikers voorkomt, dan zou je dus kunnen beslissen om een nieuw concept te ontwikkelen via waar iemand een volledige vakantie op dezelfde website of app kan boeken.
Bevindingen omzetten in inzichten
Nu is het moment om door de bevindingen die je op basis van een thema of taak hebt gegroepeerd heen te gaan. Het doel hierbij is om op zoek te gaan naar inzichten. Hierbij houd je natuurlijk de onderzoeksvragen bij de hand en begin je met de thema's die hierop aansluiten. Een voorbeeld van hoe dat eruit zou kunnen zien:
Thema: Pijnpunten bij boeken -> Bevinding: Testers hebben moeite met het selecteren van de juiste data -> Inzicht: De datumselectiemodule is niet gebruiksvriendelijk op mobiele apparaten
Geef weging aan de inzichten
Net elk inzicht heeft evenveel prioriteit. Om de prioriteit te bepalen, kun je gebruik maken van onderstaande methodiek.
- Kritieke score. Hoe belangrijk de functionaliteit is voor het bedrijf en de eindgebruiker.
- Frequentieratio. Hoeveel respondenten het probleem hebben ondervonden.
- Impactscore. De mate waarop het probleem de respondent heeft beïnvloed.
In een stappenplan ziet dat er zo uit:
- Bepaal de kritieke score. Beoordeel hoe belangrijk deze functionaliteit is voor het bedrijf en de eindgebruiker. Gebruik daarbij een schaal van 1 tot 5.
- Bereken de frequentiescore. Hiervoor deel je het aantal respondenten dat dit probleem ondervonden heeft door het totaal aantal respondenten die de usability test hebben afgenomen. Je krijgt dan een score tussen de 0 en 1.
- Bepaal de impactscore. Gebruik daarvoor onderstaande maatstaven:
- 5 (Blocker) Probleem zorgt ervoor dat de gebruiker de taak niet kan voltooien
- 3 (Groot probleem) Probleem zorgt voor frustratie en vertraging
- 2 (Klein probleem) Probleem heeft minimale impact
- 1 (Suggestie) Suggestie van de respondent
- Bereken de prioriteitscore. Dit doe je door de kritieke-, frequentie- en impactscore met elkaar te vermenigvuldigen. Hierbij geldt dat hoe hoger de prioriteitscore is, des te meer prioriteit het moet krijgen.
Rapporteren voor UX-onderzoek
Zodra je alle data hebt geanalyseerd, is het tijd om de inzichten te presenteren in een duidelijk format. Overweeg hierbij om gebruik te maken van de volgende opties:
- UX-onderzoeksrapport. Schrijf een onderzoeksrapport waarin alle inzichten worden gepresenteerd. Gebruik een screenshots en quotes van gebruikers om de inzichten 'tot leven' te laten komen.
- Highlightvideo. Als je kwalitatief UX-onderzoek hebt uitgevoerd, is het aan te raden om een highlightvideo te maken. In een highlightvideo worden de belangrijkste fragementen samengevoegd. Ideaal om te laten zien tijdens een presentatie. Een highlightvideo kan je maken via ons platform.