Onderzoeksmethoden 2/best practices/thinkaloud

Eerdere Think Aloud Onderzoeken

Groepen in 2009 - 2010

• Groep 2 - Oplossingstechnieken bij het maken van een sudoku

Groepen in 2008 - 2009

• Groep 2 - Bouwen van een Lego auto
• Groep 3 - Task Solving Tactics
• Groep 5 - Spore

Groepen in 2007 - 2008

• Groep 5 - Oplossen van een legpuzzel
• Groep 7 - Usability-onderzoek naar universiteitswebsite
• Groep 8 - MP3-speler verkopen via E-Bay

Conceptueel model

• Steek veel tijd in een goed ontwerp van je model. Hierdoor kun je in de structureer fase de database makkelijker vormgeven, waardoor het afleiden van conclusies makkelijker wordt gemaakt.
• Let vooral op welke informatie je los wilt krijgen uit de doelgroep, als deze duidelijk zijn zal het vergaren van de data een stuk makkelijker gaan.
• Leg de relaties tussen de concepten goed vast in het model. Hierdoor is het goed te zien wat invloed heeft op wat en kunnen de onafhankelijke en afhankelijke variabelen makkelijk bepaald worden.
• Zorg ervoor dat je in je model alvast al goed in de gaten hebt, wat je later wil analyseren. Anders modelleer je van alles en dan levert het model dan niet het gewenst resultaat op.

Voorbereiding sessies

• Bedenk van te voren goed of opdrachten, die je laat uitvoeren, niet misschien andere opdrachten kunnen beïnvloeden doordat ze gebruikers op de juiste weg kunnen wijzen. Zie voor nadere toelichting de leermomenten.
• Maak binnen de groep duidelijke afspraken over wie wanneer beschikbaar is.
• Zorg ervoor dat het voor de proefpersonen heel duidelijk is wat van ze verwacht wordt. Als je 'mensen van de straat pikt', moet je zorgen dat je het onderzoek op een interessante manier weet te presenteren.
• Draai van tevoren een paar test-sessies met jezelf of extra proefpersonen om de variabelen van je experiment zorgvuldig af te stemmen. Het kan best blijken dat je met de beste intenties een foute inschatting hebt gemaakt wat de moeilijkheidsgraad van een vraag is of hoe lang mensen over het algemeen nodig hebben. Als je dat pas tijdens het onderzoek zelf doet ben je flink wat tijd kwijt aan alles in hetzelfde rekenkader passen om alsnog resultaten met elkaar te mogen vergelijken.
• Bereid je fatsoenlijk op de sessie voor, zorg dat alles klaar staat en dat alle beschikbaar is (PC, microfoon, camera, etc.).

Data vergaring

Zorg voor de juiste randvoorwaarden bij een T.A.P.-sessie

Werkomstandigheden

• Geen storende factoren (deur op slot, mobiele telefoons uit)
• Software-omgeving computer is bekend (meestal Microsoft Windows)
• Test zelf of de taken goed staan beschreven.
• Zorg dat de hardware (computer, router, muis, video, webcam) goed functioneert.
• Zorg dat de hardware in elk testgeval hetzelfde is of zo gelijk mogelijk. Hierdoor sluit je verschillen in de resultaten zoveel mogelijk uit.
• Houdt een pilot sessie om te controleren of alles naar wens functioneert.

Proces

• houd in je achterhoofd waar je als interviewer op moet letten (een soort policy), bijvoorbeeld door de gebruiker te vragen continu zijn gedachten uit te spreken.
• loop zelf de casus eens (technisch en procesmatig,) door om te kijken hoelang er ongeveer voor nodig is en of alle stappen duidelijk zijn.
• inhakend op de bovenstaande opmerking. Houdt er rekening mee dat test subjecten sowieso meer tijd nodig zullen hebben omdat je ze vraagt om alles uit te leggen. Dit kost gewoon meer tijd en moet worden meegenomen als je wilt inschatten hoelang een opgave gaat duren.
• test subjecten hebben zelf de neiging meer te praten als het niet lukt. Als het voor de hand ligt wat ze moeten doen, dan zullen ze vrijwel niet praten of toelichten wat ze doen omdat ze dat "logisch" vinden. Vooral dan is het belangrijk om extra te vragen om uitleg.
• zorg ervoor dat testpersonen ook daadwerkelijk alles wat ze denken uitspreken. Het is te vaak zo dat testpersonen niet de neiging hebben om alles netjes uit te spreken wat tot 'gaten' in je onderzoek kan leiden.

Data vastlegging

• Ik zou eigenlijk moeten zeggen dat je de tekst moet gaan vastleggen, en er een tekstanalyse op los moet laten. Praktisch gezien is dit zeer veel werk en mijns inziens daalt hierdoor de betrouwbaarheid van je onderzoek niet echt veel, omdat je toch alles hebt vastgelegd op video. Een controle op de juistheid is altijd mogelijk. Het ligt ook aan het soort onderzoek om te kijken of dit praktisch is. Wij hebben dit voor ons onderzoek in 1 geval gedaan.

• Één camera is niet genoeg, want je moet je én focussen op de (gezichts)uitdrukkingen van de participant én de interactie met de computer. Daarom hebben wij gekozen voor de combinatie webcam en camera.

• Let bij het vastleggen van audio er goed op dat er geen mis communicatie is tussen de testpersoon en de observeerder. Dit is naderhand lastig te verwoorden bij het structureren. Vraag ook mensen duidelijk te praten en correcte zinnen te maken anders komen er voornamelijk losse woorden uit.

• Bij short hand note taking is het belangrijk om er ook een audio-opname bij te hebben voor de controleerbaarheid. Zorg er ook voor dat je van tevoren een duidelijke syntax hebt die je tijdens het notuleren kunt gebruiken (zoals in ons geval, blokhaken met een afkorting om aan te duiden dat je op een bepaalde link klikt en voor bepaalde acties als het geven van commentaar).

• De AVD heeft goede faciliteiten om de sessies vast te leggen. Het voordeel is dat deze dan van subliem beeld en geluid zijn. Het nadeel is dat alles gefilmd moet worden op de universiteit.

Data structurering

• Begin hier op tijd mee, want het ORM model moet ook nog misschien aangepast worden. Er zijn vaak technische constraints (database opzetten werkt niet) waardoor het allemaal wat langer gaat. Ga er in ieder geval niet van uit dat je ORM-model klopt en deze fase a-piece-of-cake is.

• Gebruik bij het structureren meerdere Input Output apparaten. Zo is het bijvoorbeeld makkelijker om de camera op een tv aan te sluiten en de tekst op de computer te verwerken dan dit op alleen de computer te doen. Gebruik bij de structurering van de audio een apparaat waarmee makkelijk te spoelen is, zowel voor al achteruit als pauze, aangezien er veel gebruik van gemaakt zal worden. Ook hierbij de tip dit niet te combineren met bijvoorbeeld een audio bestand op dezelfde computer waar deze uitgewerkt wordt.

• Afhankelijk van het doel van het onderzoek zal precisie een belangrijke rol spelen. Het kan zijn dat bepaalde woorden of zinnen niet verstaanbaar zijn. Bepaal voor jezelf of dit relevant is of dat dit geschrapt kan worden.)

Data analyse

• Dit hoeft eigenlijk niet een moeilijke stap te zijn als je ORM-model klopt en je hebt je data op een juiste manier in de database staan. De resultaten leidt je af van hetgeen in de database staat. Het enige wat je moet doen is dat je het op een leuke manier presenteert.

• Door de analyse te voorzien van tags kan er makkelijk een overzicht gemaakt worden van welke situaties er op dat moment voor deden. Door de analyse vervolgens los te laten op de tags kan er makkelijker "gerekend" worden met de resultaten waardoor een conclusie vormen een kwestie van aflezen wordt.

• Groepeer je data in duidelijke categorieen. Wees niet bang om categorieen te splitsen of om ze samen te voegen, zo hou je de grote hoeveelheid data overzichtelijk.

• Zorg dat je in de groep duidelijk afspreekt hoe de data gestructureerd moet worden. Als dit niet gedaan wordt heb je kans dat iedereen de teksten weer net op een andere manier bewerkt, en dus uiteindelijk weer veel tijd kwijt bent om de bewerkte data op één lijn te krijgen. .

• Sla zoveel mogelijk van je resultaten op in een enkele database. Het testen van hypothesen is dan slechts het uitvoeren van queries.