Onderzoeksmethoden 2/het werk/2007-8/Groep07

Onderzoeksmethoden Vervolg: Groep 7; Usability-onderzoek naar universiteitswebsite

Thema: Think aloud protocols

Jeffrey Kwee (0313270)
Erik Steinmann (0313327)
Jan Vogels (0321389)

Werkwijze van datavergaring: vooral TAP (Think Aloud Protocols) en in mindere mate tekstanalyse.

De powerpoint presentatie is hier te vinden.

---

Inleiding

De Radboud Universiteit Nijmegen heeft een websiteten behoeve van studenten, docenten en ter aanbieding van algemene informatie. In het kader van het vak Onderzoeksmethoden: Vervolg voor de studie Informatiekunde, willen wij onderzoeken hoe goed de usability van die universiteitswebsite is.

Probleemstelling

Het doel van een webpagina is de bezoeker te informeren over het onderwerp van de pagina. Om de pagina efficient te laten werken, moet de informatie toegankelijk worden aangeboden. Dit houdt in, dat de informatie zelf goed te vinden is en de wegen die ertoe leiden overzichtelijk zijn weergegeven.

De universiteitswebsite biedt studenten een hoop mogelijkheden om aan informatie te komen. Zo zijn er hyperlinks naar alle faculteiten vanwaar weer zaken als roosters kunnen worden opgevraagd. De grote hoeveelheid aan aangeboden informatie zou ertoe kunnen leiden dat men de weg kwijtraakt bij het zoeken naar de juiste informatie. We vragen ons af in hoeverre het voor studenten van de opleidingen Informatica/Informatiekunde gemakkelijk is om studieinformatie via de site van de universiteit te vinden en of dat binnen een aanzienlijk tijdsbestek gebeurt. We willen dit onderzoeken door een combinatie van TAP-sessies en tekstanalyse.

Onderzoeksvraag

Hoe efficient is de universiteitswebsite van de Radboud Universiteit Nijmegen?

De informatie die op de universiteitswebsite kan worden opgezocht, hebben we in vier categorieen opgedeeld. Deze categorieen representeren de aspecten van informatie die voor een student aan de universiteit van belang zijn tijdens zijn of haar studie.

• Interfacultaire informatie

Een student volgt tijdens zijn studie meerdere vakken, vaak ook verspreid over verschillende faculteiten. Het is van belang om roosterinformatie op te kunnen zoeken van die vakken om het in zijn of haar wekelijks curriculum te kunnen verwerken.

• Diensten voor studenten

De Radboud Universiteit biedt diensten aan aan studenten om het studeren te ondersteunen. Hierbij kan worden gedacht aan het instellen van toegang tot het draadloze internet, het gebruik van een elektronische bibliotheek en het opstellen van een eigen webpagina.

• Vakinformatie

Bij het kiezen van vakkenpakketten en specialisaties gedurende de studie en voor algemene informatie als studielast en de lesgevende docent moet er vakinformatie beschikbaar zijn.

• Contactgegevens van docenten

Om in contact te komen met docenten, op een elektronische danwel niet elektronische manier, is het essentieel dat de contactgegevens bekend zijn.

Conceptueel Model

Domein

S: Studenten die de opleiding Informatiekunde of Informatica aan de Radboud Universiteit Nijmegen volgen
W: Website van de Radboud Universiteit Nijmegen

Variabelen

Het concept dat we gaan bekijken is de effectiviteit van de structuur van de universiteitswebsite. Deze effectiviteit heeft in ons onderzoek betrekking op de vindbaarheid van informatie. We gaan uit van bestaande informatie die zich al bevindt op de website en die mogelijk het antwoord kan zijn op de informatievraag van studenten.

Deze effectiviteit van de structuur van een website kan worden geoperationaliseerd door middel van de volgende indicatoren:

Tijdsduur: Tijdsduur van een handeling: Hoe lang duurt het voor een student bepaalde informatie gevonden heeft.
Stappen: Aantal stappen om een handeling uit te voeren: Hoeveel links moet de student volgen om bij de informatie te komen.
Indruk: Indruk gebruiker (TAP-deelnemer)' : Wat is het oordeel van de gebruiker over de vindbaarheid van de informatie, en daarmee over effectiviteit van de structuur.

Bestand:Conceptueel versie2.jpg
Dit is een visuele weergave van de voorlopige versie van ons model.

Relaties

Wij doen geen onderzoek naar een oorzakelijk verband maar zijn alleen geïnteresseerd in de effectiviteit van de functionaliteiten van een systeem.

Werkwijze

Dataverzameling

Voor het verzamelen van de data voor ons onderzoek willen wij een aantal TAP-sessies organiseren. Dit aantal is afhankelijk van het aantal deelnemers. We denken aan maximaal tien deelnemers die we uit de studentenpopulatie van de studie Informatiekunde zullen halen. Voor elk individu dat meedoet aan ons onderzoek wordt er een sessie gehouden. We hebben een aantal individuen via een emailbericht benaderd met de vraag of ze tijd willen vrij maken. We verwachten dat elke sessie hooguit vijftien minuten duurt. Door te benadrukken dat het niet veel tijd zal vergen, hopen we dat deze personen wat tijd in hun drukke agenda voor ons vrijmaken. Ook bieden we ze een kopje koffie of thee aan voor tijdens het onderzoek.

De werkwijze daarna is als volgt:

• Van tevoren ontwikkelen we een schema met de opdrachten voor de deelnemers.
• De deelnemers werken de opdrachten individueel af en hierbij meten wij de harde gegevens tijdsduur en het aantal stappen dat benodigd is om de opdracht uit te voeren. Verder laten we de deelnemers ook hun commentaar geven op de handelingen die ze verrichten en maken wij hier notities van. Het aantal stappen wordt uitgedrukt in het aantal keren dat vanaf de beginpagina een link wordt gevolgd. De tijd wordt gemeten met een stopwatch. Aan het begin van de opdracht wordt de klok aangezet en stopgezet op het moment dat de opdracht is afgerond.

Condities

Om tot een zo consistent mogelijk resultaat te komen, zorgen we ervoor dat de omstandigheden voor alle deelnemers zo gelijk mogelijk zijn.

• Alle deelnemers voeren de TAP sessie uit op een terminal in terminalruimte HG00.075. De rekenkracht en functionaliteit van alle computers in deze ruimte is identiek.
• Om verdere invloed van buiten af te beperken worden alle sessies afgenomen in dezelfde browser in dezelfde account. Hiervoor gebruiken we de FireFox browser in de account van Erik Steinmann. Hierdoor is het uitgesloten dat zaken als verschil in processorsnelheid of verschil in snelheid van verschillende accounts van invloed zijn op de tijdsduur van de sessie.
• We zorgen ervoor dat de browser cache voor elke sessie is leeggemaakt zodat een deelnemer niet kan zien welke links aangeklikt zijn in het verleden.

Hierdoor zijn de omstandigheden waarin de deelnemers de opdrachten uitvoeren voor alle gebruikers hetzelfde. De enige factor we niet in de hand hebben is de internetverbinding en snelheid van de verbinding op het moment van de TAP sessie. Wij nemen aan dat deze niet van invloed zal zijn op de sessie gezien de bandbreedte van de faculteit groot is.

Opdrachten

De opdrachten die de deelnemers moeten uitvoeren zijn:

• 1. Zoek roosterinformatie voor het vak "Informatie en Control" (dit vak is een vak van Managementwetenschappen, met vakcode BCU009 uit jaar 2, semester 1, blok 2)
• 2. Zoek uit hoe je een eigen homepage kunt plaatsen
• 3. Zoek vakinformatie voor het vak "Kennismanagement" (vakcode BCU244A)
• 4. Zoek de contactinformatie (kamernummer, internet telefoonnummer en email adres) van Patrick van Bommel

Alle opdrachten beginnen op de homepage van de Radboud Universiteit (http://www.ru.nl). Een opdracht is voltooid wanneer de gezochte informatie gevonden is, dus wanneer de doelpagina met de informatie in kwestie gelocaliseerd is. De doelpagina is door ons vooraf bepaald maar is vanzelfsprekend niet bij de deelnemers bekend.

Doelpagina's

De eerste drie pagina's hebben een eenduidig doel. Bij de laatste opdracht is het mogelijk om op 2 verschillende manieren achter de benodigde informatie te komen.

• 1. De doelpagina voor deze opgave bevindt zich op het adres http://www.ru.nl/aspx/download.aspx?File=/contents/pages/17763/rooster_2007-2008_bw_2.1.2.doc&structuur=fm
• 2. De doelpagina voor deze opgave bevindt zich op het adres http://www.ru.nl/student/eigen_homepage/eigen_homepage/
• 3. De doelpagina voor deze opgave bevindt zich op het adres http://studiegids.science.ru.nl/2007/management/prospectus/bedrijfswetenschappen/courses/course/11105/
• 4. De doelpagina voor deze opgave bevindt zich op de adressen http://www.ru.nl/searchrbs/person.aspx?relationid=103910. Er is een alternatieve doelpagina op http://www.cs.ru.nl/P.vanBommel/address.html, maar de doelpagina voor dit onderzoek is de zoekmethode voor adressen van medewerkers.

De deelnemer mag tijdens de TAP sessie geen gebruik maken van de adresbalk of een zoekbalk in de browser. Tevens mag de deelnemer ook geen gebruik maken van de algemene zoekfunctie van de site. Het is alleen toegestaan om links op de website te volgen, zoeken op tekst in een webpagina met CTRL+F of specifieke zoekfuncties die op de website gevonden worden (zoals het adresboek van medewerkers waar op naam moet worden gezocht). De afbeeldingen hieronder illustreren dit voor extra duidelijkheid.

Bestand:Ffozm2.png

TAP deelnemers mogen geen gebruik maken van deze zichtbare invoervelden (adresbalk, google zoekbalk, algemene zoekfunctie van de universiteitswebsite

Bestand:Ffozm2 1.png

TAP deelnemers mogen wel gebruik maken van dit invoerveld

Snelste weg en richtlijnen

We hebben de snelste weg voor elke doelpagina bepaald. Daarbij hebben de tijd gemeten. Aan hand daarvan hebben we een richttijd opgesteld. Deze tijd is hoger dan de tijd die wij benodigd hebben omdat wij precies wisten wat we moeten doen. We moeten rekening houden met het feit dat mensen tijd moeten hebben om menu's te lezen, ook als ze enige voorkennis hebben. Alle klikken worden expliciet genoemd, het openen van menu's zijn geen klikken.

• 1. Menu "Faculteiten" openen en klikken op "Faculteit der Managementwetenschappen". Menu "Onderwijs" openen en klikken op "Studie-informatie". klikken op "Collegeroosters" in het menu links. klikken op de link "Bedrijfswetenschappen 2.1.2. Totaal aantal klikken: 4. Richttijd 0:55.
• 2. Menu "Informatie voor" openen en klikken op "studenten". Vervolgens menu "KISS" openen en klikken op "Internet studenten services." Op deze pagina rechts op de link naar "www.ru.nl/student" clicken. Vervolgens menu "Eigen Homepage" openen en klikken op "Eigen Homepage". Totaal aantal klikken: 4. Richttijd: 2:00.
• 3. Menu "Onderwijs" openen en klikken op "Studiegidsen". Clicken op "Faculteiten der Managementwetenschappen". klikken op "Bedrijfswetenschappen". Klik op "Vakkenlijst". Scroll of zoek naar "Informatie en Control" en klik erop. Totaal aantal klikken: 5. Richttijd: 0:45.
• 4. Menu "Contact" openen en klikken op "adressen, e-mail en telefoonnummers". Vul "van Bommel" in het zoekvenster in en klik op "Zoeken". Click op het resultaat. Totaal aantal klik: 3. Richttijd: 30 seconden.

Analyse

De door de deelnemers geleverde commentaren worden getranscribeerd. De transcripties onderwerpen we aan een tekstanalyse. Hierbij letten we op kernwoorden die in de verschillende TAP-sessies door de testsubjecten worden geuit die betrekking hebben op hetgeen we onderzoeken, namelijk de effectiviteit van de website. Deze kernwoorden, ook wel labels genoemd, kunnen zowel positief als negatief uitlatend over de structuur van website zijn.

Bij het zoeken naar informatie doen de studenten dit met bepaalde kennis in het achterhoofd en met wat ze daadwerkelijk op de site aantreffen aan navigatiemogelijkheden. Hierdoor ontstaan verwachtingen voor wat men op een bepaalde pagina zal aantreffen, deze uit kunnen komen of niet.

De labels kunnen we indelen in categorieen:

Argumentatie: Tijdens de TAP-sessie vragen we de deelnemers om hun keuzes om links te volgen te beargumenteren. Deze argumentatie kan betrekking hebben op wat men op dat moment bedenkt aan de hand van beschikbare opties (er wordt een aanname gedaan) ofwel men heeft eerder eens soortgelijke zoekopdracht gedaan. Een aanname kan zowel positief als negatief zijn. Voorkennis zien wij als een positieve eigenschap, gezien dat die wordt opgedaan tijdens het oplossingsproces.

• 1. Verwachting/Aanname
• 2. Voorkennis/Ervaring

Verwarring: Een usability onderzoek gaat over zowel de positieve als de negatieve kant van het verhaal. Tijdens de TAP-sessie zullen de deelnemers tegen zaken aanlopen die ze niet vinden kloppen. Het kan ook zijn dat er bepaalde zaken in hun ogen missen. Onduidelijk of onvolledig weergegeven informatie en een geval waarin de opties waaruit de deelnemer kan kiezen zijn beide negatieve eigenschappen.

• 3. Onduidelijkheid
• 4. Op elkaar lijkende opties

Suggestie: De deelnemers kunnen zelf ook suggesties indienen voor verbeteringen. Suggesties worden als negatieve labels opgevat, aangezien ze aangeven dat er iets te verbeteren of toe te voegen valt aan de website.

• 5. Suggestie

Conclusie

Onze conclusie zal uiteindelijk een waardering over de efficiency van de website (structuur). Afhankelijk van de uitkomsten kunnen we aangeven of onze testsubjecten het zoeken naar informatie op de website efficiënt of niet efficiënt vonden of dat de meningen verdeeld waren.

De efficiency zal niet worden uitgedrukt in een getal of berekenbaar zijn. We nemen de meningen van de respondenten samen, kijken voor elke respondent of deze positief of negatief oordeelt en hier de algemene indruk van weergeven.

We concluderen een afname van efficiency wanneer respondenten een significant aantal klikken meer nodig hebben dan het gemiddelde aantal klikken (het gemiddelde van alle proefpersonen). Dit betekent namelijk dat de respondenten niet goed weten wat ze moeten doen en moeten verkennen om de juiste weg te vinden. Een goed bruikbare website hoort juist zo intuïtief mogelijk te zijn zodat het duidelijk is waar men moet klikken om bepaalde informatie te vinden. Dit wordt per opdracht geëvalueerd.

Samen zullen we uit de commentaren van de respondenten, de tijd en de klikken een algemeen beeld vormen, waarbij we vooral uitgaan van de tekstuele data en deze vergelijken met de kwantitatieve gegevens. Gezien we slechts een klein aantal opdrachten en een klein groepje respondenten hebben, zal deze uitspraak niet heel veel zeggen. Om een echt goede evaluatie van de site op te zetten is het nodig om een grootschalig onderzoek op te zetten dat een veelvoud van respondenten onder alle faculteiten kent. Dit valt echter volgens ons niet in de scope van deze cursus.

Analyse

Opdracht 1: Roosterinformatie voor het vak Informatie & Control

Tekst proefpersoon 1:

Tijdsduur: 3:52, Aantal klikken: 12, Gevonden: Nee

Information en Control… even kijken of ik een studiegids kan vinden van Managementwetenschappen… [klikt faculteit Managementwetenschappen] de faculteit Managementwetenschappen. [klikt onderwijs] [klikt studieinformatie] [klikt studie-gidsen] Is dat Bedrijfswetenschappen? Ik denk het wel. Ik kom er wel uit. [klikt Bedrijfswetenschappen] [klikt vakkenlijst] Informatie en Control.. [scrollt door lijst op pagina] [klikt Informatie en Control]Informatie en Control. Wat staat er? [Jan: zoek de roosterinformatie ervan!] [scrollt door] Ga ik even terug… [klikt terug] Semester 2.2 he? Ik gebruik altijd om te kijken waar ik zit, de mensen die ik ken die die colleges volgen… tsja.. Staat er niet echt op. [klikt twee keer terug, hij komt weer terug uit bij de studiegidsen] [klikt vooruit] [klikt vakkenlijst][scrollt door vakkenlijst] Ik weet t niet, kan het niet meer vinden. Ik kom wel in Informatie en Control, maar het rooster, dan houdt het op. Suggestie: Link het rooster aan de studiegids.{suggestie}

Tekst proefpersoon 2

Tijdsduur: 4:27, Aantal klikken: 9, Gevonden: Ja

[klikt op Faculteit Managementwetenschappen] Ik denk eraan om naar de Faculteit van Management te gaan [klikt op onderwijs] Omdat het een onderwijsgerelateerd iets is dat roosteren.{verwachting/aanname} [klikt op opleidingen Managementwetenschappen] dan ga ik naar Bedrijfswetenschappen omdat het een Bedrijfswetenschappen vak is. [klikt op Bedrijfswetenschappen]{verwachting/aanname} Dan ga ik naar bachelor omdat ik denk, nee weet dat het een bachelor vak is.[klikt op bachelor]{verwachting/aanname} Dan ga ik naar vakken, 2e en 3e jaar [klik op 2e en 3e jaar]. Blok 2 jaar 2, semester 2, strategie, dan ga ik naar semester 2.2 daar zou die misschien in moeten staan [klik op semester 2.2], {verwachting/aanname} staat ie niet. Blok 2 jaar 2, dan zou die hier bij moeten zijn, staat ie niet. [Jan: ergens anders?] misschien wel ja. Ik denk dat je hier misschien een ding zou moeten vinden maar niet het rooster.{verwachting/aanname} [klikt terug naar onderwijs] We gaan even terug. [klikt op studieinformatie] Ik ga naar studieinformatie en dan roosters. [klikt op collegeroosters] Kijk. Dan ga ik natuurlijk weer naar Bedrijfswetenschappen. Eerste cijfer is jaar, middelste cijfer semester... dan zou het deze moeten zijn. [klikt op link Word-bestand, gevonden] [Jan: hoe vond je het?] Ik vond het vrij lastig, als ik nadenk hoe het bij ons geregeld is. Kijk bij cs.ru.nl ga je naar onderwijsinsituut en dan heb je daarna meteen een rooster.{suggestie}

Tekst proefpersoon 3

Tijdsduur: 0:58, Aantal klikken: 5, Gevonden: Ja

[klikt faculteit Managementwetenschappen], [klikt over onderwijs], opleidingen onderwijs leek me wel toepasselijk.{voorkennis/ervaring} Studieinformatie [klikt studie-informatie] onder onderwijs. [klikt collegerooster] jaar 2 semester 1 blok 2 Word-bestand openen, te gek. [opent bestand, gevonden] [vraag: hoe vond je het?]Heb het al eens eerder gedaan. Wel moeilijker als ik het niet eerder had gedaan, heb er weleens vaker naar lopen zoeken. {voorkennis/ervaring}

Tekst proefpersoon 4

Tijdsduur: 0:42, Aantal klikken: 6, Gevonden: Ja

Ga ik naar faculteiten [klikt faculteit Managementwetenschappen], dan naar onderwijs [klikt op over onderwijs], omdat dit een vak is, studieinformatie [klikt studie-informatie], collegeroosters [klikt collegeroosters], jaar 2 bachelor semester 1, 2.1.2 moet ik dan hebben [klikt op het roosteroverzicht voor dat blok] dan doe ik open. [klikt op het Word-bestand, gevonden] Dan moet ik dit even openen, gevonden. Het is volgens mij ook overal hetzelfde, ik moest bij Letteren veel opzoeken.{voorkennis/ervaring}

Tekst proefpersoon 5

Tijdsduur: 5:45, Aantal klikken: 20, Gevonden: Ja

Even kijken hoor, ik denk eerst de faculteiten, Managementwetenschappen omdat het een Management wetenschappen vak is [klikt faculteit Managementwetenschappen]{aanname/verwachting} dan zou ik zeggen onderwijs, omdat dat van alle opties het meest in de buurt komt {aanname/verwachting}, en dan dus studie-inf... nee opleidingen Managementwetenschappen [klikt opleidingen Managementwetenschappen], Bedrijfswetenschappen neem ik aan he, dan klik ik dus die aan [klikt Bedrijfswetenschappen], nu zit ik vrij vast. Nee volgens mij zit ik helemaal, hee de studiegids, kan ik het onder studiegids vinden? [Jan zegt dat we daar geen antwoord op geven] ik zou de studiegids klikken ik weet niet zeker of ik dan roosterinformatie krijgt{aanname/verwachting} [klikt studiegids]. Dan zie ik daar de vakkenlijst [klikt vakkenlijst], dan staat daar Informatie en Control dus dan klik ik die aan [klikt Informatie en Control], daar staat inderdaad informatie. Nu moet ik de roosterinformatie hebben. Moet ik nog verder gaan? Even kijken hoor, dan ga ik terug [klikt terug] nog een keer dan maar [klikt weer terug], volgens mij zit ik helemaal verkeerd. zou eens op inhoudsopgave klikken [klikt inhoudsopgave], oh hier staan roosters, om een beetje overzicht te krijgen. Rooster zie ik daar staan dus dan klik ik daarop [klikt roosters], volgens mij is het dit ook weer niet. Hier wordt ik echt geen wijs uit. nog een keer terug [klikt weer terug], rooster nog een keer zoeken [CTRL+F kennismanagement] nee is er maar 1 hier. Nog een keer naar de vakkenlijst [klikt vakkenlijst], Informatie en Control [klikt Informatie en Control], heb ik eigenlijk nooit gedaan zo een rooster opgezocht, dan ga ik eens bij de docent kijken. klik ik op studiegids [klikt weer studiegids] volgens mij is dit weer hetzelfde, nou ik ga ff helemaal terug. 1,2,3 [klikt 3 keer terug] wat is dat nou ookweer, [terug naar begin] studieinformatie roosters [klikt roosters], dan gaan we daar kijken. Jaar... semester 2 eeh, cijfer is jaar, middelste is semester, semester 2.1.2 dan kies ik die [klikt roosteroverzicht voor dat blok], gevonden! [gevonden] Wat ik zou verwachten is dat je bij het vak zelf naar het rooster zou kunnen gaan daarom zou ik eerst naar het vak gaan, dus als er een link was zou dat wel handig zijn.{suggestie}

Labels

Label	Aantal
{verwachting/aanname positief}	7
{voorkennis/ervaring}	3
{verwachting/aanname negatief}	1
{onduidelijkheid}	0
{op elkaar lijkende opties}	0
{suggestie}	3

Opdracht 2: Eigen homepage plaatsen op je RU account

Tekst proefpersoon 1

Tijdsduur: 4:22, Aantal klikken: 5, Gevonden: Nee

[scrollt door dropdownmenu’s] Ik zit nu te kijken in de dropdownmenu’s… Ik zoek naar een link waar iets staat over je eigen webspace ofzo… het enige dat ik hier kan vinden is login voor Radboudnet maar ik weet niet wat het is dus ik ga ook niet inloggen…{onduidelijkheid} dan ga ik maar bij voorzieningen [klikt voorzieningen] naar ‘meer voorzieningen’ [klikt meer voorzieningen], maar dat is het zo te zien toch niet, zijn alleen maar andere voorzieningen. {verwachting/aanname}Blijkbaar bedoelen ze er echt alleen maar gebouwen enzo mee. Dan bij voorzieningen naar ondersteunende diensten [klikt ondersteunende diensten]. Het enige dat daar boeiend zou zijn is UCI. [klikt UCI] Zie ik ook niks staan [klikt terug] Ik heb op zich al heel vaak geklikt… Nog maar een keer hier doorkijken bij de dropdownmenu’s, misschien heb ik iets over het hoofd gezien. Hmm, over deze site, vragen… ik zou niet weten waar ik naartoe moet. Ik heb echt geen idee. {onduidelijkheid}

Tekst proefpersoon 2

Tijdsduur: 4:58, Aantal klikken: 8, Gevonden: Ja

Vanaf hier moet ik daar naartoe hè? Even denken [klikt op informatie voor aankomende studenten] Wat ik ga doen is ik kijk even bij informatie voor aankomende studenten. Hmmm.. Het is iets wat je eigenlijk... Als aankomende student is het leuk om te weten dus het leek me logisch dat ze daar iets over zeggen{verwachting/aanname}, even terug [terug naar home] dan kijk ik naar... je kan ook bij vragen kijken, dat lijkt me ook wat. Ik ga nu de menu's af om te kijken of er iets staat, [klikt ondersteunende diensten] zit nu bij voorzieningen. Ik vraag me af of het een ondersteunende dienst is. Ik kijk er toch even, jaja. Even kijken of UCI erbij staat, Universitair Centrum Informatievoorziening, maar dat is wel voorkennis van mij dat ik dat weet. {voorkennis/ervaring}[klikt op UCI] Nu zit ik bij de UCI [klikt op link naar UCI-website], diensten voor studenten. [klikt diensten voor studenten] Nu komen we volgens mij wel ergens, nu zie ik aan de linkerkant een rijtje met dingen staan. Software wow. Waar ik eigenlijk naar zoek is, dat is ook weer voorkennis, ik weet eigenlijk precies hoe die site eruit ziet. Ja, ik heb het ooit opgezocht. VPN @ RU is iets heel anders, dat weet ik, haha. {voorkennis/ervaring} Ik zit te denken of ik iets kan krijgen bij de helpdesk of servicedesk. [klikt op E-mail@Ru] Email@RU? [klikt op KISS-Website] KISS Website? Ah! nu heb ik m al! [klikt op eigen homepage, gevonden] [Jan: hoe vond je het, was het intuitief?] Het was voor mij wel redelijk makkelijk te vinden, maar ik heb wel bepaalde voorkennis die ervoor heeft gezorgd dat ik het kon vinden. {voorkennis/ervaring} [Jan: ja dat hebben we ook gemerkt] Wat ik dus ook wist, je zit op www.ru.nl en ik zou naar www.ru.nl/student gegaan zijn. Maar lastig dat je het via de linkjes moet doen. {onduidelijkheid}

Tekst proefpersoon 3

Tijdsduur: 1:10, Aantal klikken: 4, Gevonden: Ja

Ik weet dat het onder student.ru.nl zit. {voorkennis/ervaring} Dus informatie voor studenten ga ik naar toe [klikt informatie voor studenten], kom ik inderdaad bij student.ru, ga ik naar kiss [klikt op kiss], internet studenten services, dan ben je nog nergens kom ik achter. Ik dacht dat ik hier moest zijn maar het is toch niet goed. {onduidelijkheid}{verwachting/aanname}Deze zoek ik ja. [klikt op www.ru.nl/student]. Dan zit er een kopje eigen homepage, is dit wat ik moest te hebben? [klikt op eigen homepage, gevonden] Je hebt ru.nl/student en ru.nl/studenten dat is iets heel anders, dan kun je wel naar KISS gaan maar dan ben je nog niet. {op elkaar lijkende opties}

Tekst proefpersoon 4

Tijdsduur: 0:32, Aantal klikken: 4, Gevonden: Ja

Ik denk dat ik naar voorzieningen ga, omdat dat het enige is, informatie voor studenten sorry [klikt informatie voor studenten], kijken bij voorzieningen, staat er niet bij. Dan naar KISS [klikt kiss], omdat het studentenservicedingen zijn {verwachting/aanname} [klikt ru.nl/student], eigen homepage zie ik dan staan. Sowieso raar dat het niet bij voorzieningen staat. {verwachting/aanname}[klikt eigen homepage, gevonden]

Tekst proefpersoon 5

Tijdsduur: 2:04, Aantal klikken: 6, Gevonden: Ja

Kijk even globaal naar die dingen bovenin. Ik heb het weleens gedaan volgens mij maar dan meestal via die zoekfunctie... ik denk voorzieningen {voorkennis/ervaring}[klikt voorzieningen], dat lijkt me het meest logisch. {verwachting/aanname}Meer voorzieningen klik ik. [klikt meer voorzieningen] ..mmm.. volgens mij staat het er niet bij. Even kijken, ondersteunende diensten. Dat is het ook niet. Kun je er uberhaupt wel komen vanaf hier? {onduidelijkheid} ik ga naar informatie voor studenten [klikt informatie voor studenten], voorzieningen? nee, volgens mij moet je naar KISS [klikt KISS], imderdaad. Even kijken wat de rest is, dan die. Dan gaan we naar ru.nl/student [klikt ru.nl/student] Ah ja eigen homepage, eigen homepage [klikt eigen homepage, gevonden].

Labels

Label	Aantal
{verwachting/aanname positief}	3
{voorkennis/ervaring}	5
{verwachting/aanname negatief}	2
{onduidelijkheid}	5
{op elkaar lijkende opties}	1
{suggestie}	0

Opdracht 3: Vakinformatie voor het vak Kennismanagement

Tekst proefpersoon 1

Tijdsduur: 0:44, Aantal klikken: 5, Gevonden: Ja

Ik denk dat dat wel gaat lukken, ik kwam er net met Informatie en Control ook.{Voorkennis/ervaring} Ik ga naar studiegidsen [klikt studiegidsen], dan naar faculteit Managementwetenschappen [klikt faculteit Managementwetenschappen], ik denk dat die bij Bedrijfswetenschappen zit {Aanname/Verwachting} [klikt Bedrijfswetenschappen]. [klikt vakkenlijst] [scrollt] Kennismanagement [klikt Kennismanagement, gevonden]. Ik denk dat ik hier alle relevante informatie heb.

Tekst proefpersoon 2

Tijdsduur: 3:11, Aantal klikken: 10, Gevonden: Ja

[klikt op faculteit Managementwetenschappen] Ik ga dus weer via faculteiten naar Managementwetenschappen, ik ga dus weer naar onderwijs [klikt op onderwijs] en nu zoek ik... op zich is het niet echt studieinformatie, je wilt gewoon vakinformatie krijgen he? Studieinformatie lijkt me meer over de studie te gaan en niet over een specifiek vak. {Aanname/Verwachting}[klikt op Managementwetenschappen en daarna Bedrijfswetenschappen (herhaling opdracht 1)] Dan ga ik er heel even vanuit dat het een Bedrijfswetenschappen vak is. {Aanname/Verwachting} [ziet ergens anders "informatie voor studenten" staan en klikt] informatie voor studenten, je zou verwachten dat er wel vakinformatie bijstaat. {Aanname/Verwachting} Ik ga toch weer bij de bacheloropleiding kijken [klikt terug naar Bedrijfswetenschappen en bachelor]. Wat ik wil hebben, wat ik zoek is dus gewoon vakinformatie en dat moet ergens staan. {Onduidelijkheid} [kijkt in het menu, klikt op studie-informatie] dan zie ik daar een studiegids [klikt op studiegids], dan zie ik daar een vakkenlijst staan [zoekt in de lijst]. Kennismanagment ah dan zie ik hem daar staan en dan heb ik hem [klikt op Kennismanagement, gevonden]. Je moest dus toch studie-informatie hebben? Stom.

Tekst proefpersoon 3

Tijdsduur: 1:31, Aantal klikken: 7, Gevonden: Ja

[klikt faculteit Managementwetenschappen] faculteiten, Kennismanagement he, ook van Managementwetenschappen weet ik toevallig. Waar zat het ook alweer? Studieinformatie [klikt studie-informatie] maar nu ga ik naar collegeroosters [klikt collegerooster] maar ik weet niet in welk semester het zit, zoek ik waarschijnlijk iets van een studiegids. {Aanname/Verwachting} Ga ik naar opleidingen en Managementwetenschappen [klikt opleidingen Managementwetenschappen]. Volgens mij zit het onder Bedrijfswetenschappen {Voorkennis/Ervaring} [klikt Bedrijfswetenschappen] onder die pagina zit er een lijst studiegids [klikt op studiegids, dan vakkenlijst]. Dan doe ik CTRL+F dan ga ik naar kennis management dan weet ik in welk semester het zit. [klikt op Kennismanagement, doelpagina bereikt]

Tekst proefpersoon 4

Tijdsduur: 0:30, Aantal klikken: 7, Gevonden: Ja

Ga ik naar faculteiten omdat t (de vakcode, red.) BCU is, dus management {Voorkennis/Ervaring} [klikt faculteit Managementwetenschappen], onderwijs [klikt over onderwijs] dan ga ik naar studie-informatie [klikt studie informatie] dan studie-gidsen [klikt studiegidsen] dan Bedrijfswetenschappen [klikt Bedrijfswetenschappen], en dan vakkenlijst [klikt vakkenlijst], mag ik zoeken? [antwoord: ja] dan zoek ik Kennismanagement [CTRL+F kennismanagement], is dit het? [klikt Kennismanagement, gevonden]

Tekst proefpersoon 5

Tijdsduur: 0:59, Aantal klikken: 7, Gevonden: Ja

Faculteiten, Managementwetenschappen [klikt faculteit Managementwetenschappen], zat ik net toch ook al? {Voorkennis/Ervaring} Ben het nu al weer kwijt, onderwijs [klikt onderwijs] studie-informatie [klikt studie-informatie], jullie mogen het niet zeggen natuurlijk, studiegidsen [klikt studiegidsen]. Lijkt mij dat daar de informatie instaat. bedrijfswetenschappen dat weten we {Voorkennis/Ervaring} [klikt bedrijfswetenschappen], de vakkenlijst [klikt vakkenlijst]. kennismanagement. of staat het onder knowledge, oh nee Kennismanagement [CTRL+F Kennismanagement], dan heb ik het gevonden he. [klikt Kennismanagement, gevonden]

Labels

Label	Aantal
{verwachting/aanname positief}	3
{voorkennis/ervaring}	5
{verwachting/aanname negatief}	1
{onduidelijkheid}	1
{op elkaar lijkende opties}	0
{suggestie}	0

Opdracht 4: Contactinformatie van Patrick van Bommel (FNWI)

Tekst proefpersoon 1

Tijdsduur: 0:49, Aantal klikken: 3, Gevonden: Ja

Ik ga even kijken of ik iets kan vinden over docenten hier op de universiteit. Contact en service {Aanname/Verwachting} [klikt adressen, e-mail en telefoonnummers], zoeken naar personen…. Patrick van Bommel [voert ‘Patrick van Bommel’ in als zoekopdracht]. Twee resultaten, de heer Patrick van Bommel… [klikt op Patrick van Bommel, gevonden] Wat moest ik, z'n telefoonnummer? Ik zie alleen geen kamernummer, alleen Toernooiveld 1.

Tekst proefpersoon 2

Tijdsduur: 0:48, Aantal klikken: 4, Gevonden: Ja

Ik ga naar faculteiten toe en dan naar FNWI [klikt op faculteit FNWI], vervolgens dan eh.. je wil graag contact informatie hebben, dan ga ik naar adressen en telefoonnummers {Aanname/Verwachting} [klikt op contactinformatie], mag ik de zoekfunctie gebruiken? Dan typ ik daar Patrick van Bommel in [typt het in en drukt op 'zoek'] en dan moet dit het zijn. [klikt Patrick van Bommel, gevonden] Zoeken is wel intuitief. Je zoekt gewoon op contact en dan adressen en telefoonnummers en dan zit er een prima zoekfunctie.

Tekst proefpersoon 3

Tijdsduur: 1:28, Aantal klikken: 10, Gevonden: Ja

[klikt faculteit NWI] Dan ga ik naar masteropleidigen [klikt op masteropleiding], dat is een beetje onzin, omdat ik weet dat hij iets met masterdingen doet {Voorkennis/Ervaring}, onderwijsinstituten moet ik hebben [klikt onderwijsinstituten] dan klik ik op afstuderen [klikt afstuderen] omdat ik weet dat hij er iets mee te maken heeft. {Voorkennis/Ervaring} hier staat een e-mail adres maar dat is niet helemaal eerlijk. [klikt terug] dat kan ook via docenten [klikt docenten], wat doet hij ook alweer? Informatie en kennissystemen {Voorkennis/Ervaring} [klikt informatie-kennissytemen], daar zul je hem hebben [klikt Patrick van Bommel, klikt op adres, gevonden] Nu wist ik wie het was, maar anders was ik misschien naar die gids gegaan. Het is dus moeilijk om vanuit hier naar de onderwijsinstituten te gaan.{Suggestie}

Tekst proefpersoon 4

Tijdsduur: 0:46, Aantal klikken: 8, Gevonden: Ja

Dan ga ik nu naar faculteiten, dan naar Wiskunde, Natuurkunde... [klikt faculteit FNWI], dan naar onderzoeksinstuten [klikt onderzoeksinstituten] en dan naar ISIS [klikt ISIS] omdat hij onderzoeker is {Voorkennis/Ervaring}, bij de website staat dat rechts [klikt op cs.ru.nl] dan vacancies [klikt working at ICIS] dan de tweede Informatie en knowledge systems [klikt Information and Knowledge Systems] dan ga ik naar members [klikt members] en dan staat daar van Bommel. [klikt Patrick van Bommel, gevonden] Ik was aan het focussen op de medewerkers {Voorkennis/Ervaring}, maar anders zou je gewoon google gebruiken, je gaat niet via de ru-site.

Tekst proefpersoon 5

Tijdsduur: 1:06, Aantal klikken: 6, Gevonden: Ja

Ik heb bepaalde voorkennis natuurlijk, ik denk dat ik bij de faculteit moet zijn waar hij werkt. {Voorkennis/Ervaring} [klikt faculteit NWI] even kijken onderwijs, over de faculteit, ik mag ook gebruiken welk vak die geeft he? dan ga ik naar de studiegidsen{Aanname/Verwachting} [klikt studiegidsen, zoeken in studiegids-FNWI], kijken hoor, bachelor informatiekunde informatica [klikt bachelor informatica en informatiekunde], docentlijst [klikt docentenlijst], even zoeken van bommel staat helemaal bovenaan, dan heb ik m gevonden. [klikt Patrick van Bommel, gevonden]

Labels

Label	Aantal
{verwachting/aanname positief}	3
{voorkennis/ervaring}	5
{verwachting/aanname negatief}	0
{onduidelijkheid}	0
{op elkaar lijkende opties}	0
{suggestie}	1

Gemiddelden

Hieronder hebben we de gemiddelde tijd en klikken uitgerekend voor elke opdracht. Voor de duidelijkheid zijn de richttijden- en klikken ook opgenomen.

Opdracht	Richtklikken	Gemiddelde klikken	Richttijd	Gemiddelde tijd
1. Roosterinformatie	4	11,2	0:55	3:08.8
2. Homepage	4	5,4	2:00	2:37.2
3. Vakinformatie	5	7,2	0:45	1:23
4. Contactinformatie	3	6,4	0:30	0:59.4

Labels

Label	Totaal aantal	Gemiddeld aantal per opdracht
{verwachting/aanname positief}	16	4
{voorkennis/ervaring}	18	4,5
{verwachting/aanname negatief}	4	1
{onduidelijkheid}	6	1,5
{op elkaar lijkende opties}	1	0,25
{suggestie}	4	1

Conclusie

Opdracht 1: Roosterinformatie voor het vak Informatie & Control

Bij het zoeken naar roosterinformatie zien we dat de labels voornamelijk positief zijn maar dat deze opdracht gemiddeld genomen niet echt snel gedaan is (duurde het langst van alle 4 de opdrachten), en dat er ook veel meer geklikt is. Deze tegenstelling kan worden veroorzaakt door een aantal uitschieters in tijd en klikken die het gemiddelde van deze opdracht behoorlijk opdrijven. Daarnaast heeft proefpersoon 1 er lang over gedaan, maar was het ook onze eerste proefpersoon en hebben we deze gezien de tijd niet genoeg laten praten. Doordat drie reacties een tijd hebben van boven de gemiddelde tijd, en ver boven de gemiddelde tijden van andere opdrachten, zijn we toch geneigd om te zeggen dat het zoeken van roosterinformatie bij managementwetenschappen niet inituitief werkt. Uit het 'klikpatroon'(het pad van links wat ze gevolgd hebben) is verder ook op te maken dat 3 van de 5 personen dezelfde fout maken (ze komen terecht bij vakinformatie via de studiegids en niet bij roosterinformatie).

Opdracht 2: Eigen homepage plaatsen op je RU account

Deze opdracht verliep soepel, terwijl we hadden ingeschat dat het moeizamer zou gaan. Bij het zelf nalopen van het begin van de testsessie tot het bereiken van de doelpagina was het niet altijd duidelijk welke richting er moest worden gekozen op de website. De deelnemers aan de TAP-sessie volgden echter precies of bijna precies ons pad, wat ook het kortste was. Ook de gemiddelde tijd van de deelnemers kwam het dichtst bij de tijd van de testsessie.

Wat vooral opviel, was dat elke proefpersoon, met uitzondering van proefpersoon 4, 'onduidelijkheid' als label had gebruikt. De website is dus duidelijk onoverzichtelijk en de informatie niet zo spontaan te verkrijgen als zou moeten. Aan de andere kant wordt er veel gededuceerd tijdens de TAP-sessie, gezien het feit dat er ook veel positieve labels 'ervaring' zijn gevonden in de transcripties. Een oorzaak hiervan is dat de gebruiker op sommige pagina's maar één keuze krijgen om op te klikken. Hoewel die keuze niet altijd logisch hoeft te zijn, brengt het de proefpersoon naar de volgende stap in het bereiken van de doelpagina.

Opdracht 3: Vakinformatie voor het vak Kennismanagement

De resultaten bij deze opdracht waren positief. Het gemiddelde aantal klikken lag ongeveer 2 klikken hoger dan het minimum. De gemiddelde tijd lag ruim een halve minuut boven de richttijd. Dit is vooral te verklaren door proefpersoon 2. Vergeleken met de andere proefpersonen deed deze persoon er veel langer over. Deze persoon raakte de weg kwijt en moest veel zoeken en lezen. Het aantal klikken lag ook hoog doordat deze persoon na het vastlopen enkele malen terug moest. Proefpersoon 3 moest ook wat langer lezen. De andere proefpersonen waren allemaal vrij snel. Twee lagen onder de richttijd, de laatste zat er boven. Personen 1, 3, 4 en 5 gaven allemaal voorkennis aan, dit verklaard mede het grote verschil met persoon 2. Bij persoon 2 was er enige onduidelijkheid over wat deze precies moest zoeken. Deze persoon dacht dat studiegidsinformatie niet het gezochte was. De andere personen legden deze link wel. Dit had beter gekund, we hadden wellicht de opdracht nog iets duidelijker moeten stellen. Ook ligt de richttijd onder de gemiddelde tijd. Wellicht hebben we dit iets verkeerd ingeschat. Maar er is nog een factor bij deze opdracht en dat is beïnvloeding van opdracht 1. Enkele personen hadden al reeds studieinformatie gevonden bij de zoektocht naar roosterinformatie, daardoor konden ze dit snel oplossen. Sommigen gaven dit ook aan. Mocht dit onderzoek een keer opnieuw gedaan worden dan is het belangrijk om te zorgen dat opdrachten elkaar niet beïnvloeden, de opdrachten duidelijk te stellen en de richttijden beter in te schatten.

Opdracht 4: Contactinformatie van Patrick van Bommel (FNWI)

De gemiddelde aantal klikken en tijd lagen beiden ongeveer twee maal zo hoog als geschat. Drie personen lagen onder de 50 seconden, maar nog steeds boven de richttijd en dat terwijl persoon 1 de snelste route gekozen en persoon 2 bijna de optimale route gekozen heeft. Dit is een indicatie dat onze richttijd te laag is. Het valt op dat 4 van de 5 personen naar de site van de faculteit, waarvan 2 naar de site van het instituut gaan om daar informatie te zoeken. Slechts 1 persoon ging rechtstreeks naar de zoekfunctie voor contactinformatie, persoon 2 ging er via een omweg van 1 klik naar de faculteitssite. Dit geeft te denken. 5 personen is natuurlijk te weinig om een conclusie te trekken, maar het lijkt alsof er een indicatie is dat het niet vanzelfsprekend is dat het bekend is dat e-mail adressen en telefoonnummers op de centrale homepage. 4 mensen gaan automatisch eerst naar de faculteitssite. Wellicht kan deze functie beter aangegeven worden op de website.

Eindconclusie

We komen tot de beantwoording van de onderzoeksvraag door de conclusies van de afzonderlijke opdrachten gezamenlijk te bekijken.

De efficientie van de website is over het algemeen voldoende bevonden. De opgegeven opdrachten, die elk een onderdeel van de onderzoeksvraag vertegenwoordigden, konden door de proefpersonen over het algemeen zonder al teveel problemen worden opgelost. Voorkennis en/of ervaring die de proefpersoon reeds bezat of tijdens de TAP-sessie heeft verkregen is de meest bepalende positieve factor geweest om tot die conclusie te kunnen komen.

De resultaten zijn wat we van tevoren verwacht hadden, al zijn er factoren zoals tijd die we minder goed hebben ingeschat. Elke opdracht is binnen een redelijk tijdsbestek uit te voeren en het gemiddelde aantal klikken dat voor de opdrachten stond, verschillen niet veel van de aantallen die uit de TAP-sessies zijn gebleken.

Het uitvoeren van TAP-sessies is een goede methode gebleken om aan het licht te brengen wat gebruikers van de universiteitswebsite vinden. Over het algemeen praatten de proefpersonen niet met ons als ze de weg wisten te vinden binnen de sessie. Uit de sessies bleek, dat er nog zat punten zijn, waarop de website verbeterd kan worden. Daarbij kan worden gekeken naar onder andere het beter weergeven van informatie op de afzonderlijke webpagina's, de structurering van de website wijzigen en het aanbrengen van een sitemap op de website.

Naast het voldoende bestempelen van de website hebben we zelf ook veel leermomenten meegemaakt, die ons helpen in de toekomst nog gestructureerder aan het werk te gaan.

Leermomenten

• Tijdens het afnemen bleek dat opdracht 3 beïnvloed kon worden door opdracht 1, omdat enkele deelnemers de roosterinformatie uit de studiegids van Bedrijfswetenschappen wilden halen en alleen maar op vakinformatie uit kwamen. Opdracht 3 konden ze daardoor relatief simpel uitvoeren. Hier hadden we niet bij stil gestaan. Als we in de toekomst nog eens TAP-sessies opzetten is het van belang om hierop te letten.
• We hebben verder gemerkt dat het meeschrijven en typen tijdens het praten niet helemaal goed werkt. De volgende keer is gebruik van opname apparatuur toch van belang.
• Ook denken we dat het handig is om op te nemen wat de testpersonen doen. Dit kan software matig met "screengrabbers" die opnemen wat er gebeurd op het scherm of een camera achter de persoon die opneemt wat de persoon doet. Dit biedt extra visuele ondersteuning tijdens het analyseren van de gegevens omdat men makkelijk snel nog eens kan nagaan hoe een testpersoon te werk is gegaan.
• Ook bleek dat enkele studenten door veelvuldig gebruik van de website beter de weg wisten op de site dan anderen. Het is belangrijk om hier ook rekening mee te houden bij een volgende keer. Deze factor "voorkennis" blijkt een veel grotere impact hebben dan verwacht. Erg vaak gaven de personen aan al voorkennis te hebben. Dit komt terug in de labeltelling. Hier dient dus goed rekening mee gehouden te worden.
• Ook is gebleken dat de testsubjecten veel praatten op momenten dat ze even vast liepen. Testsubjecten die wisten waar ze naartoe moesten klikten snel door zonder veel commentaar te leveren. We hebben ze wel gevraagd welke acties ze ondernamen en hun motivatie daarvoor, maar dit zou een volgende keer nog gedetailleerder kunnen.
• Onze richttijden lijken te laag ingeschat, de gemiddeldes lagen in alle gevallen minimaal 30 seconden hoger. Dit moeten we beter inschatten. We moeten er rekening mee houden dat de proefpersonen er langer over zullen doen doordat wij ze vragen om te praten en uit te leggen wat ze doen en waarom. Dit kost extra tijd.
• Het bleek erg moeilijk te zijn om de proefpersonen niet te helpen, vooral wanneer ze vastlopen.

Planning

Activiteit	Week
Verder werken aan conceptueel model	12 november
Concrete zoekopdrachten maken en deelnemers uitnodigen	19 november
Concrete zoekopdrachten maken en deelnemers uitnodigen	26 november
begrip efficiëntie verder uitwerken	03 december
Methode verder uitwerken	10 december
TAP-sessies afnemen	17 december
Kerstvakantie	24 december
TAP-sessies afnemen + analyse	07 januari
Analyse en conclusietrekking + presentatie	14 janurari