Research and Development 1/2012-13/projecten/self development app/Usability Verslag
Het LaTeX bestand
De Stuiterbal valt niet ver van de boom
Self development app
Phil Geelhoed, Sietse Mooren en Martijn Nanne
Voorwoord
Dit verslag is een usability onderzoek van de app; Blue Ball, gemaakt door de Stuiterballen groep. In dit verslag kijken we naar verschillende aspecten van de app wat betreft usability. Dit doen we door ten eerste testdoelen op te stellen, daarbij maken we gebruik van de 5E's (efficient, effective, engaging, error tollerant en easy to learn). Daarna later we onze testaanpak zien in het kopje methode, daar worden ook onze scenario's besproken. In onze laatste twee kopjes beschrijven we onze resultaten en de conclusie die we daaruit hebben getrokken.
Nu even over de app Blue Ball. In de app is het de bedoeling d.m.v. je G-sensor van je smartphone een grot door te komen terwijl je achtervolgt wordt door een hete stroom lava. de bal die je de grot doorstuurt kan gehinderd worden door vervelend geplaatste rotsen. Het doel is om een zo'n hoog mogelijke highscore te behalen.
Testdoelen
Met onze testdoelen hebben we rekening gehouden met de 5E's, dit zijn ze;
- Testen of volgens de gebruiker de app niet traag reageert (Engaging).
- Bepalen of de app snel bij het hoofddoel komt, dwz hoe snel kun je de daadwerkelijke game opstarten en spelen (Efficient).
- Testen of het gebruik van de app voor de gebruiker, die nog nooit zo'n game heeft gespeeld, makkelijk te begrijpen is zonder uitleg (Easy to learn).
- Bepalen of de gebruiker na het eerste gebruik van de app, de app nog een keer wil gebruiken (Engaging).
- Bepalen of de gebruiker met de app bereikt, wat hij verwacht had te bereiken (Effective).
- Bepalen of de gebruiker vindt dat de app niet te veel crasht (Error tolerant).
- Testen of de gebruiker de app sneller heeft opgestart dan de eerste keer spelen, en mogelijk ook zijn huidige record/highscore verbreekt.
- Testen wat de gebruiker van de speelervaring vindt.
Wij kiezen voor deze punten omdat volgens onderzoek van Whitney Quesenberry is gebleken dat dit een volledig beeld geeft van een Usability-test, verder is het laatste punt nog een overig aspect of er dus daadwerkelijk een verbetering in zit als je de app vaker speelt, Dit is net een stapje verder dan het Easy to learn aspect, want het leren is een ding, maar er automatisch goed in worden is een tweede.
Methode
Gebruikersgroepen
We maken hier onderscheid in 3 groepen.
Mensen die veel games spelen
Mensen die veel games spelen zijn ervaren met bijvoorbeeld de menu's van een game en hebben snel de besturing onder de knie. Ook zien zei sneller wat de mechaniek achter de game is. bijv. een goede engine.
Mensen die goed met smartphones om kunnen gaan
Deze mensen weten hoe ze een smartphone kunnen besturen en weten wat er allemaal mogelijk is op het gebied van apps. Toch zullen ze op een hele andere manier naar de app kijken als de gamers, deze zijn vooral gefocust op het android aspect.
Mensen die geen smartphone hebben
Deze mensen weten weinig of niks van de besturing en of functionaliteiten van een smartphone, laat staan games op een smartphone.
Scenario's
In weze heeft deze app niet veel verschillende functionaliteiten, dus hebben we ook niet heel veel verschillende scenario's op kunnen stellen. we nemen aan dat elke gebruiker de app nog nooit gespeeld heeft.
Scenario 1
- Start de app
- Start het spel op.
- Probeer drie keer zo'n hoog mogelijke score te halen.
- Vindt je scores terug in de highscore lijst.
- Sluit de app.
Scenario 2
- Start de app.
- Verander de taal van de app.
- Start het spel op.
- Verander na het spelen nog een keer de taal.
- Speel het spel opnieuw.
- Vertel aan ons of je de vertaling vindt kloppen.
- Sluit de app af.
In beide gevallen testen we de game, de ene volgens de taalfunctie die erin zit, de andere met de werking van highscores, zo hebben alle aspecten van de app behandelt.
Methode voor het verzamelen van gegevens
Wij hebben ervoor gekozen om na het afleggen van de hier bovenstaande scenario's bij de verschillende groepen(Gamer, Androidgebruiker, en onervaren). onszelf kritische vragen te stellen. We hebben de vragen afgestelt op onze testdoelen. Het mooie van een vragen stellen achteraf is dat het zeer flexibel is. de onderzoeker is instaat ter plekke extra vragen te bedenken die het gesprek met de gebruiker kunnen bevorderen. Ook ben je, door extra vragen te stellen, in staat meer informatie en meningen van de gebruiker te weten te komen.
Vragen die wij onderandere gaan stellen zijn:
- Wat had je van te voren verwacht van de app?
- Voldoet de app aan je verwachtingen?
- Wat vond je vervelend in het gebruik van de app?
- Heb je bereikt wat je wilde bereiken?
- Vond je dat de app je genoeg response gaf, zodat je wist waar de app mee bezig was?
- Vond je dat de app snel genoeg reageerde?
- Vond je het duidelijk waar alles te vinden was (bijv. Taalwijziging of de highscores)
- Heb je een tip hoe het beter zou kunnen?
- Zou je deze app vaker spelen om je highscore te verbeteren?
- Vond je het een stabiele app, crashte hij niet/weinig?
Onze gebruikersgroepen komen goed overeen met ons drieen in de groep. Martijn is een doorgewinterde gamer die veel toetsenboorden van zijn pc heeft versleten, echter in smartphone games is hij niet ervaren. Phil maakt veel gebruik van zijn smartphone, hij wil het liefst altijd het nieuwste model hebben en maakt veel gebruik van verschillende apps. Sietse heeft nog steeds geen smartphone, zijn broekzak scheurt bijna van zijn mobiele koelkast die hij mee draagt.
ons stappenplan
- We geven de telefoon aan de tester met de app nog niet opgestart.
- Elke tester voert beide scenario's uit.
- Na de scenario's nemen de vragenlijst door.
- als laatste vragen we wat de testers laatste conclusie is.
Resultaten
Onze resultaten sorteren we op de testdoelen die we hierboven hebben gespecificieerd. Ons laatste testdoel is echter geheel persoonlijk en zullen we in het kopje conclusie mee verwerken. We hebben de app getest op een htc One met Android 4.1.2 en een quadcore 1,7 ghz processor.
Testen of volgens de gebruiker de app niet traag reageert (Engaging).
Testdoel behaald
We waren het er alle drie over eens dat de app niet te traag is. het duurt enkele milliseconden (niet te merken) voor de app is opgestart en de game zelf duurt niet langer om op te starten. Er zijn geen loading screens in de app, maar die zijn ook niet nodig vanwege de razendsnelle besturing. Ook de g-sensor reageert direct op beweging.
Bepalen of de app snel bij het hoofddoel komt, d.w.z. hoe snel kun je de daadwerkelijke game opstarten en spelen (Efficient).
testdoel behaald
onze gemiddelde stand over 10 keer opstarten en daarna volledig afsluiten is: 1,3 seconden.
Testen of het gebruik van de app voor de gebruiker, die nog nooit zo'n game heeft gespeeld, makkelijk te begrijpen is zonder uitleg (Easy to learn).
Testdoel niet behaald
Over dit punt hebben we lang gediscussieerd. Er is geen uitleg van de app en het is ook niet duidelijk dat de G-sensor voor de besturing zorgt voor de game, Martijn en Phil hadden redelijk snel door hoe de besturing werkte. Sietse daarintegen zat veel op het scherm te tikken, daardoor kwam er de discussie of deze app daadwerkelijk easy-to-learn is. Uiteindelijk kwamen tot het besluit dat dit niet het geval is. Je moet er volledig op eigen houtje achterkomen dat de besturing met de G-sensor werkt. Een kleine uitleg of bijvoorbeeld een tiltpijltje ofzo zou dit al heel simpel kunnen verwerken.
Bepalen of de gebruiker na het eerste gebruik van de app, de app nog een keer wil gebruiken (Engaging).
Testdoel behaald
Door het geimplementeerde highscore systeem werkt deze app verslavend, daar waren we het alle drie over eens. Je wilt al snel een hogere highscore halen.
Bepalen of de gebruiker met de app bereikt, wat hij verwacht had te bereiken (Effective).
Testdoel behaald
Deze app gebruik je natuurlijk om een leuk simpel spelletje te halen, dat was in ieder geval het doel wat we voor ogen hadden. Dit is zeker behaald, we alle drie vonden de app "entertaining" om te spelen
Bepalen of de gebruiker vindt dat de app niet te veel crasht (Error tolerant).
Testdoel behaald
Na een nieuwere versie van de app te hebben verkregen van de Stuiterballen groep. is er in alle testen geen crash voorgekomen, wel zijn er een aantal bugs voorgekomen zoals dat de bal ineens van locatie springt of dat de bal op een ontzichbare muur stuitert.
Testen of de gebruiker de app sneller heeft opgestart dan de eerste keer spelen, en mogelijk ook zijn huidige record/highscore verbreekt.
Testdoel behaald
Er zit zeker verbetering in de speelervaring, we merkten dat we steeds beter werden in het spel naarmate we het vaker speelden.
Conclusie
Zit erbij in LaTeX bestand
