Research and Development 1/2012-13/projecten/XXXX/beoordeling

Fase 1

App

Cijfer: 8

	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Werking	hapert of werkt nauwelijks	werkende app, maar niet alle gevraagde functies gerealiseerd	alle functies gerealiseerd, werking robuust	idem, originele toevoegingen gerealiseerd
Vormgeving	onduidelijke of onlogische vormgeving	basic vormgeving, alleen geschikt als prototype	verzorgde vormgeving, geschikt voor gebruikers	aantrekkelijke, professionele vormgeving
Code	weinig gestructureerd	gestructureerd volgens standaardindeling app-software, maar opsplitsing is niet overal logisch	volledig gestructureerd volgens standaardindeling app-software	idem, voldoet aan alle gebruikelijke kwaliteitscriteria voor programmeren (zou een voorbeeld-uitwerking kunnen zijn)
Demo	tonen geen werkende versie, hebben er geen verklaring voor	aarzelend, hebben niet op alle informatieve vragen een passend antwoord	stralen vertrouwen uit, beantwoorden informatieve vragen adequaat, gebruiken vaktermen	idem, kunnen gemaakte keuzes verdedigen (en bv alternatieven afwegen)
Opmerkingen

Expert review

Cijfer: 5

	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Introductie	onvolledig	vaag: alle aspecten beschreven maar niet uitgewerkt	werkwijze toegelicht, voorstelbaar, met enige interpretatie/uitwerking navolgbaar	compleet, navolgbaar, overdraagbaar
Personas	summier beschreven	laat veel (voor de app essentiële kenmerken) aan de interpretatie van de lezer over	voorstelbaar, realistisch	rijke beschrijving met originele en nuttige details
	niet passend	passend maar eenzijdig of vergezocht	representatief	idem, gevarieerd, weldoordacht, beargumenteerd
Taken	summier beschreven	beschreven in termen van handelingen	beschreven in termen van resultaten	idem, volledige specificatie met voor de taak benodigde gegevens
	niet passend	passend maar eenzijdig	representatief, goed gespreid	idem, weldoordacht, beargumenteerd
Bevindingen	in vage termen	op enkele punten voor verschillende interpretaties vatbaar	concrete observaties, in termen van gekozen taak, app-onderdelen	idem, gedetailleerd, voorstelbaar, navolgbaar
Conclusie	komt uit de lucht vallen, speculatief	consistent met de resultaten, maar onvolledig	volgt uit de resultaten	beredeneerd vanuit de resultaten
	los van usability-heuristieken	gekoppeld aan usability-heuristieken, maar niet correct of niet consequent	correct gekoppeld aan usability-heuristieken	eigen verfijningen of patronen toegevoegd
	gevolgen voor (door)ontwikkeling ontbreken	enkele gevolgen aangeduid	gevolgen voor ontwikkeling systematisch beschreven, na enige interpretatie door toekomstige ontwikkelaars te gebruiken	idem, in termen van concrete acties en verbeteringen, overdraagbaar
Stijl	observaties en persoonlijke waarde-oordelen gemengd	observaties voornamelijk in interpreterende, subjectieve stijl	hier en daar interpreterende stijl naast 'droge' gegevens	observaties en interpretatie consequent gescheiden
Opmerkingen

Fase 2

Ontwerpdocument

Cijfer: 6

	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Inleiding	onvolledig	vaag, laat veel aan voorstellingsvermogen van de lezer over	informatief over vorm en gedrag, met weinig moeite voorstelbaar	geeft een compleet beeld
Verantwoording	geen verwijzingen naar verwante producten en succesfactoren	vergelijking met verwante producten en succesfactoren, maar eigen indruk staat voorop	bevat zorgvuldige redenering gebaseerd op vergelijking met enkele verwante producten en succesfactoren	overtuigend; geeft een compleet beeld van de waarde van de app ten opzichte van bestaande producten en succesfactoren
Requirements	vergezocht of obligaat	zinvolle eigenschappen, maar oogt niet volledig	zinvol, volledig	rijk, doordacht
	vaag, ambigu	vaag maar interpreteerbaar	specifiek	volledig SMART
Globaal ontwerp	onhandig, reduceert complexiteit nauwelijks	adequaat maar hier en daar onhandig	zinvolle modularisering, adeqaat	vakkundig, origineel, ingenieus
	summier beschreven	informatief maar bevat hiaten of onduidelijkheden over samenhang en werking	samenhang beschreven en werking beargumenteerd, er ontbreken hooguit details	volledige beschrijving en correcte argumentatie
Gegevensontwerp	summier of ontbreekt	datastructuren beschreven, maar niet overal handig gekozen	de relevante gegevenstypen benoemd; passende datastructuur gekozen	gestructureerde aanpak en/of zinvolle ontwerpbeslissingen zoals opslaglocatie aangegeven
Detail-ontwerp	niet in termen van klassen, attributen, methoden	in de juiste termen, maar niet volledig tov use cases	volledig tov use cases, essentiële klassen en methoden genoemd	volledig tov use cases, uitgebreid met voorziene systeemspecifieke onderdelen
Userinterface	onvolledig	(niet veel meer dan) screenshots	screenshots met toelichting over belangrijkste functies	compleet beeld van ontwerp van de gebruikersinteractie
Planning	ontbreekt of in algemene termen (bv uit de cursusplanning)	in termen van activiteiten of handelingen, of globale deelproducten/componenten	in termen van specifieke deelproducten of componenten	idem, en zinvolle details over werkverdeling en fasering vermeld
Opmerkingen

Tussenpresentatie

Cijfer: 6.5

PRESENTATIETECHNIEK	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Stemgebruik	spreekt te zacht, te monotoon en/of teveel binnensmonds	spreekt luid genoeg, maar te monotoon en/of binnensmonds	spreekt luid genoeg, brengt variatie in toonhoogte aan en articuleert goed	is uitstekend te verstaan; weet te boeien met natuurlijke variaties in toonhoogte, volume en tempo
Fluency	maakt vaak zinnen niet af en/of aarzelt vaak	aarzelt geregeld	aarzelt af en toe	spreekt vloeiend
Houding	zit gedurende de presentatie of staat ongemakkelijk; de houding is onzeker	toont geregeld door zijn houding dat hij zich niet op zijn gemak voelt	toont nog af en toe door zijn houding dat hij zich niet op zijn gemak voelt	heeft gedurende de presentatie een ontspannen houding
Gezichtsuitdrukking	toont geen mimiek of heeft constant een gespannen gezichtsuitdrukking	toont geregeld een gespannen gezichtsuitdrukking	toont nog af en toe een gespannen gezichtsuitdrukking, maar vertoont ook geregeld een treffende mimiek	toont telkens een gezichtsuitdrukking die de presentatie ondersteunt
Gebaren	ondersteunt zijn verhaal niet met toepasselijke gebaren	ondersteunt zijn verhaal slechts af en toe met toepasselijke gebaren	ondersteunt zijn verhaal geregeld met toepasselijke gebaren	ondersteunt zijn verhaal op natuurlijke wijze met toepasselijke gebaren
Wisselwerking	kijkt het publiek niet aan; het publiek lijkt er voor de spreker niet te zijn	zoekt slechts af en toe contact met het publiek; reageert incidenteel op signalen uit het publiek	heeft geregeld contact met het publiek, reageert adequaat op vragen en opmerkingen	heeft voortdurend contact met het publiek; pakt verbale en nonverbale signalen adequaat op
Betrokkenheid	toont geen enkele interesse in het onderwerp; wekt plichtmatige indruk	toont af en toe interesse voor het onderwerp	maakt doorgaans een geïnteresseerde en betrokken indruk	straalt gedurende de hele presentatie enthousiasme voor het onderwerp uit
Technische hulpmiddelen	de ondersteuning is slecht gekozen en leidt de aandacht slechts af	het type ondersteuning is goed gekozen, maar de vormgeving is matig	de ondersteuning is goed gekozen en adequaat toegepast: de presentatie wordt er effectief door ondersteund	de ondersteuning is voortreffelijk ingezet: de presentatie wordt er door verrijkt
Opmerkingen

OPBOUW	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Structuur	presenteert zonder duidelijke opbouw of lijn	er is een basisstructuur begin-middenstuk-eind te herkennen, maar de interne samenhang is onduidelijk	de basisstructuur begin-middenstuk-eind is duidelijk aanwezig; de volgorde binnen het middenstuk is logisch	originele en doeltreffende vertelstructuur; de onderdelen vormen een aantrekkelijk en vloeiend geheel
Introductie	summier of afwezig	maakt slechts vaag duidelijk waar de presentatie over zal gaan	geeft een goed overzicht van het vervolg van de presentatie	weet het publiek te boeien voor het onderwerp en te interesseren voor het vervolg van de presentatie
Afronding	abrupt of onverwacht einde	de presentatie heeft een rommelig einde of gaat als een nachtkaars uit	de presentatie eindigt duidelijk en punctueel met een samenvatting van belangrijke punten	de spreker blikt terug op de inhoud van de presentatie op originele en/of memorabele wijze
Tijd	veel te lang of veel te kort; staat niet in verhouding tot de toegewezen tijd	enigszins te lang of te kort	de spreker past ter plekke de presentatie aan om aan de tijdslimiet te voldoen	de presentatie past precies binnen de beoogde tijd
Opmerkingen

INHOUD	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Volledigheid	er ontbreekt essentiële informatie of de uitleg is niet te begrijpen	de informatie is volledig, maar de dosering (keuze om onderdelen uitvoerig of juist kort te bespreken) is onevenwichtig	de informatie was precies goed om het verhaal te kunnen volgen	gaat diepgaand in op alle onderdelen
Ordening	de uitleg is niet te volgen, het publiek haakt af	de grote lijn is te volgen, maar op details is de volgorde onlogisch, waardoor het publiek deze mist	de grote lijn is te volgen; op details is de volgorde niet altijd logisch, maar dit hindert het publiek niet	op elk moment is de voorafgaande informatie voldoende om de uitleg te kunnen volgen
Doelstelling	er is geen duidelijk doel, of de presentatie gaat aan het gekozen doel voorbij	er is een duidelijk doel voor de presentatie, maar de presentatie maakt dat niet geheel waar	er is een duidelijk doel voor de presentatie, en de presentatie beantwoordt daaraan	het presentatiedoel en de uitwerking zijn weldoordacht en origineel
Opmerkingen

Fase 3

Usability-verslag

Cijfer: 6,5

	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Testdoelen	summier of gebrekkig	concreet, beperkt	concreet, zinvol, substantieel	volledige usability-kern van de specificaties
	verband met specs en andere criteria onduidelijk	verwant met specs en gangbare algemene usabilitycriteria, maar niet toegelicht	relatie met specs en gangbare algemene usabilitycriteria toegelicht	relatie toegelicht, keuze/afweging verantwoord
Methode	summier of erg onvolledig	vaag, alle aspecten beschreven maar niet consequent uitgewerkt	voorstelbaar, met enige interpretatie/uitwerking uitvoerbaar	compleet, uitvoerbaar, overdraagbaar
	grote discrepantie tussen testdoelen en testontwerp; validiteit onvoldoende	enige discrepantie tussen testdoelen en testontwerp; validiteit staat ter discussie	groepen, scenario's, methoden passen bij testdoelen (validiteit) en praktische uitvoerbaarheid	validiteit beredeneerd
Resultaten	in vage termen	op enkele punten voor verschillende interpretaties vatbaar	concrete observaties, in termen van gekozen taak, app-onderdelen	idem, gedetailleerd, voorstelbaar, navolgbaar
Conclusie	komt uit de lucht vallen, speculatief	past bij testdoelen, consistent met de resultaten, maar onvolledig	past bij testdoelen, volgt uit de resultaten	past bij testdoelen, beredeneerd vanuit de resultaten
	gevolgen voor (door)ontwikkeling ontbreken	enkele gevolgen aangeduid	gevolgen voor ontwikkeling systematisch beschreven, na enige interpretatie door toekomstige ontwikkelaars te gebruiken	idem, in termen van concrete acties en verbeteringen, overdraagbaar
Stijl	observaties en persoonlijke waarde-oordelen gemengd	observaties voornamelijk in interpreterende, subjectieve stijl	hier en daar interpreterende stijl naast 'droge' gegevens	observaties en interpretatie consequent gescheiden
Opmerkingen	Argumentatie tegen hardop denken niet sluitend. Vragen zijn vaag: scherp aan zodat de antwoorden beter te interpreteren zijn. Testdoelen lijken niet bij de testmogelijkheden te passen (althans, volgens de conclusie). Conclusies geformuleerd in vage termen, vandaar 2 voor stijl.

Eindpresentatie

Cijfer: 7

PRESENTATIETECHNIEK	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Stemgebruik	spreekt te zacht, te monotoon en/of teveel binnensmonds	spreekt luid genoeg, maar te monotoon en/of binnensmonds	spreekt luid genoeg, brengt variatie in toonhoogte aan en articuleert goed	is uitstekend te verstaan; weet te boeien met natuurlijke variaties in toonhoogte, volume en tempo
Fluency	maakt vaak zinnen niet af en/of aarzelt vaak	aarzelt geregeld	aarzelt af en toe	spreekt vloeiend
Houding	zit gedurende de presentatie of staat ongemakkelijk; de houding is onzeker	toont geregeld door zijn houding dat hij zich niet op zijn gemak voelt	toont nog af en toe door zijn houding dat hij zich niet op zijn gemak voelt	heeft gedurende de presentatie een ontspannen houding
Gezichtsuitdrukking	toont geen mimiek of heeft constant een gespannen gezichtsuitdrukking	toont geregeld een gespannen gezichtsuitdrukking	toont nog af en toe een gespannen gezichtsuitdrukking, maar vertoont ook geregeld een treffende mimiek	toont telkens een gezichtsuitdrukking die de presentatie ondersteunt
Gebaren	ondersteunt zijn verhaal niet met toepasselijke gebaren	ondersteunt zijn verhaal slechts af en toe met toepasselijke gebaren	ondersteunt zijn verhaal geregeld met toepasselijke gebaren	ondersteunt zijn verhaal op natuurlijke wijze met toepasselijke gebaren
Wisselwerking	kijkt het publiek niet aan; het publiek lijkt er voor de spreker niet te zijn	zoekt slechts af en toe contact met het publiek; reageert incidenteel op signalen uit het publiek	heeft geregeld contact met het publiek, reageert adequaat op vragen en opmerkingen	heeft voortdurend contact met het publiek; pakt verbale en nonverbale signalen adequaat op
Betrokkenheid	toont geen enkele interesse in het onderwerp; wekt plichtmatige indruk	toont af en toe interesse voor het onderwerp	maakt doorgaans een geïnteresseerde en betrokken indruk	straalt gedurende de hele presentatie enthousiasme voor het onderwerp uit
Technische hulpmiddelen	de ondersteuning is slecht gekozen en leidt de aandacht slechts af	het type ondersteuning is goed gekozen, maar de vormgeving is matig	de ondersteuning is goed gekozen en adequaat toegepast: de presentatie wordt er effectief door ondersteund	de ondersteuning is voortreffelijk ingezet: de presentatie wordt er door verrijkt
Opmerkingen

OPBOUW	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Structuur	presenteert zonder duidelijke opbouw of lijn	er is een basisstructuur begin-middenstuk-eind te herkennen, maar de interne samenhang is onduidelijk	de basisstructuur begin-middenstuk-eind is duidelijk aanwezig; de volgorde binnen het middenstuk is logisch	originele en doeltreffende vertelstructuur; de onderdelen vormen een aantrekkelijk en vloeiend geheel
Introductie	summier of afwezig	maakt slechts vaag duidelijk waar de presentatie over zal gaan	geeft een goed overzicht van het vervolg van de presentatie	weet het publiek te boeien voor het onderwerp en te interesseren voor het vervolg van de presentatie
Afronding	abrupt of onverwacht einde	de presentatie heeft een rommelig einde of gaat als een nachtkaars uit	de presentatie eindigt duidelijk en punctueel met een samenvatting van belangrijke punten	de spreker blikt terug op de inhoud van de presentatie op originele en/of memorabele wijze
Tijd	veel te lang of veel te kort; staat niet in verhouding tot de toegewezen tijd	enigszins te lang of te kort	de spreker past ter plekke de presentatie aan om aan de tijdslimiet te voldoen	de presentatie past precies binnen de beoogde tijd
Opmerkingen

INHOUD	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Volledigheid	er ontbreekt essentiële informatie of de uitleg is niet te begrijpen	de informatie is volledig, maar de dosering (keuze om onderdelen uitvoerig of juist kort te bespreken) is onevenwichtig	de informatie was precies goed om het verhaal te kunnen volgen	gaat diepgaand in op alle onderdelen
Ordening	de uitleg is niet te volgen, het publiek haakt af	de grote lijn is te volgen, maar op details is de volgorde onlogisch, waardoor het publiek deze mist	de grote lijn is te volgen; op details is de volgorde niet altijd logisch, maar dit hindert het publiek niet	op elk moment is de voorafgaande informatie voldoende om de uitleg te kunnen volgen
Doelstelling	er is geen duidelijk doel, of de presentatie gaat aan het gekozen doel voorbij	er is een duidelijk doel voor de presentatie, maar de presentatie maakt dat niet geheel waar	er is een duidelijk doel voor de presentatie, en de presentatie beantwoordt daaraan	het presentatiedoel en de uitwerking zijn weldoordacht en origineel
Opmerkingen