Onderzoeksmethoden/2014-15/toetsing en beoordeling

Toetsing en beoordeling

Het eindcijfer wordt bepaald aan de hand van de onderdelen

• onderzoeksplan
• onderzoeksinstrument

Als voorwaarde vooraf geldt deelname aan de feedbacksessies, inclusief ‘peer review’.

Onderzoeksplan

Door de beoordelaar wordt de rubric ingevuld (zie verderop). De rubric bestaat uit 6 deelrubrics, van Probleemstelling tot en met Algemeen.

Per deelrubric wordt een cijfer bepaald door het gemiddelde van de cel-waarden te berekenen aan de hand van de volgende omrekentabel.

ondeugdelijk	matig	adequaat	excellent
1	5	8	10

Vervolgens wordt het gewogen gemiddelde van de cijfers van de deelrubrics bepaald. De weegfactoren zijn:

Probleemstelling	2
Verantwoording	2
Theoretisch kader en Literatuur	3
Methode	3
Tijdschema	1
Algemeen	2

Het zo verkregen cijfer is het cijfer voor het onderzoeksplan, afgerond op halven (OP).

Onderzoeksinstrument

De kwaliteit van de onderdelen van het instrument (zie de specificaties van elk type) wordt bepaald, resulterend in één van onderstaande beoordelingen:

o	onvoldoende
v	voldoende
g	goed
zg	zeer goed
x	ontbreekt of onvolledig (aspecten uit de specificatie ontbreken)

Eindcijfer

Oneigenlijke compensatie van cruciale missers wordt voorkomen door de volgende situaties als ‘knock out’ factoren aan te merken:

• meer dan 2 rubric-onderdelen scoren ‘ondeugdelijk’
• de deelrubrics Theoretisch kader/Literatuur en Methode hebben beide een onvoldoende score (< 6)
• het onderzoeksinstrument is met x beoordeeld.

Als één van deze factoren van toepassing is, dan is het eindcijfer het minimum van 5 en OP.

In de andere gevallen is het eindcijfer het cijfer voor het onderzoeksplan, eventueel aangepast volgens onderstaande regels.

onderzoeksinstrument	als …	... dan is het eindcijfer …
o	OP > 5	OP – 0,5
v	OP < 6,5	OP + 0,5
g	OP < 8,5	OP + 0,5
zg	OP < 9,5	OP + 1

Rubric onderzoeksplan

PROBLEEMSTELLING	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Introductie	ozvraag komt uit de lucht vallen, op basis van (niet uitgewerkte) eigen ideeën of opvattingen	ozvraag ingeleid met plausibele redenering (vooronderstellingen, hypothesen, …) zonder externe onderbouwing	ozvraag komt voort uit plausibele inleiding die (vwb vooronderstellingen) wordt ondersteund door extern materiaal (niet noodzakelijkerwijs wetenschappelijk)	ozvraag effectief ingeleid met wetenschappelijk materiaal; hypothesen over onderliggende mechanismen etc genoemd
Onderzoeksvraag	onderzoekselementen en/of variabelen niet herkenbaar in formulering ozvraag	ozelementen en variabelen herkenbaar; vraag/relatie vaag geformuleerd	ozelementen, variabelen en te onderzoeken relatie duidelijk	elegante formulering; de vorm van het antwoord is af te lezen uit de vraagstelling
Deelvragen	summier, niet wezenlijk anders dan hoofdvraag, of er is een deelvraag waarvan het antwoord onderdeel zou moeten zijn van dit onderzoeksplan (th.kader, operationalisatie)	vaag geformuleerd en/of relatie met hoofdvraag onduidelijk	deelvragen vormen een logisch geheel met de hoofdvraag, richten zich op deelrelaties, geven structuur/focus aan het onderzoek	deelvragen/relaties duidelijk geformuleerd; er is beargumenteerd hoe afzonderlijke uitkomsten bijdragen aan beantwoording hoofdvraag
Opmerkingen

VERANTWOORDING	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Aanduiding relevantie	ontbreekt of summier	obligaat, gezocht	één zinvol aspect (nieuwswaarde, wetenschappelijke relevantie, maatschappelijke relevantie, …) beargumenteerd	meerdere zinvolle aspecten beargumenteerd
Redenering	ontbreekt	argumentatie gegeven, maar hiaten in de redenering of gebrekkige onderbouwing	overtuigend beargumenteerd, verwijzingen waar toepasselijk	overtuigend beargumenteerd met wetenschappelijke verwijzingen
Opmerkingen

THEORETISCH KADER, LITERATUUR	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Achtergrond bij de onderzoeksvraag	onvolledige beschrijving: relevante concepten ontbreken of summier beschreven	concepten beschreven of gedefinieerd, maar niet in samenhang ('losse blokjes')	relevante concepten in samenhang beschreven, inclusief achtergrondinfo/context	verschillende gezichtspunten beschreven, keuzes afgewogen
Literatuurgebruik	nauwelijks literatuur van enig niveau	verbonden met literatuur via verwijzingen	verbonden met literatuur door resultaten te parafraseren en in de tekst te verwerken	samenhangende review waarin bronnen kritisch tegen elkaar worden gezet
Samenhang met verantwoording	relatie met eerder onderzoek onduidelijk	duidelijk dat de onderzoeksvraag qua onderwerp aansluit bij bestaand onderzoek	karakteristieke issues of cruciale vragen van de oz-gemeenschap geïdentificeerd en/of hiaten die nog niet opgemerkt of onderzocht zijn; onderzoeksvraag past hierbij	idem, en beredeneerd hoe de vraag past en hoe het antwoord de onderzoeksgemeenschap verder helpt
Samenhang met methode	losstaand verhaal	indicatoren zijn impliciet (verborgen) in de tekst aanwezig	buikbare strategieën en/of methoden in eerder onderzoek aangewezen; mogelijke indicatoren zijn helder	idem, verschillende strategieën/methoden uit de literatuur tegen elkaar afgezet
Publicatieniveau (aantallen indicatief)	nauwelijks wetenschappelijke publicaties (≤2)	wetenschappelijke publicaties ondervertegenwoordigd (<5 peer reviewed) in ondersteuning theoretisch kader	theoretisch kader ondersteund met merendeels wetenschappelijke publicaties (waarvan 5–10 peer reviewed)	theoretisch kader ondersteund met rijke (>10) literatuurlijst van wetenschappelijke publicaties (peer reviewed)
Titelbeschrijving in literatuurlijst	in de meeste gevallen onvolledig	in sommige gevallen onvolledige titelbeschrijving	consequent volledige titelbeschrijving	consequent volledige titelbeschrijving volgens professionele (APA-)norm, idem voor verwijzingen vanuit de tekst
Opmerkingen

METHODE	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Beschrijving methode	cruciale aspecten ontbreken	alle aspecten genoemd, maar niet consequent uitgewerkt	beschrijving geeft collega's een goed beeld van de gang van zaken; met enige moeite te interpreteren door andere uitvoerder (niveau onderzoeksverslag)	overdraagbaar: zonder al te veel moeite uitvoerbaar door collega (niveau onderzoeksplan)
Strategie	ontbreekt	strategie vermeld, maar niet geschikt	strategie geschikt	idem, en beredeneerd
Dataverzameling	data ongeschikt of methode ondoenlijk	geschikte data vermeld, maar niet volledig voor beantwoording ozvraag	data geschikt om ozvraag te beantwoorden	idem, en triangulatie toegevoegd
Onderzoekselementen	totaal ongeschikt; passen niet bij ozvraag	steekproefkader of steekproef niet adequaat gekozen	geschikte steekproef	geschikt en bovendien doenlijk/minimaal/efficiënt
Validiteit (variabelen)	validiteit onduidelijk	validiteit duidelijk tov enkele variabelen, maar niet overal	validiteit duidelijk, verbonden met literatuur en/of theoretisch kader	idem, weloverwogen keuze voor alternatieven beschreven
Validiteit (onderzoekselementen)	validiteit onduidelijk	validiteit van keuze oz-elementen ad-hoc aangetoond, indruk onderzoeker is uitgangspunt	validiteit beargumenteerd: geschiktheid steekproef beredeneerd (verbonden met doel van onderzoek; literatuurverwijzing)	idem, verschillende mogelijkheden tegen elkaar afgewogen
Betrouwbaarheid	betrouwbaarheid staat ter discussie	aandacht voor betrouwbaarheid, maar niet in elke situatie waar dit belangrijk is	betrouwbaarheid besproken via literatuur en/of methodespecifieke haken en ogen; waar nodig voorzorgsmaatregelen aangeduid voor bevorderen en/of monitoren van betrouwbaarheid	idem, in de vorm van consequent uitvoerbare concrete acties
Data-analyse, beantwoording ozvraag	afwezig of summier	"vaag:" beantwoording globaal beschreven maar essentiële details ontbreken	"precies:" beantwoording van de ozvraag operationeel beschreven in termen van de waarden van emp.var. mbt emp.ozelt.; zorgvuldig over causale en niet-causale verbanden	"aantoonbaar goed:" precies beschreven, professionele methoden gebruikt, analysetechnieken toegelicht en gevalideerd adhv literatuur
Opmerkingen

TIJDSCHEMA	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
Activiteiten	onvolledig, essentiële activiteiten ontbreken	volledig tov methode, maar in algemene termen	concrete activiteiten genoemd die corresponderen met methode	idem, en overdraagbaar: leest als werkschema
Planning	geen tijdspad: werk- en/of looptijd ontbreken	volledig maar volgorde onlogisch of planning onrealistisch	volgorde logisch, tijdsinschatting redelijk	uitvoerbaar en realistisch tijdschema, efficiënt, handig
Opmerkingen

ALGEMEEN	1 ondeugdelijk	2 matig	3 adequaat	4 excellent
	gebakken lucht, overbodige uitweidingen	goed leesbaar, interne samenhang per hoofdstuk	hoofdstukken van onderzoeksplan zijn consistent en sluiten op elkaar aan, scherpe en bondige formulering	idem, onderdelen sluiten naadloos op elkaar aan, academisch en vakinhoudelijk taalgebruik passend bij onderzoekscultuur
Opmerkingen