Onderzoeksmethoden 2/het werk/2009-10/Groep03

Workshop integratie toetsingssysteem QMP in onderwijsstructuur HAN

Praktische informatie

Informatieoverzicht groep 3
Onderzoeksmethode: Workshops

Gebruikersnaam	Studentnumer	E-mail
Danny Oldenhave	s0756032	d.oldenhave@gmail.com
Wout Megchelenbrink	s0735299	wmegchelenbrink@gmail.com
Maarten Engberts	s0756024	M.Engberts@student.ru.nl
Onno Berfelo	s0756067	onnoberfelo@xs4all.nl
Roel Arents	s0315656	roelarents@student.ru.nl

Kader

Op de Hogeschool van Arnhem en Nijmegen (HAN) wordt gewerkt met het toetsingssysteem Question Mark Perception (QMP). De mensen van de HAN willen graag weten hoe QMP het best in de onderwijssemesters geïntegreerd kan worden. Je moet hierbij denken aan vragen als: wanneer gaan we toetsen afnemen, welke vragen doen we digitaal, wat voor soort vragen enz. Daar zijn natuurlijk verschillende meningen en ideeën over.

Doelstelling van onze workshop is om een shared agreement te krijgen over de manier waarop QMP kan worden gebruikt binnen DEB (zie scope). Hiermee is tevens de onderzoeksvraag beantwoord.

Scope

QMP wordt als digitaal toetsinstrument binnen vrijwel alle faculteiten van de HAN gebruikt, of is gepland om gebruikt te gaan worden. Uiteraard kunnen wij niet bij alle faculteiten workshops gaan houden, dus wij heben ons beperkt tot de Informatica en Communicatie Academie (ICA). Binnen de ICA wordt gewerkt in zogenaamde onderwijssemesters. Dit zijn perioden van een half jaar waarin studenten een eigen "project" kunnen kiezen. Er is keuze uit ongeveer 15 projecten. Binnen elk van deze projectgroepen is het gebruik van QMP anders, omdat er verschillende manieren van onderwijs zijn. Binnen sommige projecten leent digitaal toetsen met QMP zich heel goed, maar andere projecten hebben meer een mondelinge of praktische manier van toetsen en daar leent digitaal toetsen (en dus ook toetsen met QMP) zich minder goed voor.

Wij hebben onze workshop gericht op één van deze onderwijsgroepen, namelijk DEB (Design and E-Business). Gedurende de workshop gaan we kijken op welke manier QMP gebruikt kan worden binnen DEB. Hierbij moet gedacht worden aan:

• toetsmomenten
• manieren van toetsen
• wie maakt de toetsvragen
• hoe en wanneer formatief en summatief ([2]) toetsen
• kan alles worden getoetst met QMP en zo nee, wat niet en hoe wordt dit dan wel getoetst

Onderzoeksvraag

Hoofdvraag

De onderzoeksvraag luidt:

• Op welke manier kan QMP de toetsing binnen de semestergroep "Design and E-Business" (DEB) aanvullen of eventueel vervangen?

Deelvragen

• Wat zijn de reacties van de docenten die met hun courses deelnemen in de semestergroep van DEB over QMP?
• In hoeverre zijn docenten op de hoogte van de mogelijkheden van QMP?
• Zijn de docenten binnen DEB positief over het vervangen of aanvullen van hun manier van toetsen door middel van QMP?

Vragen tijdens de workshop om de discussie over QMP op gang te brengen

• Hoe wordt er nu getoetst?
  • Wanneer? (alle studenten tegelijkertijd, individueel, ...)
  • Waar? (thuis, examenzaal, klaslokaal, ...)
  • Formatief/summatief? (diagnostisch/bepalend)
  • Wat voor soort toetsen/vragen? (mondeling, opstel, multiple choice, open vragen, berekeningen, ...)

• Kan QMP deze manier van toetsen überhaupt faciliteren?

• Biedt QMP vervolgens voordelen t.o.v. handmatig toetsen?
  • Sneller nakijken?
  • Makkelijker toetsen samenstellen m.b.v. vragendatabase?
  • Minder fraudegevoelig?
  • Verbetering concentratie student?

Conceptueel Model

Het onderstaande model geeft aan hoe de workshop zal verlopen.

[bestand gemaakt met norma]

Onderzoeksmodel

De onderzoeksvraag luidt:

• Op welke manier kan QMP de toetsing binnen de semestergroep "Design and E-Business" (DEB) aanvullen of eventueel vervangen?

Theoretisch model
Onderzoekselementen

• QMP
• toetsing binnen de semestergroep Design E-business (DEB)

Variabelen

• Onafhankelijk: manier
• Afhankelijk: aanvullen of vervangen

Relaties

• "Een bepaalde manier kan de toetsing aanvullen of eventueel vervangen"

Meetniveaus

• Manier: ordinaal {hoe te gebruiken}
• Aanvullen of vervangen: ordinaal {toevoegen/wijzigen}

Tussenmodel
Onderzoekselementen

• toetsen met QMP
• Projecttoetsen aan het eind van het project

Variabelen

• methode
• het vervangen van bestaande toetsen

Relaties

• Een nieuwe methode van toetsen kan de oude methode van toetsen vervangen

Empirisch model
Onderzoekselementen

• Digitaal toetsen door middel van QMP
• Alle studenten binnen DEB een resultaat geven naar aanleiding van een digitale toets

Variabelen

• Online meer-keuze vragen en open vragen. Meetniveau: nominaal {aanwezig, niet aanwezig}
• het vergvangen van bestaande 'analoge' toetsen door digitale toetsen. Meetniveau: nominaal {aanwezig, niet aanwezig}

Relaties

• Door online te toetsen kunnen bestaande analoge toetsen worden vervangen door digitale toetsen.

Methode

Voor een workshop zijn allereerst een paar "ingrediënten" nodig. Men moet hierbij denken aan deelnemers, een ruimte om de workshop ongestoord te kunnen houden, een manier om data vast te leggen en een bepaalde tijdsbesteding. Dit staat hieronder uitgewerkt.

Inhoudelijk moet er ook het een en ander worden voorbereid. Allereerst moet het onderwerp en de doelstelling van de workshop bekend zijn en ook gecommuniceerd worden naar alle deelnemers. Daarnaast moet de workshop geleid worden door een van ons (inhoudelijk onafhankelijk) en door iemand worden genotuleerd.

Een workshop kan op vele manieren gegeven worden. Denk hierbij bijvoorbeeld aan een workshop in de vorm van kennismaking met een nieuw product. Echter zullen wij een andere methode van een workshop hanteren. Namelijk het gezamenlijk eens (of oneens) worden over een bepaald standpunt. In ons geval is dat het product QMP. Zulk soort workshops zijn er is allerlei variaties. Wij hebben voor onze workshop gekozen om gebruik te maken van de brainstorm- en de brown paper-sessie. Beide zijn veel gebruikte manieren om een workshop te geven. Wij hebben deze twee manieren gecombineerd in ons onderzoek. Om een brown paper-sessie te starten moeten er wel onderdelen zijn waarover gediscussieerd zal gaan worden. Dit kan aangeleverd worden door de facilitator, maar dat was bij ons niet het geval. Wij hebben gekozen om de output van een brainstorm sessie te gebruiken voor de input van de brown paper-sessie. Tijdens de brainstorm sessie mag iedereen roepen wat hij/zij denkt. Deze punten zullen dan opgeschreven worden, maar er mag nog niet over gediscussieerd worden. Om het leider effect uit te sluiten, hebben we er voor gekozen om te beginnen met een soort van rondvraag. Zo komt iedereen aan de beurt en is er dus de mogelijkheid voor iedereen om zijn/haar gedachten te laten horen.

Wanneer alle punten zijn opgeschreven hebben we een goed uitgangspunt voor de brown paper-sessie. In ons geval is het meer een white board sessie (aangezien we gebruik zullen van een white board tijdens de workshop), maar het principe blijft uiteraard het zelfde. Elk opgeschreven punt zal ter discussie gesteld worden en zal er een gezamenlijke beslissing genomen moeten worden of het punt relevant is of niet. Doordat Dhr. Guus Rameackers erbij aanwezig zal zijn (docent en tevens projectleider van de implementatie van QMP binnen de ICA) kan hij aangeven of eventuele 'zorgen' over het implementeren van bepaalde toetsvragen terecht zijn of niet. Maar het idee verder is dat iedereen moet kunnen aangeven of hij/zij het eens is met het ter discussie gestelde punt. Wanneer een punt relevant wordt gevonden door de aanwezigen zullen we het punt direct prioriteren.

Inhoud

• 1 Welkom en uitleg doelstelling van de workshop, bekendmaking leider, notulist en overige rollen
• 2 Bespreken van de hoofd- en deelvragen en vaststellen of er nog aanvullende vragen/discussiepunten zijn
• 3 Vasstellen agenda en tijdsindeling
• 4 Starten met de vragen en discussiepunten
• 5 Samenvatten van de conclusies en uitkomst
• 6 Dankwoord en uitleg over vervolg (hoe wordt ons onderzoek teruggekoppeld aan de deelnemers)

Deelnemers

Deelnemers aan de workshop zijn medewerkers, specifieker: docenten, van de semestergroep "Design E-Business" (DEB) van de afdeling Informatica, Media en Communicatie (ICA) van de HAN. Ze worden uitgenodigd per mail.

Deelnemers: bevestigd

Naam	emailadres	Overige Info	Aanwezig
Cees Landman	Cees.Landman@han.nl	Hoofd semestergroep DEB	ja
Guus Rameckers	Guus.Rameckers@han.nl	Projectleider invoering QMP binnen ICA	ja
Aldert Doelen	Aldert.Doelen@han.nl		nee
Wim van Beek	Wim.vanBeek@han.nl		ja
Peter de Reijke	Peter.deReijke@han.nl		ja

Deelnemers: Afgezegd

Naam	emailadres	Overige Info
Frans Huijgen	Frans.Huijgen@han.nl
Jan-Hugo Wijbenga	JH.Wijbenga@han.nl

Deelnemers: Nog niet bekend

Naam	emailadres	Overige Info	Aanwezig
Lex van der Stam	Lex.vanderStam@han.nl		nee

Facilitering

Er is een lokaal geregeld op de ICA (in Arnhem) zelf door ons als projectgroep. We hebben hiervoor contact opgenomen met het onderwijsbureau op de ICA. We hebben geen beamer maar wel een white-board met stiften gereserveerd.

Functie	Naam
Facilitator	Wout
Audio/video	Danny
Notulist 1 'Bord'	Danny
Notulist 2 'Papier'	Onno
Notulist 3 'Foto'	Maarten
Uitwerken/formaliseren	Maarten + Roel

Datavergaring

• Geschreven notulen
• Videoopname met digitale camera; ter ondersteuning van de notulen
• Geluidsopname ter ondersteuning van de notulen
• Notities en modellen op de flip-overs worden gefotografeerd

Anonimiteit

Is er anonimiteit nodig voor deelnemers? Niet omdat ze anders überhaupt niets zouden durven zeggen, maar omdat hun mening beïnvloed zou kunnen worden door andere deelnemers die bijvoorbeeld hoger in rang staan (denk aan student t.o.v. docent). Anonimiteit is bijvoorbeeld te faciliteren door deelnemers individueel en anoniem te laten stemmen op mogelijke antwoorden op deelvragen.

Anonimiteit speelt voor onze workshop geen rol, omdat alle deelnemers directe collega's van elkaar zijn.

Weging meningen

Is de ene deelnemer belangrijker dan de andere? Met andere woorden, telt de stem van de ene deelnemer zwaarder dan die van een ander? Zoja, hoe bepaal je dat? Voor deze workshop gaan wij ervan uit dat alle meningen even zwaar wegen.

Planning

Algemene planning van het traject

Aan het begin van het semester was het idee om iets met het EPD (Elektronisch Patienten Dossier) te gaan doen. Na het inwinnen van advies is het duidelijk geworden dat dit een te ingewikkeld onderwerp is. Daardoor zijn we na een paar weken op zoek gegaan naar een nieuw onderwerp. Dit verklaart tevens de opgelopen vertraging. Inmiddels (6-nov) is er door een delegatie van onze groep een presentatie bijgewoond over dit onderwerp op de HAN, gegeven door onze contactpersoon Guus Rameckers. Op donderdag 19 november zijn wij met zijn allen met Guus Rameckers in overleg getreden om nader in te gaan op de richting van de workshop en wie we daarvoor willen uitnodigen.

week	activiteit
35 t/m 38	intro-college
39	groep samengesteld
40
41
42	EPD gaat niet door; nieuw idee is QMP
43
44
45	contact Guus Rameckers; presentatie Guus Rameckers
46
47	overleg met Guus Rameckers
48	Contact opnemen met Cees Landman om toestemming te krijgen voor het uitvoeren van de workshop binnen de semestergroep Design e-business (DEB).
49	Datum prikken in overleg met mogelijke deelnemers; deelnemers uitnodigen
50	Workshop voorbereiden
51	Workshop (waarschijnlijk op woensdag 16 december) en uitwerken resultaat workshop
52 t/m 53	kerstvakantie
1	4 januari deadline werkplaats

Vooronderzoek QMP en ICA

• Als eerste hebben we contact gehad met Guus Rameckers over QMP. Hij heeft per e-mail kort de situatie binnen de ICA uitgelegd en ons uitgenodigd een interne presentatie (binnen de HAN) bij te wonen.
• We hebben met onze groep de presentatie van de heer Rameckers bijgewoond en meer geleerd over QMP en in het bijzonder het gebruik van QMP als pilot-project binnen de ICA.
• Vervolgens hebben wij als voorbereiding op onze workshop een gesprek gehad met Guus Rameckers over mogelijkheden en do's en don'ts van QMP.

Duur en planning van de workshop

Tijdsduur Hoeveel tijd zal de workshop in beslag gaan nemen? Dit is een belangrijke vraag geweest. De tijd van de aanwezigen is nogal beperkt. We hebben eerste gekeken hoelang een "les" (blok) duurt op de HAN. Dit was 2 uur. We hebben in overleg met de projectgroep en met Guus Rameackers besloten om 1 blok te gebruiken voor de workshop. Dit is daarna gecommuniceerd naar de genodigden, welke (indien ze aanwezig zouden zijn) hiermee instemden.

Globale planning van de workshop

• Workshop voor pauze: de huidige manier(en) van toetsen bij DEB verkennen en inventariseren.
• Workshop na pauze: afwegen of QMP daarvoor ingezet kan worden.

Script voor de workshop

• Opening door Facilitator
• Voorstelronde onderzoeksgroep (door Facilitator)
• Voorstelronde docenten (Naam, cursussen die ze geven binnen DEB, gebruik gemaakt van QMP {Ja/Nee})
• Introductie door Facilitator
  • Toetsen bekendheid QMP onder aanwezigen (eventueel geven van korte uitleg)
  • Doel van workshop
  • Werkwijze
    • Brainstorm sessie
    • 'Brown paper'-sessie om te discussieren over punten
• Notulist 1 schrijft concept 'Toetsing & QMP' op het bord
• Start divergeren
  • Aanwezigen één voor één laten zeggen wat ze er van denken (notulist 1 schrijft deze punten op het bord)
  • Na deze ronde zal er de mogelijkheid zijn voor iedereen om nog punten te roepen (notulist 1 schrijft deze punten op het bord)
• Convergeren (punten samen pakken + prioriteren)
• Start discussie ('brown paper'-sessie)
  • Convergeerde punten ter discussie stellen
  • Beslissen relevantie van het punt
• Samenvatten & beslissen

Data analyse

Gedurende de workshop zijn er een aantal onderdelen vastgelegd. Dit zijn de notulen, video -en geluidsopnames en de brown-paper sessie. Voorafgaand aan de brown-paper sessie heeft er een brainstormsessie plaats gevonden.

Mogelijkheden QMP

Soort toets	kan getoetst worden met QMP?	Opmerking
Meerkeuze vragen	Ja
* inclusief toelichting	Ja	Lastiger dan zonder maar het kan wel
* n.a.v. casus	Ja
Open vragen	Nee	Eventueel wel als administratief handigheidje
Reflectieverslagen	Nee

Model QMP

Het onderstaande ORM model geeft schematisch weer hoe QMP is opgebouwd en wie belanghebbenden zijn. Ook is in het onderstaande model te zien welke belanghebbende welke functie heeft.

Brainstorm sessie

Tijdens de brainstormsessie, voorafgegaan aan de brown-paper sessie, is er tussen de leraren die QMP gaan gebruiken overleg geweest over de mogelijkheden en nadelen van QMP. De belangrijkste quotes zijn in dit hoofdstuk beschreven.

Guus Rameckers: Het toetsen van reflectie is niet op te vangen met QMP.

Guus Rameckers: Open vragen toetsen is niet goed mogelijk in QMP, omdat QMP alleen kijkt of bepaalde kernwoorden in het antwoord staan vermeld. 
Eventueel zou je het wel als administratief handigheidje kunnen gebruiken. Open vragen moeten nog altijd met de hand nagekeken worden.

Cees Landman: Toetsen met een modelleertool naast QMP is wenselijk.
Guus Rameckers: Het is mogelijk om reactief te toets door het toevoegen van multimedia.

Guus Rameckers: We gaan niet werken met QM Secure

Cees Landman: De lesstof verandert en daar moet wel rekening mee worden gehouden.
Is het wel handig om QMP te gebruiken bij een klein aantal leerlingen?

Guus Rameckers: Uiterlijk 3 weken voor de toets moeten de vragen worden ingeleverd.

Guus Rameckers: Er komt een koppeling tussen QMP en het cijferregistratiesysteem.

Peter de Reijke: Als voorwaarde voor QMP wil ik wel dat er een vorm van training is.
Guus Rameckers: Iedereen die er mee gaat werken krijgt training.

Algemeen

• Wat gebeurt er als tijdens een toets een laptop crashed?
• Risico: studenten kunnen 'googlen' tijdens een toets.
• QMP ondersteunt spraakgeluid en flash-filmpjes.
• Best-practices (what if) vragen n.a.v. andere paketten invoeren als vragen in QMP
• Met het nieuwe toetsen zijn er nog steeds surveillanten nodig.
• Wat mag een surveillant allemaal doen?

Brown paper sessie

Tijdens de workshop zijn er aantekeningen gemaakt op een whiteboard. De aantekeningen zijn als volgt schematisch weer te geven:

Whiteboard aantekeningen

• Toetsing + QMP
  • Open vragen zijn lastig
  • Feedback bij vragen
  • Reflectie verslagen
  • Randomizen van toetsen (personaliseren)
  • Summatief
  • Formatief (verloop via internet)
  • Vragen m.b.t. andere programma's
  • Platform afhankelijk (werkt bijvoorbeeld niet op MAC)
  • Fraude gevoeligheid
  • Toelichting bij vragen
  • Multiple Choice
  • Efficiency
    • Weinig studenten
    • Veranderende lesstof
  • Casussen
    • Werkelijke opdrachten

Foto

• E-plan:
  • Adviseren:
    • Komend semester eenvoudig separaat maken van alle toetsvragen
    • Reflectieverslag implementeren
  • Training:
    • Praktisch
    • Organisatorisch
    • Financieel
    • Wekelijke opdrachten
    • Multiple Choice vragen
    • Wat zijn de benodigdheden?
    • Handmatig nakijken beter?
• E-development:
  • Modelleren
    • Volgende lichting
    • Geen bestaande toetsen invoeren
  • Architecturen + web statistics
    • Wel meedoen
    • Vraagtekens bij winst
    • Casus mbt QMP

Foto

Video

in WMV

Notulen

Notulen Roel

Resultaat

Conclusie

Over het algemeen waren de aanwezigen vrij enthousiast over het idee van digitaal toetsen. Wellicht dat dit komt doordat we op de ICA waren, waar men gemakkelijker meegaat in technische ontwikkelingen en automatiseringstrajecten. Het grote punt alleen was dat er nog veel onduidelijkheid was over de mogelijkheden van QMP. Een aantal aanwezigen zou graag een workshop of cursus gehad hebben over de mogelijkheden en werking van QMP. Deze workshop/cursus is wel een aantal keer gegeven, maar nog niet door elke docent bijgewoond. Het advies dat naar voren kwam in onze workshop is dan ook meer aandacht te besteden over de mogelijkheden van QMP. Dit is eigenlijk het grote punt waarom veel docenten nog twijfelen. Wanneer aan deze wens zal worden voldaan heeft elke docent toegezegd QMP het volgende semester al te willen gaan gebruiken.

Echter is het op dit moment nog niet mogelijk om alle verschillende soorten vragen goed te gebruiken binnen QMP. Zo is het wel mogelijk om open vragen in te stellen, maar deze worden alleen beoordeeld op de gebruikte kernwoorden. Het is niet mogelijk om vragen waarbij je een extern programma moet gebruiken te integreren binnen QMP. Daarom is er de keuze gemaakt om het voorlopig alleen bij meerkeuze, hotspot en ja/nee vragen te houden. Dit is eenvoudig na te kijken door QMP zelf en kan er een goede perceptie gevormd worden van de student zelf (waar de P voor staat in QMP) en kan de student goede feedback verwachten (waarom was iets fout of goed). En dit is toch het idee van QMP.

Om antwoord te geven op de hoofdvraag: 'Op welke manier kan QMP de toetsing binnen de semestergroep "Design and E-Business" (DEB) aanvullen of eventueel vervangen?'. Het volledig vervangen van het huidige toetsen binnen DEB is (op dit moment) onmogelijk en niet wenselijk. Wellicht dat hier een ander onderzoek naar gedaan kan worden. Grote problemen zijn open vragen, vragen waarbij een extern programma gebruikt moet worden en casussen. Wel kan QMP de toetsing binnen DEB wel goed aanvullen. De aanwezigen waren er allen over eens dat QMP hun cursus kan helpen met het toetsen. Echter, zoals aangegeven, zal QMP pas echt gebruikt gaan worden wanneer er nog iets meer voorlichting gegeven zal worden over deze nieuwe manier van toetsing.

Bronnen en referenties

• [HAN01] HANovatie; kennis delen en innoveren. December 2009. http://www.han.nl/hanovatie
• [QMP] Questionmark; 'De toekomst van online toetsen'. December 2009. http://www.questionmark.com/ned/