Onderzoeksmethoden 2/het werk/2008-9/Groep03

Task Solving Tactics

Onderzoeksmethoden 2, 2008

Boudewijn Geijtenbeek, Chiel Schutter, Dirk van der Linden, Freek van Workum

Onderwijsinstituut voor Informatica en Informatiekunde

Radboud Universiteit Nijmegen

---

version 18 februari 2022

---

Introduction

When presented with multiple problems or questions to solve in a limited amount of time there are several common strategies to start. Most people maintain some kind of tactic that can be described as sequential or prioritized problem solving. Sequential solvers work through the presented problems in a linear fashion, getting as far as they can and stopping when the time is up, no matter whether all problems have been solved or whether the solutions are satisfactory. Prioritized solving is based partially on the gut feeling of the solver and depends on his knowledge and experience to estimate how much time each problem will cost and what kind of problems would present itself, and prioritizing them in a way as to solve either as much as problems as possible, or as much complex or most needed problems as possible. For the sake of keeping time investment and experimental preparation and setup manageable we will not generate cases that would benefit from parallel solving approaches, which is essentially a more nuanced form of this where a person is aware of all problems and works through all of them at the same time, for instance by devising some kind of standardized amount of steps and executing a step for every problem before moving on to the next stop.

Problem statement

When presented with a set of n modeling tasks that range in complexity and a set amount of time to solve them in (where the time is generally not enough to solve all problems regardless of the tactic), what kind of tactic is most commonly undertaken and which tactic yields most useful results?

Theoretical framework

Conceptual model

• 

  Initial conceptual model

• 

  ORM sketch of said model

• 

  Digitally rendered ORM version

Elements

R: CS/IS major students

O: ORM testcases

S: ORM testcases solutions

Variables

Difficulty

O -> Di

Difficultylevel ∈ {1,2,3,4,5}

Ordinal

Tactic

R -> O -> Ta

Dominant tactic used on an ORM testcase ∈ {sequential,prioritized}

Nominal

Time

R -> O -> Ti

Time in minutes used on an ORM testcase ∈ Parsen mislukt (MathML met SVG- of PNG-terugval (aanbevolen voor moderne browsers en toegankelijkheidshulpmiddelen): Ongeldig antwoord ("Math extension cannot connect to Restbase.") van server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \mathbb{N}} ₀

Ratio

Similarity

R -> O -> S -> Si

Similarity in percentage between solution and expected result ∈ Parsen mislukt (MathML met SVG- of PNG-terugval (aanbevolen voor moderne browsers en toegankelijkheidshulpmiddelen): Ongeldig antwoord ("Math extension cannot connect to Restbase.") van server "https://en.wikipedia.org/api/rest_v1/":): {\displaystyle \mathbb{N}} ₀

?

Method

The setup of the TAP-sessions will be as following;

1. Each individual is presented with several (small) cases which require a (semi-)formal model to be made in ORM.
   1. The individuals will be selected from a population which has experience with modeling cases in ORM (i.e. CS/IS majors)
   2. Each case varies in complexity, from trivial, to more complex, to downright paradoxical, but never in a set order (i.e. in no two experiments is the initial ordering of the cases exactly the same).
      1. Each case is modeled beforehand, and a most fitting model is saved as a comparison measure for the ones produced during the experiment.
2. The individual is told to solve the problems in whatever way the want within the time span of 10 minutes.
   1. Beforehand they are instructed to verbalize their thoughts and other such things which are necessary for successful registration of the experiment.
   2. No help from the outside is allowed, nor are the observers to interact when an individual seems stalled, as this would be influencing the outcome of the experiment (i.e. an individual who gets stuck on a paradoxical case whilst using serial solving should not be actually told by the observer to move on)
3. Each session (individual, multiple cases) is recorded by means of video and audio registration.
4. Each session is processed and tagged according to a previously agreed upon tagging scheme.
5. Each tagged session is analysed and given "scores" for the possible tactics that were used, and how successful the attempt was. The tags to be used are as following:
   1. [sequential]: subject displays a sequential approach to handling the cases
   2. [prioritized]: subject displays a prioritized approach to handling the cases
   3. [case-switch]: subject switches to new case
   4. [analysis]: subject spends time analysing a case
6. Conclusions are drawn about the most used methods (by which thought processes they were chosen), and how effective these methods were (by comparison to the expected models).

Results

Data

Due to privacy reasons raw data of the TAP sessions is only available upon request as digital video encoded in H264/AAC.
Subject 1, case-order = 4,3,1,2,5	Subject 2, case-order = 3,2,4,5,1	Subject 3, case-order = 2,5,3,4,1	Subject 4, case-order = 1,2,3,4,5	Subject 5, case-order = 1,3,5,2,4
Transcript, including timing elements and tags o: Ja, start. s: Uuh... o: Zoveel mogelijk echt hardop praten wat je denkt. s: Umm, er worden spullen voor dieren verkocht. Dus er zal wel iets daarbij horen. s: [Vraagt verklaring wat daar staat] o: Het maakt niet uit wat het is, maar gewoon eigenlijk zo snel mogelijk modeleren. s: Oke o: Dus als je iets ergens ziet staan waarvan je niet weet wat het is, schrijf het gewoon op zoals je het ziet dat je denkt wat het is. En hou in de gaten dat je een kwartier hebt om alle taken af te werken. s: Nou, er worden items verkocht. Dus dat zal er wel iets mee te maken hebben. Dat is instantie(onduidelijk gemompel) s: Uumm... items worden verkocht en in verschillende maten en kleuren, dus dat zal er wel bij horen. s: Dan maak ik ervan uuh variabele van die [???]. Oke, kleur is ook een variabele. s: Constraints enzo er ook bij toepassen? (vraag naar observator) o: Observator knikt ja s: Een item heeft... een item is natuurlijk uniek. Een item moet een total rol hebben, want die moet een kleur of een [???], een grootte neem ik aan, dat heeft ook een kleur, dat zal ook wel verplicht zijn. s: Moet ik aangeven ook als ik naar de volgende ga? (Vraag naar observator) o: Ja, ook zoveel mogelijk uitspreken waarom je naar de volgende gaat en wat je precies doet, als je bijvoorbeeld iets over slaat of wat dan ook, gewoon al je gedachten en dergelijke uitspreken. s: Um.. [case-switch]time: 2m25[/case-switch] s: [sequential]Ik ga nu naar het 2e punt omdat ik volgens mij wel het meeste uit het 1e punt heb en niet echt veel belangrijke dingen meer zie.[/sequential] s: Umm nou ik zie hier dat toetsen worden afgenomen. In verschillende maten. Ze zullen wel gespecificeerd worden als het om drie verschillende toetsen gaat. Dus welke toets zijn... een oefentoets, mondelinge toets, per telefoon. Mondeling dat kan volgens mij ook nog weer verder uitgesplitst worden omdat het in twee categorien valt. Telefoon als uh of mondeling en dan overhoring en officiele tentamens dus dan hou ik even die [???] aan. [???] s: Toets levert een cijfer op, deelname aan toets dat lees ik daar. s: Oh en alleen de [???]. Alleen mondelinge overhoringen, officiele tentamens leveren studieresultaat op. s: (Speelt met pen) s: Hmm... s: Ah, ze gebruiken um een toets als iemand, een student die gebruiken die neemt deel aan een toets. En deze wordt geidentificeerd met zijn naam, dus gebruiker heeft een naam, das objecttype. Umm... dan opleiding, hoort ook nog een opleiding bij waar dan, zal wel een variabele zijn. Even kijken hoor. We hebben nog verschillende categorieen toetsen zie ik um, oefentoets, misschien kan dat ook nog opgedeeld worden want zo'n oefentoets bestaat ook weer uit een aantal vragen, misschien zou je daar een frequentie aan kunnen toevoegen of niet. Um ja. Oh, ja, dat moet ook weer uniek zijn. Dus ik breng weer uniek constraints aan. Twee keer. Ah toets, dan heb je ook nog iets van nummerings, wacht even, oh ik dacht dat daar iets stond maar [???] moeilijkheidsgraad als soort misschien. Die soort hebben allemaal nummers 1 tot en met 5. (mompelt) s: Hm. s: Moet ik hem zo zorgvuldig mogelijk uitwerken of? (kijkt naar observator) o: Um, mag je zelf kiezen. Het gaat er om dat je in ieder geval zoveel mogelijk uh van alles af krijgt. [case-switch]time: 6m36[/case-switch] s: [sequential]Oke, dan ga ik nu met de volgende verder. De 3e[/sequential]. s: Hier gaat het over een customers, nou het object customers, en die bestellen wat, customers kunnen dus een item bestellen neem ik aan. Die customers worden geidentificeerd met een naam... een order levert unieke nummer met het id (mompelt) s: Customer bestelt iets, zal een order plaatsen, en die wordt gemerkt met een id, maar aan die order hangt ook een datum. s: (mompelt) s: Date... (leest opgave). [sequential]Ja, dat is het volgens mij wel. Volgende[/sequential]. [case-switch]time: 8m50[/case-switch] s: Umm nou dat wordt een registratiesysteem voor patienten, dus er zal wel een patient zijn. o: (Observator 2 komt binnen) s: Nou er zijn verschillende afdelingen. o: Je hebt nog 5 minuten. s: En die afdelingen... hebben ieder unieke namen. Een patient heeft ook een uniek nummer. Umm simpel[???] aan een nummer gekoppeld, datum, ah op welke afdeling ze hebben gelegen. s: Patient... uh, met een nummer. Als die op een afdeling ligt met een naam is die opgenomen. En opgenomen kan weer over datum gaan.. dat is uniek. s: [sequential]Oke, ik ga door naar de 5e.[/sequential] [case-switch]time: 11m07[/case-switch] s: Een muziekvereniging... groep umm... (mompelt). Nog een groep met muzikanten ofzo daarin heb je um.. verschillende types eigenlijk. (mompelt) s: Die generaliseren allemaal naar een groep van muzikant. Um... ze kunnen maar 1 tegelijk zijn. Maar ze onderscheiden zich volgens wanneer ze spelen, dus... (mompelt, tekent) s: (Leest opdracht) o: Probeer zoveel mogelijk je gedachten hardop uit te spreken. s: Ja, oke. Umm... verschillende muzikanten die... hebben eigenlijk allemaal een ander type, verschillende soort typen optreden die ze verzorgen moeten. (Tikt met pen op tafel). Die ene doet live concerts, en de andere umm.. (mompelt) o: Je hebt nog 1 minuut. s: Ja. Dan heb alleen nog een soort van performs object met daar aan allemaal verschillende types, typen van verschillende performance. Volgens mij kunnen die uh gespecificeerd worden naar een... ja, kunnen gespecificeer worden tot een type muzikant o: Oke, 15 minuten zijn voorbij. Dus je moet nu stoppen met modeleren. s: Hm.	Transcript, including timing elements and tags o: Begin maar. s: [sequential]Oke, nou ik begin met het verhaal te lezen.[/sequential] Even rustig. (Leest) s: Ik zie in ieder geval gelijk dat er nu zo'n drie soorten uh, toetsen zijn. En dan beschreven... (leest) s: Ik begin met toetsnummers op te schrijven. Um.. (schrijft). Even kijken... hmm... s: Nu even.. een oefentoets... officiele tentamens o: Je mag gerust meer zeggen s: Meer zeggen, ja. Ik zat even te kijken dan zit je nog met die mondelinge overhoring, die is eigenlijk ook weer gesplitst in telefoon of voice chat. [analysis]Ik ga er in dit geval gewoon van uit[/analysis] dat dat als eentje wordt gedaan. Um... en... s: (mompelt) s: (leest) s: (mompelt) s: [analysis]Ja ik zit nu even te denken, volgens mij heb ik wat dingen niet helemaal goed... even kijken, ik zit even met gebruiker.[/analysis] o: Je hebt nog 7 minuten overigens... voor alle cases. s: (Leest) o: Het is de bedoeling dat je ze alle 5 binnen de tijd afmaakt. s: [prioritized]Ja, anders ga ik even naar de volgende.[/prioritized] [case-switch]time: 3m39[/case-switch] s: (Leest, mompelt) o: Waar denk je aan? s: [analysis]Ja ik zit even te denken um bij dit ziekenhuis te kijken, die 2e hoe ik die op zou lossen, um...[/analysis] maar ik zie nog niet echt wat beetje het centrale punt is eigenlijk. Um, ja, unieke namen. In ieder geval departementen. s: Ieder patient heeft nu een uniek nummer. o: Nog 5 minuten. s: (Schrijft, leest) s: Hmm... even kijken. En een datum... van de patient. Wacht, departement moet ik ook opschrijven (schrijft). s: [prioritized]Ik kijk nu even naar de volgende.[/prioritized] [case-switch]time: 6m41[/case-switch] s: (leest) s: Wat ik het moeilijk vind is dat de woorden wat moeilijk zijn, wat ingewikkeld, ze zijn wat onduidelijk waardoor ik zelf minder goed idee heb hoe het direct zal zijn. Niet echt een voorstelling bij kan maken. o: Je hebt nog 3 minuten. s: (leest) s: [prioritized]Hmm.. deze zie ik niet zo snel. Ga ik even naar de volgende.[/prioritized] [case-switch]time: 8m09[/case-switch] s: (leest) s: (mompelt) s: Een musical association bestaat uit vier sub associations maar dat is duidelijk, staat er ook in. In ieder geval dat je maar lid kan zijn van eentje tegelijk. o: Nog 1 minuut. s: (leest, schrijft) o: Ja, je mag ophouden. s: (legt pen neer)	Transcript, including timing elements and tags o: Nu. s: Oke. s: [sequential]Eerst maar eens even lezen[/sequential], ehm hospital. Hupsakee, a very common way of registering patient admission. (mompelt) Dat is een afdeling. Dan patient. Ehm ... nummer. (mompelt) Ehm ... zat met date of admission. o: Kan je misschien ietsje harder op praten? s: Ja, ja. s: Date of admission die doen we even apart ... ehm, zolang aan een afdeling, afdeling hangt aan een ziekenhuis en dat betekent dat patient een afdeling moet hebben. Een afdeling hoeft geen patienten te hebben ... ehm, afdeling heeft ziekenhuis, ziekenhuis aan afdeling. En ... ehm, ze mogen vaker voorkomen in de tabel, maar maar een keer per afdeling. En afdeling komt maar een keer in een ziekenhuis voor, maar ziekenhuis mogen, meerdere ziekenhuizen mogen ... ehm, nee niet dezelfde afdeling, wel dezelfde naam en dat is weer wat anders. s: [sequential]Ehm, nummer 2.[/sequential] [case-switch]time: 1m15[/case-switch] s: (mompelt, leest) s: Musical Association dat is ... ehm, een groep. Die hebben ook weer subgroepen (mompelt, schrijft). Eens even kijken dit zijn allemaal soorten. Oke, die is dus uniek, dat moeten we anders zetten zo direct. (leest) Hm, dat zijn er dus ... vier, die zijn in principe uniek en zijn altijd ... Dan heb je een lid ... en die kan met alle vier een relatie hebben, maar maar ... met een tegelijkertijd dus dat moeten we op de een of andere manier ... zien aan te geven. (onbegrijpbaar iets) s: Eens even kijken ... ehm, ze hebben allemaal een eigen soort performances, dus dat moeten we ook op een of andere manier zien aan te geven, maar opzich kun je dat ook uit de rol halen. Feit dat die twee een performance hebben er ook weer iets omheen zetten. Een soort performance, husakee, dit gaat zo, hupsakee, uhuh. (leest) time: 3m02 o: Je hebt nog 7 minuten om alle cases af te krijgen. s: Ja, tijdje. s: (mompelt) s: Hmm, is de marching band, die hebben zelf een soort marching dat weer apart mogen. s: Die drie, ehm, de majorettes en de drumlines ... en de marching band kunnen met z'n drieen performen, dat betekent, die drie, kunnen ze allemaal in voorkomen. Dat wil ik in m'n tekeningetje maken (mompelt) wat. s: Is er ook nog een board, die hoort hier bij. En die heeft weer vijf functies, [prioritized]daar kijk ik zo wel even naar.[/prioritized] [case-switch]time: 4m17[/case-switch] s: Ons afstandsleerinstituut biedt digitale toetsing in drie toetsen (leest, mompelt, schrijft) ... toets. Toets is ... en dan heb je de drie soorten. (mompelt) Ennn, officieel. (schrijft) En dat zijn allemaal ... ehm, generalisaties van, generalisaties van. En dan heb je mondeling (mompelt) en dat zijn telefoon en voicechat. o: Je hebt nog 5 minuten om alle cases af te maken. s: Alle toetsen leveren een cijfer op, betekent, cijfer. Maaar, (mompelt) alleen mondeling overhoringen leveren een studiekrediet, dat betekent dat je ook nog studiekrediet moet krijgen. Dat dus blijkbaar alleen bij hun twee hoort en niet bij de rest. Ehm, gebruiker, heeft een naam, standaard naam. En verder wordt er ook nog van opgeslagen wat voor een opleiding hij doet, dat gaan we even niet opschrijven. Eerst verzameling vragen, dat geldt voor oefentoets, daar zitten vragen in. Da's een verzameling, eens even kijken hoor, een oefentoets heeft niet vragen, maar er is een verzamling vragen en die vallen samen met oefentoets. Nieuwe rol maken. De vragen uit de toets daar kan je van zeggen dat ze uniek zijn. Hmm, en die hebben een moeilijkheid, mooi woord. En dat is in principe, ehm, 1 tot en met 5 maar [???]. [sequential]Next[/sequential]. [case-switch]time: 6m45[/case-switch] s: Animals ... (mompelt, leest). Eens even kijken, we hebben een webshop, webshop, een webshop, ehm, verkoper, animals. En dan heb je heffalumps en woozles zijn allebei animals. En daar zijn ook weer allerlei, ehm, eens kijken (mompelt, leest). Ehm, 't is gewoon eigenlijk black of brown, big or small, betekent dat ze allemaal eigenschappen hebben (mompelt), is brown, en een van die twee zijn, dat geldt ook voor big en small. En moet ook [???] zijn, en heb je ook quick slick and (mompelt) en ook voor hun geldt, dat slechts eentje unique, hupsakee (mompelt) iets te kleintjes. [case-switch]time: 8m42[/case-switch] s: (mompelt) eens even kijken, when a customer, comes to us, dan zal er een shop zijn, die heeft customers, hupsakee, ehm, customers hebben orders. o: Je hebt nog een minuut. s: Oke, oke, oke. s: Order moet een customers hebben, customer hoeft geen orders te hebben. En order is uniek. Een customer moet een datum, en daar zitten weer objecten in. Een object, hoeft geen order te hebben, een order mag ook leeg zijn. Ehm, daar hoort [???] een id bij en een volgorde. Dit is niet helemaal ideaal, maar dat moet maar even. Dat er een ... order bij zit. Eens even kijken, dat betekent dat, deze rol, die twee, daar moet op een of andere manier vervolgnummer aan geassocieerd worden en dat doe ik even zo, anders weet ik het niet. o: En je tijd is op. s: Check.	Transcript, including timing elements and tags o: Nu! s: Oke. o: Succes! s: Order, object…..name s: even kijken…. o: Je mag best wel zeggen hoor, wat je precies opschrijft. s: Oh oke… s: Ik schrijf dus object en name op, die hebben dus een relatie met order s: even kijken…. s: [analysis]Het feittype erbij dus ik denk gewoon dat uhmm object en order alle twee uhmm nee, object en name alle twee uhmm…uhmm onderdeel zijn van de order.[/analysis] Dus…. s: [analysis]Object wordt besteld neem ik aan dus…dat is het feittype.. het gene wat besteld wordt.[/analysis] s: En name is de besteller…. s: Ok…..blijkbaar ook een uniek ID. Om de order te identificeren… o: Ietsjes harder praten a.u.b. s: Kuch, er is ook een uniek ID, om de order te kunnen identificeren of om eventueel terug te vinden in een database. o: *tsssss (cola blikje)* s: [analysis]Hmm laatste zin is een beetje…is niet relevant volgens mij voor uhmm..voor het domeinmodel.[analysis] s: Nou..tweede case…*kuch* [case-switch]time: 3m07[/case-switch] o: Je hebt nog 7 minuten om ze allemaal af te maken. s: Ok. s: [analysis]Die eerste zin..hospital…patient…registrate..die hebben wel iets met elkaar te maken.[/analysis] s: Uhm..patient wordt opgenomen in het ziekenhuis. s: Dus die wordt geregistreerd. Dat is het…..feittype. s: *kuch* s: Verder heeft het ziekenhuis veel meer afdelingen…zie ik. s: Patient heeft een uniek ID. o: Hij gaat lekker hoor s: Ja?.. o: Je hebt nog 5 minuten om alle cases af te maken s: Ok… o: Als je ergens vast zit mag je best verder gaan of uhhh.. o: Volgorde van de cases mag je ook best zelf bepalen hoor. s: Maakt niet uit als ik er eentje niet goed heb? o: Nee. o: Er lopen wel wat zwarte pieten rond hier, dus misschien uhmm, dat je mee wordt genomen…. s: Haha, nu moet ik denken aan pepernoten, moet ik dat ook uhh haha. s: Ja….dag van opname… s: [sequential]Ga nu naar de volgende case.[/sequential] o: Uhuh. s: Eigenlijk moest ik wel bij die vorige case wel uhh een één of andere constraint erbij zetten, een patient kan meerder malen opgenomen worden. Maar weet niet meer precies hoe dat uhhh…Dus ik ga naar de volgende. [case-switch]time: 6m20[/case-switch] s: Afstudeerinstituut biedt digitale toetsing aan. s: Is een duidelijke…….. s: Er zijn dus drie subcategorieën voor de toetsen. s: Maar elke toets heeft in ieder geval gewoon een cijfer. s: Ze hebben gebruikers..gebruikers hebben volgens mij weer een ID…even kijken..oh nee naam bedoel ik. o: Wat zeg je? s: Naam, toenaam heeft een gebruiker o: Oke. s: Ik weet niet of uhhh…of die verzameling uhhh vragen nu gemodelleerd moeten worden of niet. o: Je hebt nog 1 minuut om ze allemaal af te krijgen. s: [sequential]Haha ok, ik ga naar de volgende.[/sequential] [case-switch]time: 9m07[/case-switch] s: De webshop….verkoopt…knuffels. s: Ze verkopen nog meer… o: Ennn… stop! Je tijd is om. s: Ok.	Transcript, including timing elements and tags o: Succes. s: Dankuwel. [prioritized]Ik ga eerst eens de eerste doen en dan de 4e en de 5e want dat zijn de cases met de minste regels.[/prioritized] Tijdens het lezen doe ik dingetjes onderstrepen die ik denk die interessant zijn. o: Je mag best zeggen wat je onderstreept zegmaar. s: Customer, Order, Object, Record, Name. Vooral order, Uniqueid, Date, Order, Issued, Process, Order. Ja, Ids. Object. s: [analysis]Het belangrijkste van deze case lijkt me dat ze dingen doen orderen.[analysis] We hebben in ieder geval een, umm. Een feit over een entiteit. s: We hebben in ieder geval de entiteit object (en het feitplan)? Dan zal er een feit tussenzitten. De order. En klant heeft naam. En object heeft een ID. Weet niet hoe ik daar een uniek iets van maak, met een bolletje of streepje. Hij is uniek. s: Een order is ook een entiteit met een datum. En volgens mij hebben we de eerste wel een heel eind gehad. s: [prioritized]Dan gaan we naar nr 4.[/prioritized] *Gemompel*. Patient, Patient. [case-switch]time: 3m18[/case-switch] o: Iets harder aub. s: Number, date, department, patient. Bij case 4 hebben we ook de entiteit van de patient en een department. Een department heeft een unieke naam en in een instantie moet dat IC of neurologie zijn. Een patient heeft ook een uniek nummer. o: Je hebt nog 5 minuten om alles cases af te maken. s: Ok. Feittype admission. *Gempompel*. o: Wat zeg je? s: Feittype admission krijgt ook een datum. [prioritized]Geloof dat ik die 4e ook heb gehad. Dan de 5e.[/prioritized] [case-switch]time: 5m30[/case-switch] s: De feiten en entiteiten zijn animals. *Gemompel*. [prioritized]De 5e sla ik even over want daar kom ik geen wijs uit. Ga ik door naar de 2e.[/prioritized] [case-switch]time: 6m06[/case-switch] s: Entiteit digitale toetsing. Feittype soort. We hebben oefentoetsen. Twee soorten. Deze dienen allemaal als een soort van toets. Alle toetsen leveren een cijfer op. Entiteit cijfer. Elke toets heeft een cijfer als feittype. Deze leveren een studiekrediet op. Deze kan ik niet plaatsen. s: Student heeft een naam en een toenaam. Hij heeft een entiteit opleiding. Toets heeft de entiteit vraag. *Gemompel*. Student doet een toets. Ik ga de soort is geen unair feittype meer maken maar een feittype dat vastzit aan de toets. s: Nee *gumt alles weer uit*. Student en een soort van toets. o: Je hebt nog 1 minuut. s: Ok. Umm. Studiekrediet zit vast aan student die een bepaalde soort toets doet en daar het cijfer van. *Gumgeluid*. s: Soort toets. Een cijfer krijg je voor het maken van een soort toets en het maken van een soort toets levert studiekrediet op. [prioritized]Heb ik er nog eentje over waar ik 1 minuut voor heb.[/prioritized] [case-switch]time: 9m49[/case-switch] s: Musical associations ... four unique ... (mompelt) ... associations ... (mompelt) font color=grey>o: Ennnn, stop, tijd is om. s: Oke.
Scanned solutions of subject 1	Scanned solutions of subject 2	Scanned solutions of subject 3	Scanned solutions of subject 4	Scanned solutions of subject 5

Analysis

The raw data above was quantified as much as possible and processed with the help of an analysis spreadsheet which gave the following results. The spreadsheet used for this can be downloaded in the addendum.

Subject	Case score	Time per case	Amount of tags
Subject 1	c1=83% c2=75% c3=27% c4=31% c5=14% C=46%, C'=26%	c1=134 c2=200 c3=251 c4=145 c5=170 C=900, C'=600	Sequential: 4 Prioritzed: 0 Case-switch: 4 Analysis: 0
Subject 2	c1=0% c2=67% c3=12% c4=0% c5=9% C=18%	c1=-(not started) c2=182 c3=219 c4=88 (skipped) c5=111 C=600	Sequential: 1 Prioritzed: 3 Case-switch: 3 Analysis: 3
Subject 3	c1=54% c2=58% c3=33% c4=17% c5=31% C=39%	c1=78 c2=75 c3=148 c4=117 c5=182 C=600	Sequential: 3 Prioritzed: 1 Case-switch: 4 Analysis: 0
Subject 4	c1=42% c2=22% c3=9% c4=11% c5=0% C=17%	c1=187 c2=193 c3=167 c4=53 (not finished) c5=-(not started) C=600	Sequential: 2 Prioritzed: 0 Case-switch: 3 Analysis: 4
Subject 5	c1=25% c2=50% c3=15% c4=0% c5=0% C=18%	c1=198 c2=132 c3=223 c4=36 (skipped) c5=11 (not finished) C=600	Sequential: 0 Prioritzed: 5 Case-switch: 4 Analysis: 1
	cn = score in percentage for case n C = cumulative score	cn = time taken for case n in seconds C = total time taken

Conclusion

In the analysis two subjects used a prioritized approach, of which one subject solely prioritized by skipping cases he seemed to take too much time in, and one analysed all the cases beforehand and decided on an order in which to model them. The remaining three subjects all used a sequential approach where the cases were modeled in the order as given, with little to no looking forward or prioritizing based on how much was left to do in the given (little) time.

Although the overall case scores for subjects who used a prioritized approach is lower than those who approached the cases sequentially our experiment is both too little to yield (statistically) significant data to draw conclusions from. We also cannot rule out the possibility that other factors contributed to the score. This means that we cannot give a useful answer to the first part of our problem statement without expanding the size of the experiment. In our analysis no single tactic (prioritized, sequential) was used significantly more than another (3 uses of sequential vs. 2 uses of prioritized). While in our analysis both the overal score, and detailed scores that can be seen in the analysis spreadsheet seemed to be higher for those subjects who used a sequential approach we cannot conclude anything useful from this, as the experiment is still too small to give significant statistical underpinnings, and we cannot rule out other factors contributing to the score differences (i.e. innate modeling skill of each subject, uncontrolled environmental factors).

There are, however, some lessons we can draw from our experiment and the analysis we have that indicate some interesting points. First, the majority of the subjects seemed unfazed by the time pressure placed on them, which can mean either the experimental setup was not stressful enough to invoke time-stress related responses, or most subjects from the population we used (CS/IS graduate students) are already thoroughly used to working in (time-related) stressful situations.

Furthermore, the detailed case scores in the analysis spreadsheet show that generally subjects were very capable in distilling the abstract concepts out of the stakeholder texts, but were less succesful in abstracting the fact types and constraints. This gives some hints for further experiments to more explicitely focus on how subjects build relations between concepts in their mind during the modeling process.

It also seems a likely possibility that a high ratio of spending time analysing cases to actually modeling them might be counterproductive. While the experimental setup was too small to give definitive answers here, future research might also focus on whether this detailed analysis beforehand yields lower case scores than "model and improve as you go" methods where the subject just starts creating models and alters them to fit new insights them in a later stage.

References / Notes

4. The scores in this spreadsheet are given by counting whether each concept, fact type and constraint that was expected appears by filling in a "1" for something that was included in the subject's solution, and a "0" for something that was not included. From this a similarity score in % is calculated for each rough "type" of model objects (i.e. concepts, fact types, constraints/complex structures), for the entire model, and for the entirety of the experiment.

Addendum

ORM testcase descriptions

nr.	description
1	Description of a very simple case with no constraints or complex structures like sub/super elements etc (i.e. a system where people can place orders and the orders can be looked up with what they consist of and what date they were placed at)
2	Description of a simple case with a (minimal) amount of constraints
3	Description of a normal case with a couple of constraints and at least one complex structure like sub/super elements
4	Description of a hard case with multiple constraints, multiple complex structures
5	Description of a very hard case with multiple (conflicting) constraints, multiple complex structures that might not lead to meaningful model

ORM testcase stakeholder texts

nr.	full text
1	When a customer comes to us to order an object we record their name. Then we file an order (with an unique ID) with the date the order has been issued (it's possible we process orders that have been issued days before) and in the order of course is listed which objects are ordered, we only write down the IDs of the object since our stock is based upon those IDs.
2	Our hospital utilizes a very common way of registering a patient admission. We have different departments with unique names, like IC and Neurology. When a patient is admitted they are assigned an unique number. Throughout the processes in the hospital this number is primary utilized. When a patient is admitted we record their number, date of admission and to which department they are admitted. In our hospital it's possible that a patient is admitted multiple times on a certain day.
3	Ons afstandsleerinstituut biedt digitale toetsing aan, bestaande uit drie toetssoorten. We hebben oefentoetsen, mondelinge (per telefoon of voice chat) overhoringen, en officiele tentamens. Deze drie zien we allemaal als een vorm van toets. Alle toetsen leveren een cijfer op, maar alleen de cijfers van mondelinge overhoringen en officiele tentamens leveren studiekrediet op. Een gebruiker van ons toetssysteem wordt met de standaardinformatie geidentificeerd, naam en toenaam, welke opleiding ze doen enzovoort. Overigens bestaat een oefentoets uit een bepaald aantal vragen die willekeurig geselecteerd worden uit de totale verzameling vragen. Zo'n toets, of verzameling vragen, moet wel uniek zijn, we wille niet een bepaalde toets meer dan een keer aan iemand voorleggen natuurlijk. Die vragen hebben ook allemaal een bepaalde moeilijkheid, zeg met iets numerieks als van 1 tot en met 5.
4	I run a small webshop which sells stuffed animals. Recently I've started selling heffalumps and woozles, which complicated matters a bit as there are so many kinds my webshop can't handle them. I need an extension to my system which can at least differentiate that a heffalump is a woozle is very confusle, as well that a heffalump is a woozle's very sly, sly, sly. They come in pairs of one, are either black or brown, big or small, quick and slick or insincere.
5	This musical association is divided into four unique self-operating sub-associations: a marching band, an orchestra, a drumline, majorettes. A member of our association can only be a part of one of the sub-associations at a time. The sub-associations each have their own type of performances. The orchestra is the exception whereas it only does (live) concerts on a certain day. The marching band performs in the form of marching, which also is done on a certain day. The drumline, majorettes and the marchingband occasionally collaborate in show performances on a certain day where it is possible that they perform in any combination possible (just majorettes, drumline or marching band or a combination of those three, or all three at once). Then there is the board that runs our musical association. The board consists of five standard functions which are: chairman, secretary (the secretary can arrange any performance for any sub-association), treasurer and three general members and acts for a specific period. Any member of our musical association can be in the board, but only execute one function at a time.

ORM testcase solutions

nr.	elements (identifier)	facttypes	complex structures
1	Customer (Name), Order (Id), Orderedobject (Id), Orderdate (Date)	Customer-[]-Order, Order-[]-Orderedobject, Order-[]-Orderdate	/
2	Patient (Number), Day (Date), Department (Name)	Patient-[Admission]-Day-[Admission]-Department	UC on Patient (Number), Day (Date) and Department (name). TC on Day (Date)
3	Toets (Id), Vraag (Id), Oefentoets (Id), Mondelinge overhoring (Id), Tentamen (Id), Cijfer (Nr), Studiekrediet (Nr), Gebruiker (Id), Gebruikersnaam (Naam), Opleiding (Naam), Moeilijkheid ∈ {1,2,3,4,5}	Toets (Id)-[bestaat uit]-Vraag, Toets (Id)-[gemaakt door]-Gebruiker (Id)-[heeft cijfer]-Cijfer (Nr), Toets (Id)-[levert op aan ec's]-Studiekrediet (Nr), Gebruiker (Id)-[heeft studiekrediet]-Studiekrediet (Nr), Gebruiker (Id)-[heeft gebruikersnaam]-Gebruikersnaam (Naam), Gebruiker (Id)-[heeft opleiding]-Opleiding (Naam)	Toets (Id) is verzameling van >= 1 Vraag (Id), Oefentoets (Id) -> Toets (Id), Mondelinge overhoring (Id) -> Toets (Id), Tentamen (Id) -> Toets (Id), UC over Toets (Id)-[gemaakt door]-Gebruiker (Id)-[heeft cijfer]-Cijfer (Nr), UC op Gebruiker (Id)-[heeft opleiding], UC op Gebruiker (Id)-[heeft studiekrediet], UC op Gebruiker (Id)-[heeft opleiding], TC op Toets (Id)-[bestaat uit], TC op Gebruiker (Id)-[heeft gebruikersnaam], TC op Gebruiker (Id)-[heeft opleiding], TC op Gebruiker (Id)-[heeft studiekrediet]
4	Stuffed Animal (Kind), Heffalump (Id), Woozle (Id), Color ∈ {Black, Brown}, Size ∈ {Big, Small}, Property ∈ {Quick and slick, Insincere}	Stuffed Animal (Kind), Heffalump -> Stuffed Animal (Kind), Woozle -> Stuffed Animal (Kind), Heffalump -> Woozle, Woozle-[is confusle], Woozle-[is very sly], Woozle-[has color]-Color, Woozle-[has size]-Size, Woozle-[has property]-Property	Heffalump -> Stuffed Animal (Kind), Woozle -> Stuffed Animal (Kind), Heffalump -> Woozle, UC on Woozle-[has property], Woozle-[has size], Woozle-[has color], Woozle-[is confusle], Woozle-[is very sly], TC on Woozle-[has property]
5	Member (Name), Day (Date), Period (Date-Date), Musical association, Marching band, Orchestra, Drumline, Majorettes, Performance, Marching, Concert, Show, Board, Chairman, Secretary, Treasurer, General member (I), General member (II), General member (III)	Member-[is member of]-Marching band, Member-[is member of]-Orchestra, Member-[is member of]-Drumline, Member-[is member of]-Majorettes, Member-[is boardmember as ...]-Chairman, Member-[is boardmember as ...]-Secretary, Member-[is boardmember as ...]-Treasurer, Member-[is boardmember as ...]-General member (I), Member-[is boardmember as ...]-General member (II), Member-[is boardmember as ...]-General member (III), Marching band-[performes]-Day-[performes]-Marching, Orchestra-[performes]-Day-[performes]-Concert, (Marching band, Drumline, Majorettes)-[performes]-Day-[performes]-Show	Musical association <--- Marching band, Musical association <--- Orchestra, Musical association <--- Drumline, Musical association <--- Majorettes, Performance <--- Marching, Performance <--- Concert, Performance <--- Show, Board <--- Chairman, Board <--- Secretary, Board <--- Treasurer, Board <--- General member (I), Board <--- General member (II), Board <--- General member (III), XC on Member-[is member of]-(Marching band, Orchestra, Drumline, Majorettes), XC on Member[is boardmember as ..]-(Chairman, Secretary, Treasurer, General member (I), General member (II), General member (III)), and an initial number of 7 TC's and 13 UC's

ORM testcase solution models

• 

  Case 1

• 

  Case 2

• 

  Case 3

• 

  Case 4

• 

  Case 5

Analysis spreadsheet

[4]