Brontekst bekijken van Onderzoeksmethoden 2/het werk/2008-9/Groep03

<br> <big>''Task Solving Tactics''</big>

<big>
{{{plaatje|}}}

<br> Onderzoeksmethoden 2, 2008

<br> [[Gebruiker:Boudewijn Geijtenbeek|Boudewijn Geijtenbeek]], [[Gebruiker:Chiel Schutter|Chiel Schutter]], [[Gebruiker:Dirk van der Linden|Dirk van der Linden]], [[Gebruiker:Freek van Workum|Freek van Workum]]

<br>

<br> Onderwijsinstituut voor Informatica en Informatiekunde

Radboud Universiteit Nijmegen
</big>



<br>

<br>

<br>

<br>

----

version {{CURRENTDAY}} {{CURRENTMONTHNAME}} {{CURRENTYEAR}}

----



= Introduction =
When presented with multiple problems or questions to solve in a limited amount of time there are several common strategies to start. Most people maintain some kind of tactic that can be described as sequential or prioritized problem solving. Sequential solvers work through the presented problems in a linear fashion, getting as far as they can and stopping when the time is up, no matter whether all problems have been solved or whether the solutions are satisfactory. Prioritized solving is based partially on the gut feeling of the solver and depends on his knowledge and experience to estimate how much time each problem will cost and what kind of problems would present itself, and prioritizing them in a way as to solve either as much as problems as possible, or as much complex or most needed problems as possible. For the sake of keeping time investment and experimental preparation and setup manageable we will not generate cases that would benefit from parallel solving approaches, which is essentially a more nuanced form of this where a person is aware of all problems and works through all of them at the same time, for instance by devising some kind of standardized amount of steps and executing a step for every problem before moving on to the next stop.

= Problem statement =
When presented with a set of ''n'' modeling tasks that range in complexity and a set amount of time to solve them in (where the time is generally not enough to solve all problems regardless of the tactic), what kind of tactic is most commonly undertaken and which tactic yields most useful results?

= Theoretical framework =
== Conceptual model ==
<gallery>
Image:Img014.jpg|Initial conceptual model
Image:Img013.jpg|ORM sketch of said model
Image:OM2 Conceptueel Model ORM Chiel V1.jpg|Digitally rendered ORM version
</gallery>

== Elements ==
R: CS/IS major students

O: ORM testcases

S: ORM testcases solutions

== Variables ==
;Difficulty
:O -> Di
:Difficultylevel &isin; {1,2,3,4,5}
:Ordinal

;Tactic
:R -> O -> Ta
:Dominant tactic used on an ORM testcase &isin; {sequential,prioritized}
:Nominal

;Time
:R -> O -> Ti
:Time in minutes used on an ORM testcase &isin; <math>\mathbb{N}</math><sub>0</sub>
:Ratio

;Similarity
:R -> O -> S -> Si
:Similarity<ref>Similarity is computed by comparing the total objects (i.e. roles, facttypes) and properties (i.e. constraints) in the solution to the ones (explicitly) described in the testcase. From this a similarity score is is derived by calculating the amount of objects/properties divided by the amount of objects/properties in the testcase. Scores of < 0 are assumed not to appear, and any score of > 1 is treated as  a score of 1 for the purposes of this research.</ref> in percentage between solution and expected result &isin; <math>\mathbb{N}</math><sub>0</sub>
:?

= Method =
The setup of the TAP-sessions will be as following;
# Each individual is presented with several (small) cases which require a (semi-)formal model to be made in ORM.
## The individuals will be selected from a population which has experience with modeling cases in ORM (i.e. CS/IS majors)
## Each case varies in complexity, from trivial, to more complex, to downright paradoxical, but never in a set order (i.e. in no two experiments is the initial ordering of the cases ''exactly'' the same).
### Each case is modeled beforehand, and a most fitting model is saved as a comparison measure for the ones produced during the experiment.
# The individual is told to solve the problems in whatever way the want within the time span of 10 minutes.
## Beforehand they are instructed to verbalize their thoughts and other such things which are necessary for successful registration of the experiment.
## No help from the outside is allowed, nor are the observers to interact when an individual seems stalled, as this would be influencing the outcome of the experiment (i.e. an individual who gets stuck on a paradoxical case whilst using serial solving should not be actually told by the observer to move on)
# Each session (individual, multiple cases) is recorded by means of video and audio registration.
# Each session is processed and tagged according to a previously agreed upon tagging scheme.
# Each tagged session is analysed and given "scores" for the possible tactics that were used, and how successful the attempt was. The tags to be used are as following:
##<font color=green>'''[sequential]'''</font>: subject displays a sequential approach to handling the cases
##<font color=red>'''[prioritized]'''</font>: subject displays a prioritized approach to handling the cases
##<font color=purple>'''[case-switch]'''</font>: subject switches to new case
##<font color=orange>'''[analysis]'''</font>: subject spends time analysing a case
# Conclusions are drawn about the most used methods (by which thought processes they were chosen), and how effective these methods were (by comparison to the expected models).

= Results =
== Data ==
{|class="wikitable"
| colspan="5"| ''Due to privacy reasons raw data of the TAP sessions is only available upon request as digital video encoded in H264/AAC.''
|-
! Subject 1, case-order = 4,3,1,2,5 !! Subject 2, case-order = 3,2,4,5,1 !! Subject 3, case-order = 2,5,3,4,1 !! Subject 4, case-order = 1,2,3,4,5 !! Subject 5, case-order = 1,3,5,2,4
|-
| http://icto.science.ru.nl/dirk/dump/ozm2/persoon1.png
| http://icto.science.ru.nl/dirk/dump/ozm2/persoon2.png
| http://icto.science.ru.nl/dirk/dump/ozm2/persoon3.png
| http://icto.science.ru.nl/dirk/dump/ozm2/persoon4.png
| http://icto.science.ru.nl/dirk/dump/ozm2/persoon5.png
|-
|valign="top" |
{{klep|opschrift=Transcript, including timing elements and tags
|inhoud=* <font color=grey>'''o:''' Ja, start.</font>
* '''s:''' Uuh...
* <font color=grey>'''o:''' Zoveel mogelijk echt hardop praten wat je denkt.</font>
* '''s:''' Umm, er worden spullen voor dieren verkocht. Dus er zal wel iets daarbij horen.
* '''s:''' [Vraagt verklaring wat daar staat]
* <font color=grey>'''o:''' Het maakt niet uit wat het is, maar gewoon eigenlijk zo snel mogelijk modeleren.</font>
* '''s:''' Oke
* <font color=grey>'''o:''' Dus als je iets ergens ziet staan waarvan je niet weet wat het is, schrijf het gewoon op zoals je het ziet dat je denkt wat het is. En hou in de gaten dat je een kwartier hebt om alle taken af te werken.</font>
* '''s:''' Nou, er worden items verkocht. Dus dat zal er wel iets mee te maken hebben. Dat is instantie(onduidelijk gemompel)
* '''s:''' Uumm... items worden verkocht en in verschillende maten en kleuren, dus dat zal er wel bij horen.
* '''s:''' Dan maak ik ervan uuh variabele van die [???]. Oke, kleur is ook een variabele.
* '''s:''' Constraints enzo er ook bij toepassen? (vraag naar observator)
* <font color=grey>'''o:''' Observator knikt ja</font>
* '''s:''' Een item heeft... een item is natuurlijk uniek. Een item moet een total rol hebben, want die moet een kleur of een [???], een grootte neem ik aan, dat heeft ook een kleur, dat zal ook wel verplicht zijn.
* '''s:''' Moet ik aangeven ook als ik naar de volgende ga? (Vraag naar observator)
* <font color=grey>'''o:''' Ja, ook zoveel mogelijk uitspreken waarom je naar de volgende gaat en wat je precies doet, als je bijvoorbeeld iets over slaat of wat dan ook, gewoon al je gedachten en dergelijke uitspreken.</font>
* '''s:''' Um..
* <font color=purple>'''[case-switch]'''</font>time: 2m25<font color=purple>'''[/case-switch]'''</font>
* '''s:''' <font color=green>['''sequential''']</font>Ik ga nu naar het 2e punt omdat ik volgens mij wel het meeste uit het 1e punt heb en niet echt veel belangrijke dingen meer zie.<font color=green>[/'''sequential''']</font>
* '''s:''' Umm nou ik zie hier dat toetsen worden afgenomen. In verschillende maten. Ze zullen wel gespecificeerd worden als het om drie verschillende toetsen gaat. Dus welke toets zijn... een oefentoets, mondelinge toets, per telefoon. Mondeling dat kan volgens mij ook nog weer verder uitgesplitst worden omdat het in twee categorien valt. Telefoon als uh of mondeling en dan overhoring en officiele tentamens dus dan hou ik even die [???] aan. [???]
* '''s:''' Toets levert een cijfer op, deelname aan toets dat lees ik daar.
* '''s:''' Oh en alleen de [???]. Alleen mondelinge overhoringen, officiele tentamens leveren studieresultaat op.
* '''s:''' (Speelt met pen)
* '''s:''' Hmm...
* '''s:''' Ah, ze gebruiken um een toets als iemand, een student die gebruiken die neemt deel aan een toets. En deze wordt geidentificeerd met zijn naam, dus gebruiker heeft een naam, das objecttype. Umm... dan opleiding, hoort ook nog een opleiding bij waar dan, zal wel een variabele zijn. Even kijken hoor. We hebben nog verschillende categorieen toetsen zie ik um, oefentoets, misschien kan dat ook nog opgedeeld worden want zo'n oefentoets bestaat ook weer uit een aantal vragen, misschien zou je daar een frequentie aan kunnen toevoegen of niet. Um ja. Oh, ja, dat moet ook weer uniek zijn. Dus ik breng weer uniek constraints aan.  Twee keer. Ah toets, dan heb je ook nog iets van nummerings, wacht even, oh ik dacht dat daar iets stond maar [???] moeilijkheidsgraad als soort misschien. Die soort hebben allemaal nummers 1 tot en met 5. (mompelt) 
* '''s:''' Hm.
* '''s:''' Moet ik hem zo zorgvuldig mogelijk uitwerken of? (kijkt naar observator)
* <font color=grey>'''o:''' Um, mag je zelf kiezen. Het gaat er om dat je in ieder geval zoveel mogelijk uh van alles af krijgt.</font>
* <font color=purple>'''[case-switch]'''</font>time: 6m36<font color=purple>'''[/case-switch]'''</font>
* '''s:''' <font color=green>['''sequential''']</font>Oke, dan ga ik nu met de volgende verder. De 3e<font color=green>[/'''sequential''']</font>.
* '''s:''' Hier gaat het over een customers, nou het object customers, en die bestellen wat, customers kunnen dus een item bestellen neem ik aan. Die customers worden geidentificeerd met een naam... een order levert unieke nummer met het id (mompelt)
* '''s:''' Customer bestelt iets, zal een order plaatsen, en die wordt gemerkt met een id, maar aan die order hangt ook een datum. 
* '''s:''' (mompelt)
* '''s:''' Date... (leest opgave). <font color=green>['''sequential''']</font>Ja, dat is het volgens mij wel. Volgende<font color=green>[/'''sequential''']</font>.
* <font color=purple>'''[case-switch]'''</font>time: 8m50<font color=purple>'''[/case-switch]'''</font>
* '''s:''' Umm nou dat wordt een registratiesysteem voor patienten, dus er zal wel een patient zijn.
* <font color=grey>'''o:''' (Observator 2 komt binnen)</font>
* '''s:''' Nou er zijn verschillende afdelingen.
* <font color=grey>'''o:''' Je hebt nog 5 minuten.</font>
* '''s:''' En die afdelingen... hebben ieder unieke namen. Een patient heeft ook een uniek nummer. Umm simpel[???] aan een nummer gekoppeld, datum, ah op welke afdeling ze hebben gelegen.
* '''s:''' Patient... uh, met een nummer. Als die op een afdeling ligt met een naam is die opgenomen. En opgenomen kan weer over datum gaan.. dat is uniek.
* '''s:''' <font color=green>['''sequential''']</font>Oke, ik ga door naar de 5e.<font color=green>[/'''sequential''']</font>
* <font color=purple>'''[case-switch]'''</font>time: 11m07<font color=purple>'''[/case-switch]'''</font>
* '''s:''' Een muziekvereniging... groep umm... (mompelt). Nog een groep met muzikanten ofzo daarin heb je um.. verschillende types eigenlijk. (mompelt)
* '''s:''' Die generaliseren allemaal naar een groep van muzikant. Um... ze kunnen maar 1 tegelijk zijn. Maar ze onderscheiden zich volgens wanneer ze spelen, dus... (mompelt, tekent)
* '''s:''' (Leest opdracht)
* <font color=grey>'''o:''' Probeer zoveel mogelijk je gedachten hardop uit te spreken.</font>
* '''s:''' Ja, oke. Umm... verschillende muzikanten die... hebben eigenlijk allemaal een ander type, verschillende soort typen optreden die ze verzorgen moeten. (Tikt met pen op tafel). Die ene doet live concerts, en de andere umm.. (mompelt)
* <font color=grey>'''o:''' Je hebt nog 1 minuut.</font>
* '''s:''' Ja. Dan heb alleen nog een soort van performs object met daar aan allemaal verschillende types, typen van verschillende performance. Volgens mij kunnen die uh gespecificeerd worden naar een... ja, kunnen gespecificeer worden tot een type muzikant
* <font color=grey>'''o:''' Oke, 15 minuten zijn voorbij. Dus je moet nu stoppen met modeleren.</font>
* '''s:''' Hm.
}}
| valign="top"|
{{klep|opschrift=Transcript, including timing elements and tags
|inhoud=
* <font color=grey>'''o:''' Begin maar.</font>
* '''s:''' <font color=green>'''[sequential]'''</font>Oke, nou ik begin met het verhaal te lezen.<font color=green>'''[/sequential]'''</font> Even rustig. (Leest)
* '''s:''' Ik zie in ieder geval gelijk dat er nu zo'n drie soorten uh, toetsen zijn. En dan beschreven... (leest)
* '''s:''' Ik begin met toetsnummers op te schrijven. Um.. (schrijft). Even kijken... hmm...
* '''s:''' Nu even.. een oefentoets... officiele tentamens
* <font color=grey>'''o:''' Je mag gerust meer zeggen</font>
* '''s:''' Meer zeggen, ja. Ik zat even te kijken dan zit je nog met die mondelinge overhoring, die is eigenlijk ook weer gesplitst in telefoon of voice chat. <font color=orange>'''[analysis]'''</font>Ik ga er in dit geval gewoon van uit<font color=orange>'''[/analysis]'''</font> dat dat als eentje wordt gedaan. Um... en...
* '''s:''' (mompelt)
* '''s:''' (leest)
* '''s:''' (mompelt)
* '''s:''' <font color=orange>'''[analysis]'''</font>Ja ik zit nu even te denken, volgens mij heb ik wat dingen niet helemaal goed... even kijken, ik zit even met gebruiker.<font color=orange>'''[/analysis]'''</font>
* <font color=grey>'''o:''' Je hebt nog 7 minuten overigens... voor alle cases.</font>
* '''s:''' (Leest)
* <font color=grey>'''o:''' Het is de bedoeling dat je ze alle 5 binnen de tijd afmaakt.</font>
* '''s:''' <font color=red>'''[prioritized]'''</font>Ja, anders ga ik even naar de volgende.<font color=red>'''[/prioritized]'''</font>
* <font color=purple>'''[case-switch]'''</font>time: 3m39<font color=purple>'''[/case-switch]'''</font>
* '''s:''' (Leest, mompelt)
* <font color=grey>'''o:''' Waar denk je aan?</font>
* '''s:''' <font color=orange>'''[analysis]'''</font>Ja ik zit even te denken um bij dit ziekenhuis te kijken, die 2e hoe ik die op zou lossen, um...<font color=orange>'''[/analysis]'''</font> maar ik zie nog niet echt wat beetje het centrale punt is eigenlijk. Um, ja, unieke namen. In ieder geval departementen.
* '''s:''' Ieder patient heeft nu een uniek nummer.
* <font color=grey>'''o:''' Nog 5 minuten.</font>
* '''s:''' (Schrijft, leest)
* '''s:''' Hmm... even kijken. En een datum... van de patient.  Wacht, departement moet ik ook opschrijven (schrijft).
* '''s:''' <font color=red>'''[prioritized]'''</font>Ik kijk nu even naar de volgende.<font color=red>'''[/prioritized]'''</font>
* <font color=purple>'''[case-switch]'''</font>time: 6m41<font color=purple>'''[/case-switch]'''</font>
* '''s:''' (leest)
* '''s:''' Wat ik het moeilijk vind is dat de woorden wat moeilijk zijn, wat ingewikkeld, ze zijn wat onduidelijk waardoor ik zelf minder goed idee heb hoe het direct zal zijn. Niet echt een voorstelling bij kan maken.
* <font color=grey>'''o:''' Je hebt nog 3 minuten.</font>
* '''s:''' (leest)
* '''s:''' <font color=red>'''[prioritized]'''</font>Hmm.. deze zie ik niet zo snel. Ga ik even naar de volgende.<font color=red>'''[/prioritized]'''</font>
* <font color=purple>'''[case-switch]'''</font>time: 8m09<font color=purple>'''[/case-switch]'''</font>
* '''s:''' (leest)
* '''s:''' (mompelt)
* '''s:''' Een musical association bestaat uit vier sub associations maar dat is duidelijk, staat er ook in. In ieder geval dat je maar lid kan zijn van eentje tegelijk.
* <font color=grey>'''o:''' Nog 1 minuut.</font>
* '''s:''' (leest, schrijft)
* <font color=grey>'''o:''' Ja, je mag ophouden.</font>
* '''s:''' (legt pen neer)
}}
| valign="top"|
{{klep|opschrift=Transcript, including timing elements and tags
|inhoud=
* <font color=grey>'''o:''' Nu.</font>
* '''s:''' Oke.
* '''s:''' <font color=green>'''[sequential]'''</font>Eerst maar eens even lezen<font color=green>'''[/sequential]'''</font>, ehm hospital. Hupsakee, a very common way of registering patient admission. (mompelt) Dat is een afdeling. Dan patient. Ehm ... nummer. (mompelt) Ehm ... zat met date of admission.
* <font color=grey>'''o:''' Kan je misschien ietsje harder op praten?</font>
* '''s:''' Ja, ja.
* '''s:''' Date of admission die doen we even apart ... ehm, zolang aan een afdeling, afdeling hangt aan een ziekenhuis en dat betekent dat patient een afdeling moet hebben. Een afdeling hoeft geen patienten te hebben ... ehm, afdeling  heeft ziekenhuis, ziekenhuis aan afdeling. En ... ehm, ze mogen vaker voorkomen in de tabel, maar maar een keer per afdeling. En afdeling komt maar een keer in een ziekenhuis voor, maar ziekenhuis mogen, meerdere ziekenhuizen mogen ... ehm, nee niet dezelfde afdeling, wel dezelfde naam en dat is weer wat anders.
* '''s:''' <font color=green>'''[sequential]'''</font>Ehm, nummer 2.<font color=green>'''[/sequential]'''</font>
* <font color=purple>'''[case-switch]'''</font>time: 1m15<font color=purple>'''[/case-switch]'''</font>
* '''s:''' (mompelt, leest)
* '''s:''' Musical Association dat is ... ehm, een groep. Die hebben ook weer subgroepen (mompelt, schrijft). Eens even kijken dit zijn allemaal soorten. Oke, die is dus uniek, dat moeten we anders zetten zo direct. (leest) Hm, dat zijn er dus ... vier, die zijn in principe uniek en zijn altijd ... Dan heb je een lid ... en die kan met alle vier een relatie hebben, maar maar ... met een tegelijkertijd dus dat moeten we op de een of andere manier ... zien aan te geven. (onbegrijpbaar iets) 
* '''s:''' Eens even kijken ... ehm, ze hebben allemaal een eigen soort performances, dus dat moeten we ook op een of andere manier zien aan te geven, maar opzich kun je dat ook uit de rol halen. Feit dat die twee een performance hebben er ook weer iets omheen zetten. Een soort performance, husakee, dit gaat zo, hupsakee, uhuh. (leest) 
* time: 3m02
* <font color=grey>'''o:''' Je hebt nog 7 minuten om alle cases af te krijgen.</font>
* '''s:''' Ja, tijdje.
* '''s:''' (mompelt)
* '''s:''' Hmm, is de marching band, die hebben zelf een soort marching dat weer apart mogen.
* '''s:''' Die drie, ehm, de majorettes en de drumlines ... en de marching band kunnen met z'n drieen performen, dat betekent, die drie, kunnen ze allemaal in voorkomen. Dat wil ik in m'n tekeningetje maken (mompelt) wat.
* '''s:''' Is er ook nog een board, die hoort hier bij. En die heeft weer vijf functies, <font color=red>'''[prioritized]'''</font>daar kijk ik zo wel even naar.<font color=red>'''[/prioritized]'''</font>
* <font color=purple>'''[case-switch]'''</font>time: 4m17<font color=purple>'''[/case-switch]'''</font>
* '''s:''' Ons afstandsleerinstituut biedt digitale toetsing in drie toetsen (leest, mompelt, schrijft) ... toets. Toets is ... en dan heb je de drie soorten. (mompelt) Ennn, officieel. (schrijft) En dat zijn allemaal ... ehm, generalisaties van, generalisaties van. En dan heb je mondeling (mompelt) en dat zijn telefoon en voicechat.
* <font color=grey>'''o:''' Je hebt nog 5 minuten om alle cases af te maken.</font>
* '''s:''' Alle toetsen leveren een cijfer op, betekent, cijfer. Maaar, (mompelt) alleen mondeling overhoringen leveren een studiekrediet, dat betekent dat je ook nog studiekrediet moet krijgen. Dat dus blijkbaar alleen bij hun twee hoort en niet bij de rest. Ehm, gebruiker, heeft een naam, standaard naam. En verder wordt er ook nog van opgeslagen wat voor een opleiding hij doet, dat gaan we even niet opschrijven. Eerst verzameling vragen, dat geldt voor oefentoets, daar zitten vragen in. Da's een verzameling, eens even kijken hoor, een oefentoets heeft niet vragen, maar er is een verzamling vragen en die vallen samen met oefentoets. Nieuwe rol maken. De vragen uit de toets daar kan je van zeggen dat ze uniek zijn. Hmm, en die hebben een moeilijkheid, mooi woord. En dat is in principe, ehm, 1 tot en met 5 maar [???]. <font color=green>'''[sequential]'''</font>Next<font color=green>'''[/sequential]'''</font>.
* <font color=purple>'''[case-switch]'''</font>time: 6m45<font color=purple>'''[/case-switch]'''</font>
* '''s:''' Animals ... (mompelt, leest). Eens even kijken, we hebben een webshop, webshop, een webshop, ehm, verkoper, animals. En dan heb je heffalumps en woozles zijn allebei animals. En daar zijn ook weer allerlei, ehm, eens kijken (mompelt, leest). Ehm, 't is gewoon eigenlijk black of brown, big or small, betekent dat ze allemaal eigenschappen hebben (mompelt), is brown, en een van die twee zijn, dat geldt ook voor big en small. En moet ook [???] zijn, en heb je ook quick slick and (mompelt) en ook voor hun geldt, dat slechts eentje unique, hupsakee (mompelt) iets te kleintjes.
* <font color=purple>'''[case-switch]'''</font>time: 8m42<font color=purple>'''[/case-switch]'''</font>
* '''s:''' (mompelt) eens even kijken, when a customer, comes to us, dan zal er een shop zijn, die heeft customers, hupsakee, ehm, customers hebben orders.
* <font color=grey>'''o:''' Je hebt nog een minuut.</font>
* '''s:''' Oke, oke, oke.
* '''s:''' Order moet een customers hebben, customer hoeft geen orders te hebben. En order is uniek. Een customer moet een datum, en daar zitten weer objecten in. Een object, hoeft geen order te hebben, een order mag ook leeg zijn. Ehm, daar hoort [???] een id bij en een volgorde. Dit is niet helemaal ideaal, maar dat moet maar even. Dat er een ... order bij zit. Eens even kijken, dat betekent dat, deze rol, die twee, daar moet op een of andere manier vervolgnummer aan geassocieerd worden en dat doe ik even zo, anders weet ik het niet. 
* <font color=grey>'''o:''' En je tijd is op.</font>
* '''s:''' Check.
}}
| valign="top"|
{{klep|opschrift=Transcript, including timing elements and tags
|inhoud=
* <font color=grey>'''o:''' Nu!</font>
* '''s:''' Oke.
* <font color=grey>'''o:''' Succes!</font>
* '''s:''' Order, object…..name
* '''s:''' even kijken….
* <font color=grey>'''o:''' Je mag best wel zeggen hoor, wat je precies opschrijft.</font>
* '''s:''' Oh oke…
* '''s:''' Ik schrijf dus object en name op, die hebben dus een relatie met order
* '''s:''' even kijken….
* '''s:''' <font color=orange>'''[analysis]'''</font>Het feittype erbij dus ik denk gewoon dat uhmm object en order alle twee uhmm nee, object en name alle twee uhmm…uhmm onderdeel zijn van de order.<font color=orange>'''[/analysis]'''</font> Dus….
* '''s:''' <font color=orange>'''[analysis]'''</font>Object wordt besteld neem ik aan dus…dat is het feittype.. het gene wat besteld wordt.<font color=orange>'''[/analysis]'''</font>
* '''s:''' En name is de besteller….
* '''s:''' Ok…..blijkbaar ook een uniek ID. Om de order te  identificeren…
* <font color=grey>'''o:''' Ietsjes harder praten a.u.b.</font>
* '''s:''' Kuch, er is ook een uniek ID, om de order te kunnen identificeren of om eventueel terug te vinden in een database.
* <font color=grey>'''o:''' *tsssss (cola blikje)*</font>
* '''s:''' <font color=orange>'''[analysis]'''</font>Hmm laatste zin is een beetje…is niet relevant volgens mij voor uhmm..voor het domeinmodel.<font color=orange>'''[analysis]'''</font>
* '''s:''' Nou..tweede case…*kuch*
* <font color=purple>'''[case-switch]'''</font>time: 3m07<font color=purple>'''[/case-switch]'''</font>
* <font color=grey>'''o:''' Je hebt nog 7 minuten om ze allemaal af te maken.</font>
* '''s:''' Ok.
* '''s:''' <font color=orange>'''[analysis]'''</font>Die eerste zin..hospital…patient…registrate..die hebben wel iets met elkaar te maken.<font color=orange>'''[/analysis]'''</font>
* '''s:''' Uhm..patient wordt opgenomen in het ziekenhuis.
* '''s:''' Dus die wordt geregistreerd. Dat is het…..feittype.
* '''s:''' *kuch*
* '''s:''' Verder heeft het ziekenhuis veel meer afdelingen…zie ik.
* '''s:''' Patient heeft een uniek ID.
* <font color=grey>'''o:''' Hij gaat lekker hoor</font>
* '''s:''' Ja?..
* <font color=grey>'''o:''' Je hebt nog 5 minuten om alle cases af te maken</font>
* '''s:''' Ok…
* <font color=grey>'''o:''' Als je ergens vast zit mag je best verder gaan of uhhh..</font>
* <font color=grey>'''o:''' Volgorde van de cases mag je ook best zelf bepalen hoor.</font>
* '''s:''' Maakt niet uit als ik er eentje niet goed heb?
* <font color=grey>'''o:''' Nee.</font>
* <font color=grey>'''o:''' Er lopen wel wat zwarte pieten rond hier, dus misschien uhmm, dat je mee wordt genomen….</font>
* '''s:''' Haha, nu moet ik denken aan pepernoten, moet ik dat ook uhh haha.
* '''s:''' Ja….dag van opname…
* '''s:''' <font color=green>'''[sequential]'''</font>Ga nu naar de volgende case.<font color=green>'''[/sequential]'''</font>
* <font color=grey>'''o:''' Uhuh.</font>
* '''s:''' Eigenlijk moest ik wel bij die vorige case wel uhh een één of andere constraint erbij zetten, een patient kan meerder malen opgenomen worden. Maar weet niet meer precies hoe dat uhhh…Dus ik ga naar de volgende. 
* <font color=purple>'''[case-switch]'''</font>time: 6m20<font color=purple>'''[/case-switch]'''</font>
* '''s:''' Afstudeerinstituut biedt digitale toetsing aan.
* '''s:''' Is een duidelijke……..
* '''s:''' Er zijn dus drie subcategorieën voor de toetsen.
* '''s:''' Maar elke toets heeft in ieder geval gewoon een cijfer.	
* '''s:''' Ze hebben gebruikers..gebruikers hebben volgens mij weer een ID…even kijken..oh nee naam bedoel ik.
* <font color=grey>'''o:''' Wat zeg je?</font>
* '''s:''' Naam, toenaam heeft een gebruiker
* <font color=grey>'''o:''' Oke.</font>
* '''s:''' Ik weet niet of uhhh…of die verzameling uhhh vragen nu gemodelleerd moeten worden of niet. 
* <font color=grey>'''o:''' Je hebt nog 1 minuut om ze allemaal af te krijgen.</font>
* '''s:''' <font color=green>'''[sequential]'''</font>Haha ok, ik ga naar de volgende.<font color=green>'''[/sequential]'''</font>
* <font color=purple>'''[case-switch]'''</font>time: 9m07<font color=purple>'''[/case-switch]'''</font>
* '''s:''' De webshop….verkoopt…knuffels.
* '''s:''' Ze verkopen nog meer…
* <font color=grey>'''o:''' Ennn… stop! Je tijd is om.</font>
* '''s:''' Ok.
}}
| valign="top"|
{{klep|opschrift=Transcript, including timing elements and tags
|inhoud=
* <font color=grey>'''o:''' Succes.</font>
* '''s:''' Dankuwel. <font color=red>'''[prioritized]'''</font>Ik ga eerst eens de eerste doen en dan de 4e en de 5e want dat zijn de cases met de minste regels.<font color=red>'''[/prioritized]'''</font> Tijdens het lezen doe ik dingetjes onderstrepen die ik denk die interessant zijn.
* <font color=grey>'''o:''' Je mag best zeggen wat je onderstreept zegmaar.</font>
* '''s:''' Customer, Order, Object, Record, Name. Vooral order, Uniqueid, Date, Order, Issued, Process, Order. Ja, Ids. Object. 
* '''s:''' <font color=orange>'''[analysis]'''</font>Het belangrijkste van deze case lijkt me dat ze dingen doen orderen.<font color=orange>'''[analysis]'''</font> We hebben in ieder geval een, umm. Een feit over een entiteit. 
* '''s:''' We hebben in ieder geval de entiteit object (en het feitplan)? Dan zal er een feit tussenzitten. De order. En klant heeft naam. En object heeft een ID. Weet niet hoe ik daar een uniek iets van maak, met een bolletje of streepje. Hij is uniek. 
* '''s:''' Een order is ook een entiteit met een datum. En volgens mij hebben we de eerste wel een heel eind gehad. 
* '''s:''' <font color=red>'''[prioritized]'''</font>Dan gaan we naar nr 4.<font color=red>'''[/prioritized]'''</font> *Gemompel*. Patient, Patient.
* <font color=purple>'''[case-switch]'''</font>time: 3m18<font color=purple>'''[/case-switch]'''</font>
* <font color=grey>'''o:''' Iets harder aub.</font>
* '''s:''' Number, date, department, patient. Bij case 4 hebben we ook de entiteit van de patient en een department.  Een department heeft een unieke naam en in een instantie moet dat IC of neurologie zijn. Een patient heeft ook een uniek nummer.
* <font color=grey>'''o:''' Je hebt nog 5 minuten om alles cases af te maken.</font>
* '''s:''' Ok. Feittype admission.  *Gempompel*. 
* <font color=grey>'''o:''' Wat zeg je?</font>
* '''s:''' Feittype admission krijgt ook een datum. <font color=red>'''[prioritized]'''</font>Geloof dat ik die 4e ook heb gehad. Dan de 5e.<font color=red>'''[/prioritized]'''</font>
* <font color=purple>'''[case-switch]'''</font>time: 5m30<font color=purple>'''[/case-switch]'''</font>
* '''s:''' De feiten en entiteiten zijn animals. *Gemompel*. <font color=red>'''[prioritized]'''</font>De 5e sla ik even over want daar kom ik geen wijs uit. Ga ik door naar de 2e.<font color=red>'''[/prioritized]'''</font>
* <font color=purple>'''[case-switch]'''</font>time: 6m06<font color=purple>'''[/case-switch]'''</font>
* '''s:''' Entiteit digitale toetsing. Feittype soort. We hebben oefentoetsen. Twee soorten. Deze dienen allemaal als een soort van toets. Alle toetsen leveren een cijfer op. Entiteit cijfer. Elke toets heeft een cijfer als feittype. Deze leveren een studiekrediet op. Deze kan ik niet plaatsen. 
* '''s:''' Student heeft een naam en een toenaam. Hij heeft een entiteit opleiding.  Toets heeft de entiteit vraag. *Gemompel*. Student doet een toets. Ik ga de soort is geen unair feittype meer maken maar een feittype dat vastzit aan de toets. 
* '''s:''' Nee *gumt alles weer uit*. Student en een soort van toets.
* <font color=grey>'''o:''' Je hebt nog 1 minuut.</font>
* '''s:''' Ok. Umm. Studiekrediet zit vast aan student die een bepaalde soort toets doet en daar het cijfer van. *Gumgeluid*. 
* '''s:''' Soort toets. Een cijfer krijg je voor het maken van een soort toets en het maken van een soort toets levert studiekrediet op. <font color=red>'''[prioritized]'''</font>Heb ik er nog eentje over waar ik 1 minuut voor heb.<font color=red>'''[/prioritized]'''</font> 
* <font color=purple>'''[case-switch]'''</font>time: 9m49<font color=purple>'''[/case-switch]'''</font>
* '''s:''' Musical associations ... four unique ... (mompelt) ... associations ... (mompelt)
* font color=grey>'''o:''' Ennnn, stop, tijd is om.
* '''s:''' Oke.
}}
|-
| valign="top" | {{klep|opschrift=Scanned solutions of subject 1|inhoud=http://icto.science.ru.nl/dirk/dump/ozm2/p1solv1.png http://icto.science.ru.nl/dirk/dump/ozm2/p1solv2.png http://icto.science.ru.nl/dirk/dump/ozm2/p1solv3.png}}
| valign="top" | {{klep|opschrift=Scanned solutions of subject 2|inhoud=http://icto.science.ru.nl/dirk/dump/ozm2/p2solv1.png http://icto.science.ru.nl/dirk/dump/ozm2/p2solv2.png}}
| valign="top" | {{klep|opschrift=Scanned solutions of subject 3|inhoud=http://icto.science.ru.nl/dirk/dump/ozm2/p3solv1.png http://icto.science.ru.nl/dirk/dump/ozm2/p3solv2.png http://icto.science.ru.nl/dirk/dump/ozm2/p3solv3.png}}
| valign="top" | {{klep|opschrift=Scanned solutions of subject 4|inhoud=http://icto.science.ru.nl/dirk/dump/ozm2/p4solv1.png http://icto.science.ru.nl/dirk/dump/ozm2/p4solv2.png}}
| valign="top" | {{klep|opschrift=Scanned solutions of subject 5|inhoud=http://icto.science.ru.nl/dirk/dump/ozm2/p5solv1.png http://icto.science.ru.nl/dirk/dump/ozm2/p5solv2.png}}
|}

== Analysis ==
The raw data above was quantified as much as possible and processed with the help of an analysis spreadsheet which gave the following results. The spreadsheet used for this can be downloaded in the addendum.

{|class="wikitable"
! Subject !! Case score !! Time per case !! Amount of tags
|-
| Subject 1
|
*c1=83%
*c2=75%
*c3=27%
*c4=31%
*c5=14%
*C=46%, C'=26%<ref>If the given time is retroactively decreased to 10 minutes, given the subject would have continued with the same method which is very likely, C' would be the percentagewise score instead of C.</ref>
|
*c1=134
*c2=200
*c3=251
*c4=145
*c5=170
*C=900<ref>After this session we decided to decrease total time down to 10 minutes to make sure not every case could be easily finished. This is taken into account in the conclusion as we only look at the overall tagging of this case, and for statistics purposes disregard work done after C=600. As the subject in this case worked purely sequential we think this will not negatively influence the quality of our analysis by too great a factor.</ref>, C'=600
|
*Sequential: 4
*Prioritzed: 0
*Case-switch: 4
*Analysis: 0
|-
| Subject 2
|
*c1=0%
*c2=67%
*c3=12%
*c4=0%
*c5=9%
*C=18%
|
*c1=-(''not started'')
*c2=182
*c3=219
*c4=88 (''skipped'')
*c5=111
*C=600
|
*Sequential: 1
*Prioritzed: 3
*Case-switch: 3
*Analysis: 3
|-
| Subject 3
|
*c1=54%
*c2=58%
*c3=33%
*c4=17%
*c5=31%
*C=39%
|
*c1=78
*c2=75
*c3=148
*c4=117
*c5=182
*C=600
|
*Sequential: 3
*Prioritzed: 1
*Case-switch: 4
*Analysis: 0
|-
| Subject 4
|
*c1=42%
*c2=22%
*c3=9%
*c4=11%
*c5=0%
*C=17%
|
*c1=187
*c2=193 
*c3=167
*c4=53 (''not finished'')
*c5=-(''not started'')
*C=600
|
*Sequential: 2
*Prioritzed: 0
*Case-switch: 3
*Analysis: 4
|-
| Subject 5
|
*c1=25%
*c2=50%
*c3=15%
*c4=0%
*c5=0%
*C=18%
|
*c1=198
*c2=132
*c3=223
*c4=36 (''skipped'')
*c5=11 (''not finished'')
*C=600
|
*Sequential: 0
*Prioritzed: 5
*Case-switch: 4
*Analysis: 1
|-
|
|c<sub>''n''</sub> = score in percentage for case ''n'' <br/> C = cumulative score
|c<sub>''n''</sub> = time taken for case ''n'' in seconds <br/> C = total time taken
|
|}

= Conclusion =
In the analysis two subjects used a prioritized approach, of which one subject solely prioritized by skipping cases he seemed to take too much time in, and one analysed all the cases beforehand and decided on an order in which to model them. The remaining three subjects all used a sequential approach where the cases were modeled in the order as given, with little to no looking forward or prioritizing based on how much was left to do in the given (little) time.

Although the overall case scores for subjects who used a prioritized approach is lower than those who approached the cases sequentially our experiment is both too little to yield (statistically) significant data to draw conclusions from. We also cannot rule out the possibility that other factors contributed to the score. This means that we cannot give a useful answer to the first part of our problem statement without expanding the size of the experiment. In our analysis no single tactic (prioritized, sequential) was used ''significantly'' more than another (3 uses of sequential vs. 2 uses of prioritized). While in our analysis both the overal score, and detailed scores that can be seen in the [[Onderzoeksmethoden_2/het_werk/2008-9/Groep03#Analysis_spreadsheet|analysis spreadsheet]] seemed to be higher for those subjects who used a sequential approach we cannot conclude anything useful from this, as the experiment is still too small to give significant statistical underpinnings, and we cannot rule out other factors contributing to the score differences (i.e. innate modeling skill of each subject, uncontrolled environmental factors).

There are, however, some lessons we can draw from our experiment and the analysis we have that indicate some interesting points. First, the majority of the subjects seemed unfazed by the time pressure placed on them, which can mean either the experimental setup was not stressful enough to invoke time-stress related responses, or most subjects from the population we used (CS/IS graduate students) are already thoroughly used to working in (time-related) stressful situations.

Furthermore, the detailed case scores in the [[Onderzoeksmethoden_2/het_werk/2008-9/Groep03#Analysis_spreadsheet|analysis spreadsheet]] show that generally subjects were very capable in distilling the abstract ''concepts'' out of the stakeholder texts, but were less succesful in abstracting the ''fact types'' and ''constraints''. This gives some hints for further experiments to more explicitely focus on how subjects build relations between concepts in their mind during the modeling process.

It also seems a likely possibility that a high ratio of spending time analysing cases to actually modeling them might be counterproductive. While the experimental setup was too small to give definitive answers here, future research might also focus on whether this detailed analysis beforehand yields lower case scores than "model and improve as you go" methods where the subject just starts creating models and alters them to fit new insights them in a later stage.

= References / Notes =
<references />
4. The scores in this spreadsheet are given by counting whether each concept, fact type and constraint that was expected appears by filling in a "1" for something that was included in the subject's solution, and a "0" for something that was not included. From this a similarity score in % is calculated for each rough "type" of model objects (i.e. concepts, fact types, constraints/complex structures), for the entire model, and for the entirety of the experiment.

= Addendum =
== ORM testcase descriptions ==
{|class="wikitable"
! nr. !! description
|-
| 1 || Description of a very simple case with no constraints or complex structures like sub/super elements etc (i.e. a system where people can place orders and the orders can be looked up with what they consist of and what date they were placed at)
|-
| 2 || Description of a simple case with a (minimal) amount of constraints
|-
| 3 || Description of a normal case with a couple of constraints and at least one complex structure like sub/super elements
|-
| 4 || Description of a hard case with multiple constraints, multiple complex structures
|-
| 5 || Description of a very hard case with multiple (conflicting) constraints, multiple complex structures that might not lead to meaningful model
|}

== ORM testcase stakeholder texts ==
{|class="wikitable"
! nr. !! full text
|-
| 1 || When a customer comes to us to order an object we record their name. Then we file an order (with an unique ID) with the date the order has been issued (it's possible we process orders that have been issued days before) and in the order of course is listed which objects are ordered, we only write down the IDs of the object since our stock is based upon those IDs.
|-
| 2 || Our hospital utilizes a very common way of registering a patient admission. We have different departments with unique names, like IC and Neurology. When a patient is admitted they are assigned an unique number. Throughout the processes in the hospital this number is primary utilized. When a patient is admitted we record their number, date of admission and to which department they are admitted. In our hospital it's possible that a patient is admitted multiple times on a certain day.
|-
| 3 || Ons afstandsleerinstituut biedt digitale toetsing aan, bestaande uit drie toetssoorten. We hebben oefentoetsen, mondelinge (per telefoon of voice chat) overhoringen, en officiele tentamens. Deze drie zien we allemaal als een vorm van toets. Alle toetsen leveren een cijfer op, maar alleen de cijfers van mondelinge overhoringen en officiele tentamens leveren studiekrediet op. Een gebruiker van ons toetssysteem wordt met de standaardinformatie geidentificeerd, naam en toenaam, welke opleiding ze doen enzovoort. Overigens bestaat een oefentoets uit een bepaald aantal vragen die willekeurig geselecteerd worden uit de totale verzameling vragen. Zo'n toets, of verzameling vragen, moet wel uniek zijn, we wille niet een bepaalde toets meer dan een keer aan iemand voorleggen natuurlijk. Die vragen hebben ook allemaal een bepaalde moeilijkheid, zeg met iets numerieks als van 1 tot en met 5.
|-
| 4 || I run a small webshop which sells stuffed animals. Recently I've started selling heffalumps and woozles, which complicated matters a bit as there are so many kinds my webshop can't handle them. I need an extension to my system which can at least differentiate that a heffalump is a woozle is very confusle, as well that a heffalump is a woozle's very sly, sly, sly. They come in pairs of one, are either black or brown, big or small, quick and slick or insincere.
|-
| 5 || This musical association is divided into four unique self-operating sub-associations: a marching band, an orchestra, a drumline, majorettes. A member of our association can only be a part of one of the sub-associations at a time. The sub-associations each have their own type of performances. The orchestra is the exception whereas it only does (live) concerts on a certain day. The marching band performs in the form of marching, which also is done on a certain day. The drumline, majorettes and the marchingband occasionally collaborate in show performances on a certain day where it is possible that they perform in any combination possible (just majorettes, drumline or marching band or a combination of those three, or all three at once). Then there is the board that runs our musical association. The board consists of five standard functions which are: chairman, secretary (the secretary can arrange any performance for any sub-association), treasurer and three general members and acts for a specific period. Any member of our musical association can be in the board, but only execute one function at a time.
|}

== ORM testcase solutions ==
{|class="wikitable"
|-
! nr. !! elements (identifier) !! facttypes !! complex structures

|-
| 1 
|| Customer (Name), Order (Id), Orderedobject (Id), Orderdate (Date) 
|| Customer-[]-Order, Order-[]-Orderedobject, Order-[]-Orderdate 
|| /

|-
| 2 
|| Patient (Number), Day (Date), Department (Name) 
|| Patient-[Admission]-Day-[Admission]-Department 
|| UC on Patient (Number), Day (Date) and Department (name). TC on Day (Date)

|- 
| 3 
|| Toets (Id), Vraag (Id), Oefentoets (Id), Mondelinge overhoring (Id), Tentamen (Id), Cijfer (Nr), Studiekrediet (Nr), Gebruiker (Id), Gebruikersnaam (Naam), Opleiding (Naam), Moeilijkheid ∈ {1,2,3,4,5}
|| Toets (Id)-[bestaat uit]-Vraag, Toets (Id)-[gemaakt door]-Gebruiker (Id)-[heeft cijfer]-Cijfer (Nr), Toets (Id)-[levert op aan ec's]-Studiekrediet (Nr), Gebruiker (Id)-[heeft studiekrediet]-Studiekrediet (Nr), Gebruiker (Id)-[heeft gebruikersnaam]-Gebruikersnaam (Naam), Gebruiker (Id)-[heeft opleiding]-Opleiding (Naam)
|| Toets (Id) is verzameling van >= 1 Vraag (Id), Oefentoets (Id) -> Toets (Id), Mondelinge overhoring (Id) -> Toets (Id), Tentamen (Id) -> Toets (Id), UC over Toets (Id)-[gemaakt door]-Gebruiker (Id)-[heeft cijfer]-Cijfer (Nr), UC op Gebruiker (Id)-[heeft opleiding], UC op Gebruiker (Id)-[heeft studiekrediet], UC op Gebruiker (Id)-[heeft opleiding], TC op Toets (Id)-[bestaat uit], TC op Gebruiker (Id)-[heeft gebruikersnaam], TC op Gebruiker (Id)-[heeft opleiding], TC op Gebruiker (Id)-[heeft studiekrediet]
|-
| 4
||Stuffed Animal (Kind), Heffalump (Id), Woozle (Id), Color &isin; {Black, Brown}, Size &isin; {Big, Small}, Property &isin; {Quick and slick, Insincere}
||Stuffed Animal (Kind), Heffalump -> Stuffed Animal (Kind), Woozle -> Stuffed Animal (Kind), Heffalump -> Woozle, Woozle-[is confusle], Woozle-[is very sly], Woozle-[has color]-Color, Woozle-[has size]-Size, Woozle-[has property]-Property
||Heffalump -> Stuffed Animal (Kind), Woozle -> Stuffed Animal (Kind), Heffalump -> Woozle, UC on Woozle-[has property], Woozle-[has size], Woozle-[has color], Woozle-[is confusle], Woozle-[is very sly], TC on Woozle-[has property]
|-
| 5
|| Member (Name), Day (Date), Period (Date-Date), Musical association, Marching band, Orchestra, Drumline, Majorettes, Performance, Marching, Concert, Show, Board, Chairman, Secretary, Treasurer, General member (I), General member (II), General member (III)
|| Member-[is member of]-Marching band, Member-[is member of]-Orchestra, Member-[is member of]-Drumline, Member-[is member of]-Majorettes, Member-[is boardmember as ...]-Chairman, Member-[is boardmember as ...]-Secretary, Member-[is boardmember as ...]-Treasurer, Member-[is boardmember as ...]-General member (I), Member-[is boardmember as ...]-General member (II), Member-[is boardmember as ...]-General member (III), Marching band-[performes]-Day-[performes]-Marching, Orchestra-[performes]-Day-[performes]-Concert, (Marching band, Drumline, Majorettes)-[performes]-Day-[performes]-Show
|| Musical association <--- Marching band, Musical association <--- Orchestra, Musical association <--- Drumline, Musical association <--- Majorettes, Performance <--- Marching, Performance <--- Concert, Performance <--- Show, Board <--- Chairman, Board <--- Secretary, Board <--- Treasurer, Board <--- General member (I), Board <--- General member (II), Board <--- General member (III), XC on Member-[is member of]-(Marching band, Orchestra, Drumline, Majorettes), XC on Member[is boardmember as ..]-(Chairman, Secretary, Treasurer, General member (I), General member (II), General member (III)), and an initial number of 7 TC's and 13 UC's
|}

== ORM testcase solution models ==
<gallery>
Image:Case1.png|Case 1
Image:Case2.png|Case 2
Image:Case3.png|Case 3
Image:Case4.png|Case 4
Image:Case5.png|Case 5
</gallery>

== Analysis spreadsheet ==
[http://icto.science.ru.nl/dirk/dump/ozm2/OZM2-excel97-2000.xls http://icto.science.ru.nl/dirk/dump/ozm2/analysis-sheet.png] [[Onderzoeksmethoden_2/het_werk/2008-9/Groep03#References_.2F_Notes|[4]]]