Onderzoeksmethoden 2/het werk/2008-9/Groep06

Uit Werkplaats
Ga naar: navigatie, zoeken

Groep 06 - Text Analysis

Inleiding

Bij de cursus Onderzoeksmethoden (vervolg) worden vier verschillende soorten onderzoeksmethoden belicht.

De onderzoeksmethoden die in de colleges aan bod gekomen zijn:

  • Interviews
  • Tekstanalyse
  • Think Aloud Protocols
  • Workshops

De klas is verdeeld in groepen, waarbij het de bedoeling is dat elke groep een onderzoek doet aan de hand van één van deze methoden. De resultaten hiervan staan op deze wiki.

Wij hebben gekozen voor Tekstanalyse.

Onderwerp

Bij het kiezen van een onderwerp was het oorspronkelijk de bedoeling te kiezen voor iets wat betrekking had op informatica of informatiekunde. Onze insteek was daarom om een chatgesprek te analyseren en we zijn hierbij voorbij gegaan aan het idee dat de inhoud van de tekst ook betrekking moest hebben of informatica of informatiekunde. Omdat we informatie halen uit de tekst met behulp van software, kun je zeggen dat we toch aan de eerste eis voldaan hebben.

Het centrale onderwerp is actueel, de kredietcrisis. In de NRC Next van dinsdag 7 oktober 2008 hebben we een artikel gevonden waarbij een journaliste, in dit geval Aaf Brandt Corstius, een interview afneemt d.m.v. een chatgesprek, met economisch redacteur Egbert Kalse. De hoofdvragen hebben wij gebruikt om zelf ook nog twee chatgesprekken af te nemen, zodat we deze konden vergelijken.

De chatgesprekken worden gemeten op efficiëntie, waarmee we een onderscheidt maken tussen de chatgesprekken. Hoe hoger de uitslag, des te efficiënter het gesprek.

De methode waarmee dit gedaan wordt is hieronder verder toegelicht.

Probleemstelling

De journaliste in het chatgesprek, Aaf Brandt Corstius, heeft een column geschreven over de kredietcrisis waarin naar voren kwam dat ze eigenlijk niets van de kredietcrisis afweet.

Aan de hand hiervan heeft ze twee vragen:

  • Hoe kan de wereld ineens in zo'n crisis raken?
  • Moet ik straks uit een vuilnisbak eten?

Om deze vragen te beantwoorden heeft ze een chatgesprek met economisch redacteur Egbert Kalse.

In het chatgesprek staat de volgende vraag centraal, wat tevens de naam van het artikel is:

  • Is het een goed idee wat goud in huis te halen?

Bij het beantwoorden van deze vragen is er in het chatgesprek te lezen dat aan de hand van de antwoorden van Egbert Kalse op de vragen van Aaf Brandt Corstius deze weer nieuwe vragen formuleert, afgeleid uit het antwoord van Egbert Kalse.

Om een vergelijking te kunnen maken worden er nog twee interviews afgenomen d.m.v. een chatgesprek. Hierin staan de bovenstaande vragen centraal. De nieuwe vragen die eventueel ontstaan tussen interviewer en ondervraagde kunnen uitgebreider zijn of juist niet. Een methode om de interviews te vergelijken zou kunnen zijn het tellen van het aantal woorden dat wordt gebruikt. Omdat we de efficiëntie willen meten is het efficiënt als de interviewer alleen "ja/nee" vragen zou stellen. Wanneer de woorden worden geteld zou het kunnen zijn dat het gesprek efficiënt verloopt, maar dat er wel veel meer vragen gesteld moeten worden om hetzelfde te weten te kunnen komen. Op de één of ander manier moet het begrip "efficiëntie" meetbaar worden gemaakt, zodat verschillende chatgesprekken kunnen worden vergeleken.

Onze onderzoeksvraag luidt als volgt: Hoe efficiënt worden vragen beantwoord in een interview middels een chatgesprek?

Verantwoording

Om efficiëntie meetbaar te maken gaan we aan elke tag een waarde toewijzen. Dit werkt als volgt.

Een vraag met een direct antwoord dat een antwoord geeft op de gestelde vraag is efficiënt. Je zou kunnen zeggen dat het een efficiëntie heeft van 100%. Een vraag met een direct antwoord. Stel nu dat er wordt getwijfeld in een antwoord, dit is niet relevant voor het antwoord, en dus is dit ruis. Ruis of een doorvraag dat na een antwoord wordt toegevoegd, kan wel van invloed zijn bij het antwoord van een nieuwe vraag. Indirect kan de interviewer hiermee om nieuwe informatie of verduidelijking vragen. De vraag is of dit het gesprek efficiënter maakt of juist niet. Ruis voegt in dit geval niets toe aan het antwoord. Hierom heeft ruis een waarde van 0%. Tussen deze twee uitersten liggen uiteraard meerdere tags die gekwalificeerd moeten worden. Op deze manier kunnen waarden worden toegevoegd aan de tags en dus bij optelling van de waarden krijgt een compleet chatgesprek ook een waarde. Uiteindelijk moet hier een methode uitkomen die de efficiëntie van een chatgesprek laat zien.

Theoretisch kader

Met dit onderzoek willen we meten wat de efficiëntie is van een chatgesprek. Om de efficiëntie te kunnen meten, en een vergelijk te kunnen maken tussen verschillende chatgesprekken, gaan we in verschillende chatgesprekken dezelfde hoofdvragen proberen aan te houden.

Waar ligt nu de grens tussen een efficiënt chatgesprek en een chatgesprek dat minder efficiënt is? Dit willen we meten door de chatgesprekken te taggen, elke tag heeft daarbij een aparte waarde, waardoor er een waarde ontstaat aan de antwoorden van de geïnterviewde. Om een efficiëntie waarde te kunnen bepalen moeten we gaan rekenen met deze waarden. Er wordt rekening gehouden met wat er gemeten wordt, en daaruit moet het efficiëntie getal komen. Door de efficiëntie waarden van chatgesprekken met dezelfde hoofdvragen te vergelijken kunnen we een uitspraak doen over welk chatgesprek het efficiëntst is verlopen.

Methode

Syntax

De teksten hebben we getagd volgens een vaste methode. Het consequent werken met één dezelfde methode is van groot belang, omdat onze opgebouwde tool hierdoor in staat is alle op deze wijze getagde teksten op dezelfde wijze te interpreteren. De formele syntax voor het onze tagmethode is als volgt:

Tag := [ Tagreferentie ; TagList ] 
TagList := Keyword [, TagList] 
Tagreferentie := string
Keyword := string

Hierbij geldt dat de tag 'Ruis' niet voor kan komen in combinatie met andere tags. De reden hiervoor is dat wanneer ruis voorkomt in een geneste tag, het toegevoegde waarde heeft en dus geen ruis meer is.

Gehanteerde tags

Om de te gebruiken tags te bepalen, hebben we de teksten een eerste keer doorgelezen en gezocht naar type vragen en type beantwoordingen. Deze tags zijn niet op het niveau van betekenis van de inhoud, gekozen zinconstructies of type statements(ontkenning, betoog, afweging, etc.), maar betreffen de manier waarop de beantwoorder heeft gekozen de vraag tracht te beantwoorden. Denk hierbij aan dat een ondervraagde een antwoord direct kan geven, een antwoord kan impliceren met een stelling, een voorbeeld kan geven wat een beantwoording kan illustreren, etc. We hebben voor dit type tags gekozen, omdat hier een duidelijk verschil is tussen de tags in hoe direct, hoe efficient een vraag beantwoord wordt, datgene wat we onderzoeken. Natuurlijk is het mogelijk dat er binnen de categorie 'type beantwoordingen' een wildgroei aan tags ontstaat. We hebben ons daarom ook beperkt tot tags, waarvan we kunnen onderbouwen waarom de door ons hieraan gekoppelde efficientiewaarde te allen tijde gelijk is. Een voorbeeld van een tag, die in de naam al ruimte laat voor verschillende efficientie is 'Opmerking'. Dit is een dergelijk ruim begrip, waardoor je echt de inhoud van de opmerking zou moeten bekijken om te beoordelen wat de toegevoegde waarde van de opmerking is voor de beantwoording, dus wat de efficientiewaarde is. We hebben gekozen voor meer inhoudsvolle tags. Voorbeelden hiervan zijn nuancering, toevoeging en uitspraak. Dit zijn alledrie ook voorbeelden van opmerkingen, maar met een verschillende efficientiewaarde. De gekozen tags zeggen meer over de waarde; een toevoeging bijvoorbeeld 'voegt iets toe', een nuancering bakent een antwoord af.

De betekenis van dergelijke tags geven dus al iets meer prijs over de waarde hiervan, ten opzichte van de beantwoording, maar ook hier blijft het probleem dat dit nog steeds arbitrair is. Daarom hebben we geprobeerd de door ons gekozen efficientiewaarde bij de tags te onderbouwen en vast te leggen, waardoor een dergelijke discussie buiten de scope van ons onderzoek valt. Hier volgt een opsomming van de door ons gebruikte tags, gesorteerd op efficientiewaarde, en voorzien van een uitleg en onderbouwing over hoe deze in dit onderzoek gehanteerd zijn.


Bij het vastleggen van datgene wat wij als vraag taggen, beperken wij ons tot wat de interviewer zegt. Zo ook, de tags van de beantwoording worden niet gebruikt in de tekst van de interviewer.


Omdat we ons focussen op de beantwoording van de vraagstellingen is een efficientiewaarde voor de vraagstelling niet relevant voor het onderzoek. Daarom hebben we dit achterwege gelaten. Wij hanteren de volgende tags voor de vraagstellingen:

  • vraag
  • doorvraag


Voor de beantwoordingen is het belangrijk het door ons gehanteerde verschil tussen antwoord en beantwoording te kennen. Een antwoord is namelijk een tag, terug te vinden in onze volgende tabel, met een beantwoording bedoelen we de reactie van een ondervraagde op een vraagstelling.

De volgende tags hanteren we voor de beantwoording, gesorteerd op efficiëntiewaarde:

Efficiëntie waarde Tagnaam Definitie Onderbouwing
1,0 Antwoord Een directe beantwoording van de vraagstelling. Wanneer de gegeven beantwoording door de ondervraagde een direct inhoudelijk passend antwoord vormt op de vraagstelling(onafhankelijk van de correctheid van het antwoord), is dit maximaal efficient beantwoord.
0,9 Voorbeeld Een voorbeeld wat direct betrekking heeft op de beantwoording. Het gebruiken van een voorbeeld om een beantwoording te illustreren of kracht bij te zetten, werkt zeer verhelderend. Van de lezer wordt slechts verwacht het voorbeeld in verband te zien tot het antwoord. Hierdoor stellen wij de waarde van een voorbeeld hoog, maar niet gelijk aan een direct antwoord.
0,9 Nuancering Een extra afbakening van het de beantwoording. Het nuanceren van een beantwoording heeft direct invloed op de betekenis van het antwoord. De lezer heeft al begrip voor het antwoord, maar de nuancering zal dit begrip nog meer verfijnen. De nuancering is daardoor van hoge toegevoegde waarde.
0,8
0,7 Verklaring Een verklaring voor een gegeven antwoord op een vraag. Een verklaring voor een gegeven antwoord is niet direct van invloed op de inhoud van de beantwoording. Wanneer de beantwoorder doorgaans een verklaring gebruikt, zal hij dit doen om meer begrip te creëeren voor de beantwoording. Dit beoordelen we wel als toegevoegde waarde in het beantwoorden van een vraagstelling, en is daarom van behoorlijke efficiëntiewaarde.
0,6 Implicatie Een indirecte beantwoording wat een direct antwoord impliceert. Dit is een omslachtige wijze van het beantwoorden van de vraag. Wanneer de lezer in staat is de slag te maken om de implicatie als dusdanig te herkennen, zal hij echter wel in staat zijn het directe antwoord wat de ondervraagde bedoelt hieruit te onttrekken.
0,5
0,4 Toevoeging Een extra toevoeging op de beantwoording met betrekking op de vraagstelling. We beoordelen een beantwoording als toevoeging wanneer de inhoud van deze beantwooring niet direct een deel van het antwoord vormt op de vraagstelling, maar wel een dusdanig informatief waardevolle toevoeging is op de vraagstelling, zodat dit op zekere wijze bijdraagt aan het begrip van het overige deel van de beantwoording.
0,3
0,2 Uitspraak Een informatieve opmerking wat weinig tot geen betrekking heeft op de vraagstelling. We beoordelen een beantwoording als uitspraak wanneer de inhoud van deze beantwoording wel een informatief waardevolle toevoeging is op een eerder of later gegeven beantwoording, maar niet iets nieuws aan de beantwoording toevoegt dat direct in relatie staat tot de vraagstelling.
0,1 Herhaling Een herhaling van de beantwoording. De beantwoording is in gelijke of enigzinds afwijkende vorm reeds gegeven. Het herhalen hiervan is niet efficient. In enkele gevallen kan het wel de relevantie van de eerder gegeven beantwoording benadruken.
0,0 Ruis Niet relevantie opmerkingen. Alles wat op geen enkele wijze betrekking heeft op of iets toevoegd aan een vraagstelling of beantwoording, bevat geen enkele efficiëntiewaarde.

Variabelen

Nu we de efficiëntiewaarde van de tags hebben vastgelegd, kunnen we opstellen hoe we deze waarden gaan gebruiken om tot een uiteindelijke waarde te komen voor de efficiëntiewaarde per beantwoording op een vraagstelling en uiteindelijk tot een waarde voor het gehele interview. Voordat we deze hiervoor ontwikkelde formules hanteren, eerst een overzicht van de hierin voorkomende variabelen en de hierbij behorende betekenissen:

Definities.png

Over een aantal variabelen zal nog onduidelijkheid zijn waarom deze bestaan. Dit is terug te vinden in de uitleg bij de formules.

Formules

Voordat we overgaan tot het toelichten van de formules, die leiden tot efficientiewaarden die antwoord geven op onze onderzoeksvraag, willen we nog een nuance aanbrengen in de te gebruiken efficientiewaarden zoals zojuist in de tabel is opgesomd. Dit betreft de situatie wanneer in een beantwoording de ondervraagde door middel van een type beantwoording zoals in de bovenstaande tabel genoemd is, doorgaat op een eerder gegeven beantwoording, dat geen direct antwoord was. In de meeste gevallen is dit niet het geval en is een tag of een directe beantwoording(antwoord, implicatie), of heeft het betrekking op een al gegeven direct antwoord(bijvoorbeeld een voorbeeld dat volgt op een direct antwoord).

Een voorbeeld van wanneer deze situatie zich wél voordoet is wanneer de ondervraagde een toevoeging doet, wat efficientiewaarde 0.4 heeft, en vervolgens een verklaring voor deze toevoeging geeft, wat efficientiewaarde 0.7 heeft. Wanneer we deze verklaring als slechts een verklaring zouden taggen, ontstaat de vreemde situatie dat een verklaring voor iets wat niet eens erg relevant is voor de beantwoording een zeer hoge efficientiewaarde heeft. We vangen dit op door in dit geval twee tagnamen aan de tags te koppelen. Als dit het geval is wordt er als volgt getagged: [tekst; toevoeging, verklaring]. de waarde hiervoor berekenen we door deze met elkaar te vermenigvuldigen.

In de formulevorm ziet dit er als volgt uit:

E.png

Wanneer er dus meerdere tagnamen bij een tag staan, wordt dus niet meer de efficientiewaarde overgenomen van de tagnamen, maar wordt deze berekend door middel van bovenstaande formule. Hierin is de efficientiewaarde het cartesisch product van alle efficientiewaarden behorende bij de tagnamen van de tags 1 tot en met n, behorende bij de betreffende tag.


Uit de eerder gegeven lijst met variabelen is al te zien dat er nog iets gaat gebeuren met de efficientiewaarde van de ruis-tags. De reden hiervoor is de volgende. Aangezien ruis van zeer uitéénlopende grootte kan zijn, is het niet correct een ruistag te allen tijde even zwaar mee te laten wegen in de berekening van de efficientie. Wanneer iemand bijvoorbeeld slechts eenmaal 'eeuh' zegt, is dit weleenswaar niet efficient(efficientiewaarde = 0.0), maar de invloed op de totale efficientie van de beantwoording is natuurlijk minimaal. Wanneer iemand ineens een voor de vraagstelling totaal irrelevant verhaal afsteekt van meer dan 100 woorden, is dit ook niet efficient, maar daarnaast van grote invloed op de totale efficientie van de beantwoording. Verhoudingsgewijs is de hoeveelheid ruis velen malen groter. Een lagere efficientiewaarde voor de totale beantwoording is dan veel realistischer.

Om dit probleem op te vangen, hebben we een constructie bedacht, waarbij we de grootte van de tag een gewogen invloed willen laten hebben op de efficientie van de beantwoording.

We zullen eerst de gemiddelde lengte in woorden van een tag uitrekenen over het gehele interview. Hierbij laten we alles wat als ruis getagd is achterwege, omdat dit juist deze waarde kan misleiden wanneer er extreem grote of kleine ruistags overheersend zijn. In de formule is dit g, het gemiddeld aantal woorden per tag. Dit berekenen we door het aantal woorden in alle tags te delen door t, het aantal tags. We berekenen g éénmalig, over het gehele interview. Deze waarde zal gehanteerd worden voor iedere berekening van Eb, de Efficientie van de beantwoording. Wanneer deze waarde bekend is, kan de hoeveelheid ruis per beantwoording gewogen bepaald worden. Dit doen we door het aantal ruiswoorden dat in totaal in een beantwoording voorkomt, te delen door g, het gemiddelde aantal woorden per tag. Hier komt een waarde uit die de hoeveelheid ruis in een beantwooding uitdrukt in een hoeveelheid tags, gewogen dus door g. Door deze waarde op te tellen bij het overige aantal tags in de beantwoording, ontstaat er een nieuwe waarde.

In formulevorm ziet de efficientie voor een beantwoording er dan als volgt uit:

EB.png

We bereken de efficientie van de beantwoording door het gemiddelde te nemen van de efficientiewaarden, die passen bij alle tags die gebruikt zijn in de beantwoording. Dit berekenen we door de som van alle efficientiewaarden uit de beantwoording te delen door de som van het aantal tags en het gewogen aantal ruistags.


Om vervolgens tot een totale efficientewaarde te komen berekenen we het gemiddelde van alle efficientiewaarden van beantwoordingen in het interview. Dit ziet er in formulevorm als volgt uit:

EI.png

De som van alle efficientiewaarden van beantwoordingen, gedeeld door het totaal aantal vragen in het interview, levert de efficientiewaarde op van het totale interview.

Planning

Bijeenkomsten van onze projectgroep staan gepland op:

  • Dinsdag van 13.45 uur tot 15.30 uur
  • Donderdag van 10.45 uur tot 12.30 uur

Data structurering

Chatgesprek 1

Chatgesprek 2

Chatgesprek 3

Data analyse

Chatgesprek 1

Vraag Efficiëntie van beantwoording
Wat is, in één zin, de kredietcrisis? 81%
waarom vertrouwt niemand elkaar meer? 75%
Dus niemand durft meer geld uit te lenen? 81%
daardoor kunnen de banken hun leningen niet terug betalen? 53%
Hoe kan de wereld van de ene dag op de andere - zo voelt het tenminste - in een crisis raken? 51%
gaat de crisis mij (33, huisbezitter, beetje spaargeld) hard raken? 90%
zou het kunnen dat we over een tijdje niet meer kunnen pinnen - dat scenario las ik ergens - en uit prullenbakken eten? 77%
Wie moeten er wel gaan oppassen? 62%
Mensen met veel geld? 60%
Dus beleggen is dom? 64%
nu het even slecht gaat met Fortis, neemt de Nederlanse Staat het gewoon over. Zo makkelijk. Dat kan toch niet zomaar? 48%
Dat is toch niet eerlijk tegenover andere banken en bedrijven die het moeilijk hebben? 35%
Wat wordt er trouwens precies bedoeld met banken die 'omvallen'? 89%
Is het echt als een soort domino? 76%
dat geld dat de overheid nu in de banken steekt, is dàt dan wel echt geld? 50%
Is het een goed idee om wat staafjes goud in huis te halen? 51%
Dus niks is veilig. Ook niet je geld in een oude sok onder je bed bewaren. 70%
de overheid leent dat geld weer bij banken. HOE KAN DAT? 45%
Maar hoe weet de overheid dat ze winst gaan maken op Fortis? 15%
Dat geeft meteen antwoord op mijn vraag over de Boze Belgen. 40%
Er worden door de overheid reusachtige bedragen gestopt in banken zoals Fortis. Wat wordt er eigenlijk met dat geld gedaan? 85%
Kan de crisis ons, gewone mensen met gewone huizen en gewone inkomens, wél raken op korte termijn? 53%
Maken we ons dan allemaal om niks zorgen? 60%

Average efficiency 61%

Chatgesprek 2

Vraag Efficiëntie van beantwoording
ben je klaar voor het interview? 55%
Kan je me kort uitleggen wat de kredietcrisis precies is? 40%
En als het vertrouwen in elkaar wegebt, hoe is dat dan een oorzaak van de crisis? 100%
Wat gebeurt er dan precies? 95%
een kleine schommeling waarin precies, bedoel je? 61%
Dus als ik het goed begrijp begint een crisis bij de banken. Pas als de consumenten hier lucht van krijgen en angst krijgen ontstaan de echte problemen? 47%
Moet ik me, als student met een beetje spaargeld, zorgen gaan maken? 50%
Ik hoef me ook geen zorgen te maken dat ik op een dag niet meer kan pinnen, en uit de prullenbak moet gaan eten? 60%
Maar is het wel eerlijk voor andere banken dat de regering bijvoorbeeld Fortis ineens lijkt te helpen? 41%
Maar die hebben er waarschijnlijk ook weer baat bij, dat de regering het land uit de crisis probeert te halen? 67%
Ik hoorde een econoom zeggen dat het misschien slim is wat staafjes goud aan te schaffen. Zit hier iets in? 60%
Of moet ik geld gewoon in een sok gaan bewaren? 100%
Kan ik uit dit interview concluderen dat de man van de straat eigenlijk zich zorgen maakt om niets? 53%
Ok, angst is dus ook in deze een slechte raadgever.... 40%

Average efficiency 62%

Chatgesprek 3

Vraag Efficiëntie van beantwoording
wat is de kredietcrisis? 70%
En hoe onstaat dat vertrouwensverlies van banken onderling? 75%
zoiets gebeurt toch niet van de een op de andere dag? 51%
Is dit niet van tevoren aan zien te komen? 53%
als ik het goed begrijp wordt er door die schijnzekerheid dus gewerkt met, als ik het zo kan formuleren, 'virtueel' geld? 85%
Is de aankoop van Fortis bijvoorbeeld een slimme zet geweest? 50%
Is deze overname van Fortis nou juist positief of negatief voor concurrerende banken? 54%
wat nou als zo'n crisis weer een keer gebeurt? Is die zekerheid er dan weer? 44%
is deze angst van consumenten legitiem? 61%
Moet ik mij als student bijvoorbeeld zorgen maken? 74%
Maar als ik je antwoord kort samenvat maken we ons over het algemeen druk om niets. 56%

Average efficiency 61%

Datamodel

Uitleg:

Je begint met het aanmaken van een project, deze gegevens worden opgeslagen in 'tblProjects', bijv. "OZM2". Vervolgens kunnen er aan dat project conversaties worden toegevoegd, bijv. "Chatgesprek 1". Deze worden opgeslagen in 'tblConversations'. In het veld 'ConversationRawData' komt het gehele interview inclusief tags te staan. De 'tblReferences' wordt gevuld met de losse referenties, zonder de tekens die voor syntax van belang zijn. Daarna kan er in 'tblTagReference' een link gelegd worden zodat daar uit af te lezen is welke tagnaam/tagnamen er bij een referentie is/zijn geplaatst. Deze tabel heeft geen primary keys omdat het mogelijk is dat er als volgt getagged wordt: [tekst;nuancering,nuancering]. Deze tekst is dus een nuancering van een voorgaande nuancering. Dat betekent een dubbele entry in 'tblTagReference', vandaar dat deze tabel geen primary keys bevat. In 'tblTags' staan alle verschillende tags (zowel vraag als antwoord tags) inclusief hun waarde van 0,0 tot 1,0. Als laatste moet 'tblReferenceLinks' worden gevuld waar een link wordt gelegd tussen alle vraagtags met hun bijbehorende beantwoording. Een vraag kan namelijk bestaan uit bijvoorbeeld een nuancering, verklaring, antwoord en toevoeging. Dat deze allemaal bij 1 vraag horen wordt hier gekoppeld.

Source code

Conclusie

In ons onderzoek heeft voornamelijk de ontwikkeling van de methoden centraal gestaan, dit gedeelte was ook het meest tijdrovend. In een verbetertraject, of watervalmethode, hebben we geschaafd en veranderd aan de methode, zodat we de uiteindelijke kwaliteit van de methoden zo hoog mogelijk hebben gekregen binnen het vooraf vastgelegde tijdsbestek. Datgene wat we hiervoor ontwikkeld hebben is een compleet instrument waarmee de uiteindelijke analyse in een zeer hoog tempo en op consistente wijze uitgevoerd kan worden. Dit levert de mogelijkheid op om in vervolgonderzoek wanneer je interviews van een andere aard zou willen vergelijken met deze uitkomst dit instrument weer te gebruiken. Dit zal weinig tijd kosten en het resultaat is gebaseerd op exact gelijke methoden.

De onderzoeksvraag die wij ons gesteld hebben is "Hoe efficiënt worden vragen beantwoord in een interview middels een chatgesprek?". Deze vraag is in een zeer concrete vorm beantwoord door middel van een waarde. Deze waren voor de drie gesprekken respectievelijk 61%, 62% en 61%. Het feit dat deze waarden zo dicht bij elkaar liggen draagt bij aan de waarde van de uitkomst van dit onderzoek. Op basis van deze drie gesprekken kunnen we stellen dat de efficientie van het beantwoorden van vragen in een interview middels een chatgesprek rond de 60% ligt. Wij beoordelen dit als redelijk efficient. Hierbij wel gezegd dat je hier pas zinnigere uitspraken over kan doen wanneer je de efficientie van beantwoorden in een interview middels andere methoden weet te achterhalen, berekend op basis van gelijke methodiek. Maar de vraag uit dit onderzoek achten wij als beantwoord in de vorm van de zojuist gegeven percentuele waarden.

In ons onderzoek zijn verbeteringen aan te brengen om tot een nog secuurdere berekening van de efficientie te komen. Bijvoorbeeld is dat datgene wat we met de ruis hebben gedaan, het wegen van de hoeveelheid van de ruis, ook toegepast kan worden op alle andere tags. Een voorbeeld van wat de uitslag slecht kan beinvloeden als je dit niet met alle tags doet, is dat wanneer iemand een korte, maar helder en complete verklaring geeft voor een beantwoording, dit dezelfde efficientiewaarde oplevert als wanneer iemand een hele lange maar ook complete verklaring geeft voor dezelfde beantwoording. Dit terwijl je zou kunnen zeggen dat wanneer je met minder woorden iets kan zeggen, dit altijd efficienter is. Door alle type tags dus vooraf te wegen, zoals ook bij het ruisvoorbeeld het geval is, kan je dit probleem ondervangen.

Tijdens ons onderzoek zijn we ergens tegenaan gelopen waardoor we op het idee zijn gekomen voor een ander onderzoeksonderwerp, wat de uitkomsten nog meer waarde kan geven. Zo is het ons opgevallen dat er soms op een slechte wijze vragen worden gesteld, waardoor het voor de geinterviewde soms onmogelijk is met een efficiente beantwoording te komen. Dit komt bijvoorbeeld voor wanneer de interviewer een veronderstelling doet die niet correct is. Wanneer een interviewer bijvoorbeeld vraagt "Waarom heeft u gekozen voor koffie?", terwijl de ondervraagde juist een kopje thee drinkt, kan hij deze vraag niet efficient beantwoorden. Wanneer hij zegt dat hij hier niet voor heeft gekozen geeft hij weliswaar de situatie weer, maar dit is geen direct antwoord op de gestelde vraag. Dit is dan een uitspraak over de vraag.

Omdat we dit probleem signaleerde, concludeerden we dat een onderzoek naar de effectiviteit van de vraagstelling nodig is om ook de variabelen in de vraagstellingen glad te strijken. Wanneer dit gebeurt is een uitspraak over de efficientie van beantwoordingen middels een bepaalde methode waardevoller met betrekking tot die methode.

Bijlage

Hieronder het chatgesprek tussen Aaf Brandt Corstius en Egbert Kalse uit de NRC Next.

E: Egbert Kalse

A: Aaf Brandt Cortius

Hieronder het chatgesprek tussen Walter Moerkerken en Corjanne Lucassen, Accountmanager Levensverzekeringen en Vermogensbeheer bij Allianz Nederland.

C: Corjanne Lucassen

W: Walter Moerkerken

Hieronder het chatgesprek tussen Roland Swinkels en Dick van Ooyen, Teamleider Rabobank Maas en Waal.

D: Dick van Ooyen

R: Roland Swinkels