Research and Development 1/^Archief/2008-2009/Kari/Resultaten/Onderzoeksverslag

---

DEZE PAGINA GAAN WE WAARSCHIJNLIJK NIET MEER GEBRUIKEN

---

Onderzoeksverslag

Inleiding

!!Inleiding!!

Onderzoeksplan

Onderzoeksvraag

• Hoe goed is het lerend vermogen van de chatbot, "virtual girlfriend" Kari?

Deelvragen

• Hoeveel statements over een onderwerp heeft Kari gemiddeld nodig voor ze vragen over een bepaald onderwerp kan beantwoorden,
  • wanneer ze volledig ongetraind is? (Beginnend op intelligentie-lv 0)
  • wanneer ze al getraind is om te praten over een aansluitend onderwerp? (Intelligentie-lv van minimaal 1)
  • wanneer ze getraind is om te praten over een niet aansluitend onderwerp? (Met hetzelfde intelligentie-lv als bij vorige deelvraag) Note to us all: communiceer over dit lv!

Voor deze deelvragen, gebruiken we verschillende Kari-persoonlijkheden, die we naar hun bijbehorende deelvraag x Kari-x noemen. (Dus Kari-1, Kari-2 en Kari-3)

Hypothese

We verwachten dat Kari sneller iets aan te leren valt over een onderwerp, waarmee ze een verband kan leggen met een haar al bekend onderwerp. Daarnaast verwachten we ook, dat het bijna even veel invoer kost haar een nieuw onderwerp aan te leren, wanneer ze nog geen kennis heeft, als wanneer ze kennis heeft die geen raakvlakken heeft met het nieuwe onderwerp.

Plan van aanpak

Het plan is, om voor de drie deelvragen drie verschillende Kari's te trainen. Om de eerste deelvraag te kunnnen beantwoorden, nemen we een lege, blance, ongetrainde Kari-persoonlijkheid. Deze leren wij onderwerp-1 (zie verderop) aan. Voor de tweede en derde deelvraag trainen we twee Kari-persoonlijkheden allebei tot eenzelfde intelligentie-level (dit is een cijfer, te zien in het programma), ieder met een eigen, onderling zeer verschillend, onderwerp. Deze twee Kari's zullen we na hun eerste training hetzelfde onderwerp als de eerste Kari aanleren. Tijdens al dit leren zullen we de gebruikte zinnen bijhouden en om de zoveel zinnen kijken of Kari de van te voren bepaalde vragen bij onderwerp-1 kan beantwoorden.

Drie onderwerpen die we (verschillende) Kari('s) gaan proberen aan te leren

• 1. appels (apples)
• 2. fruitvliegjes (fruit flies / tephritidae)
• 3. dwarsfluit (German flute)

Onderwerp-2 en onderwerp-3 zullen we van tevoren proberen te leren aan respectievelijk Kari-2 en -3. Hierna zullen we alle Kari's hetzelfde onderwerp, onderwerp-1 aan proberen te leren.

We verdelen de drie Kari's over ons drieen:

• Persoon-1 -> Kari-1
• Persoon-2 -> Kari-2
• Persoon-3 -> Kari-3

Persoon-2 leert Kari-2 over onderwerp-2. Persoon-3 leert Kari-3 over onderwerp-3 tot precies hetzelfde level als Hans Kari-2 heeft gebracht. Persoon-1 leert Kari-1 over onderwerp-1 en houdt precies bij welke zinnetjes hij Kari-1 aan leert en stopt hiermee wanneer Kari over dit onderwerp van te voren bepaalde vragen kan beantwoorden.

Vervolgens leren Persoon-2 en Persoon-3 precies dezelfde zinnetjes aan respectievelijk Kari-2 en Kari-3, totdat zij dezefde van te voren bepaalde vragen kunnen beantwoorden. Hierbij moet om de !zoveel! (nader te bepalen) zinnetjes getest worden of Kari deze vragen kan beantwoorden. Op deze manier kunnen we zien welke Kari, hoe snel, iets over het nieuwe onderwerp heeft geleerd.

Taakverdeling

Persoon-1:

• Bedenkt vragen bij onderwerp-1.
• Traint Kari-1 met onderwerp-1.
• Test om de zoveel zinnen of Kari de bedachte vragen kan beantwoorden.
• Bewaart gebruikte zinnen.

Persoon-2:

• Traint Kari-2 met onderwerp-2 tot een nader te bepalen level.
• Traint Kari-2 vervolgens met de zinnen van onderwerp-1.
• Test om de zoveel zinnen of Kari de bedachte vragen kan beantwoorden.

Persoon-3:

• Traint Kari-2 met onderwerp-2 tot een nader te bepalen level, hetzelfde level als waar Kari-2 naar getraind wordt.
• Traint Kari-2 vervolgens met de zinnen van onderwerp-1.
• Test om de zoveel zinnen of Kari de bedachte vragen kan beantwoorden.

Verdeling:

• Persoon-1: Hans
• Persoon-2: Marijn
• Persoon-3: Anne

Resultaten

Herhaling van de drie onderwerpen:

1. appels (apples)
2. fruitvliegjes (fruit flies / tephritidae)
3. dwarsfluit (German flute)

Kari-1

Uitgevoerd en geschreven door Persoon-1, Hans Cronau.

Eerste/enige conversatie: appels.

Het was de bedoeling een “schone” Kari (Kari-1) te leren over appels. Ik heb een lijst met feiten opgesteld over het onderwerp dat ik Kari-1 wilde laten begrijpen. Om er voor te zorgen dat Kari deze feiten zodanig begreep dat ze ermee kon antwoorden op mijn vragen heb ik naast het invoeren van de feiten als gewone zinnen ook nog enkele andere methoden toegepast. Zo heb ik voor Kari enkele relaties tussen woorden aangegeven door deze woorden in te voeren met een =-teken ertussen (“apple = fruit” en “fruit = food” maar ook “apple = food”). Kari hoort zulke gegeven relaties ergens op te slaan. Naast het aangeven van relaties heb ik veel zinnen op verschillende manieren geprobeerd te formuleren. De gegeven relaties zou je kunnen zien als een aparte manier om een feit te formuleren. Ook heb ik af en toe zinnen herhaald wanneer Kari aangaf iets niet te volgen. Ik ben echter tot de conclusie gekomen dat dit in mijn gevallen weinig zin had. Ik herhaalde namelijk alleen als Kari aangaf wat ik haar vertelde of vroeg niet te snappen, terwijl ik op basis van informatie die ik eerder aan Kari had gegeven had verwacht dat ze wat ik haar vertelde of vroeg zou begrijpen. Op basis van wat Kari tot dan toe al verteld is, weet ze niet te volgen wat haar verteld of gevraagd wordt. Het is begrijpelijk dat herhaling van al eerder genoemde feiten daarbij weinig helpt. Die informatie zit immers al in haar, maar is simpelweg niet voldoende. Omdat het vrij lastig is een onervaren Kari iets wat ze in eerste instantie niet kan volgen uit te leggen heb ik op een bepaald punt besloten niet van Kari te verwachten dat ze deze informatie uiteindelijk wel zou begrijpen. Dat besluit verandert voor ons onderzoek niets, omdat het ons om het verschil tussen het lerend vermogen van Kari-1, -2 en -3 gaat en niet om het lerend vermogen van één enkele Kari.

De conversatie die ik uiteindelijk met Kari voerde is vrij lang en bevat onnodige elementen. Tegen het eind van deze conversatie ontdekte ik een nieuwe en snellere manier om precies dat waar ik Kari vragen over wilde stellen aan haar te leren. Toch hebben we deze eerste conversatie gebruikt om Kari-2 en -3 over onderwerp-1 te leren. Minimale zinnen en de vragen Het eind van mijn conversatie met Kari resulteerde in een verzameling zinnen en vragen, dat het minimum aantal zinnen vormde waarmee wij Kari onderwerp-1 wisten aan te leren. Dit kan als een losstaande conversatie gezien worden, omdat ik hem ook als dusdanig heb getest op een tweede Kari-1. Deze TestKari-1 had, net als Kari-1 voor onze conversatie nog geen informatie van mij ontvangen, maar wist toch dezelfde vragen als Kari-1 te beantwoorden. Wat ik ontdekte aan het eind van mijn conversatie met Kari-1, was dat het er op lijkt dat Kari de tijdens een gesprek ontvangen gegevens op een speciale manier verwerkt bij het afsluiten en/of opstarten van het programma. Ik kwam hier achter doordat Kari-1 maar problemen bleef houden met bepaalde zinnen. Ik besloot alles wat ze moest weten nog eens achter elkaar op te dreunen en haar vervolgens weer de vragen te stellen die ik beantwoord wilde zien. Weer lukte het Kari niet mijn eerste vraag te beantwoorden, maar omdat ik een foutmelding had gekregen besloot ik voor ik verder ging met de rest van de vragen het programma te herstarten. Na het herstarten wist Kari ineens alle vragen goed te beantwoorden. Ik had het vermoeden dat het door het herstarten kwam dat Kari ineens al die zinnetjes die ik haar gevoerd had goed verwerkt had en als antwoord kon geven op mijn vragen. Om daar zeker van te zijn heb ik (twee keer zelfs) een nieuwe Karipersoonlijkheid gemaakt en bij hen enkel de zinnen die de antwoorden op mijn vragen vormden ingevoerd. Voor het herstarten konden ze nog geen goed gebruik maken van deze informatie (hoewel ze daar wel een poging toe deden), maar na het herstarten beantwoordden ze alle vragen goed. Ik vind het heel curieus dat Kari voor het herstarten óók in staat is de gegeven zinnen te gebruiken, maar na het herstarten vele malen beter.

Hoewel ik denk dat Kari-1, doordat ze langer over het onderwerp heeft kunnen horen en praten en meer over de relaties tussen woorden heeft kunnen leren, meer van het onderwerp begrijpt dan TestKari-1, maar toch is bovenstaande aanpak voldoende om een Kari de juiste antwoorden op de vragen te laten geven.

De zinnen waaraan Kari genoeg had bij deze methode vormen samen met de bijbehorende vragen het eind van de conversatie met Kari-1 over appels, maar zijn ook als aparte conversatie getest en hadden gebruikt kunnen worden om persoon-2 en -3 Kari-2 en -3 over Onderwerp-1 te laten leren. Probleem bij deze aanpak zou echter zijn dat hij zo “goed” en minimaal werkte dat het verschil in lerend vermogen tussen de Kari’s er slecht mee te testen zou zijn. Alles wat je wil dat Kari weet hoef je namelijk maar één keer te noemen. Omdat het er ons om ging te kijken of Kari's 2 en 3 met hun (al dan niet deels met onderwerp-1 te maken hebbende) voorkennis sneller over onderwerp-1 leren dan een volledig ongetrainde Kari doet, was het beter een methode te kiezen waarbij in ieder geval de ongetrainde Kari-1 niet al aan één zinnetje per vraag genoeg zou hebben, zodat een verschil tussen de Kari’s meetbaar zou worden. We besloten daarom toch het de eerste conversatie met Kari-1 te gebruiken voor Kari-2 en -3.

Kari-2

Uitgevoerd en geschreven door Persoon-2 en -3, Marijn v.d. Zaag en Anne Westerhof.

Eerste conversatie: fruitvliegjes

!!Hoe ging het leren over fruitvliegjes?!!

Tweede conversatie: appels

!!Bijschrjiving gesprek!! Tijdelijke conclusie !!(nog steeds “tijdelijk” ? )!! Ik ben tot de verrassende conclusie gekomen dat het gesprek met Kari-2 bijna exact hetzelfde verliep als Kari-3, waarmee ik eerder al een gesprek heb gehad. Ondanks dat Kari-2 hier en daar een ander antwoord gaf dan Kari-3, doordat ze een link probeerde te leggen met de voorkennis die ze had, wist ze dezeldfe vragen over het algemeen op dezelfde manier te beantwoorden/ De vragen die Kari-3 fout beantwoord had, heeft ook Kari-2 fout beantwoord. Hoewel het merkbaar is dat een Kari met al enige voorkennis over een nieuw onderwerp tijdens een gesprek over dat nieuwe onderwerp pogingen doet om relaties te leggen met dat wat ze al weet, lijkt het erop dat een Kari met enige kennis sneller leert, zonder dat wat ze al weet daar veel invloed op heeft. Ik vind dit een erg boeiende conclusie.

Kari-3

Uitgevoerd en geschreven door Persoon-3, Anne Westerhof.

Eerste conversatie: dwarsfluit/muziek

!!Hoe ging het leren over dwarsfuit en muziek?!!

Tweede conversatie: appels

!!Bijschrijving gesprek!! Tijdelijke conclusie !!(nog steeds “tijdelijk” ? )!! Het leek erop dat ook Kari-3 de vragen sneller kan beantwoorden dan Kari-1, ondanks dat dit ook voor haar een nieuw onderwerp was. Ik heb haar geen algemene herhaling hoeven te geven voordat ze antwoord kon geven op de vragen. Ook leek ze eerder al een idee te hebben over het onderwerp appels, waardoor ze vaker iets over appels terug zei, in plaats van een standaard voorgeprogrammeerde reactie te geven zoals: "Are you sure?". Het ziet er naar uit dat Kari-3 al een beetje geleerd had relaties te leggen en daardoor iets beter met de gegeven informatie om wist te gaan dan Kari-1.

(Na dit deelonderzoek is pas het deelonderzoek bij Kari-2 gedaan.)