Research and Development 1/^Archief/2008-2009/Botherkenning/Resultaten
Inhoud
Onderzoek 1
AliceBot en Elbot
Resultaten van eerste onderzoek bij Alice en Elbot, samengevat in de karaktertrekken en fouten die er uit kwamen. Bots getest door Tony en Thijs.
| Voorbeelden | Bijbehorende probleem | Positieve trek daarbij | |
|---|---|---|---|
| " How many people did you have sex with?" "Bigger than a pin." | Totaal ongerelateerde antwoorden geven. | De antwoorden slaan op jouw opmerking of vraag. | |
| " Do you wear shoes?" " I don't have no feet." | Antwoorden geven die gelijk zeggen dat ze een bot is. | Antwoorden gaven niet weg dat ze een bot is. | |
| " I am hungry." "What will you be eating?" "Potato chips." "How does it taste?" | Grammatica niet toegepast op antwoord. *How do they taste?* | Antwoorden gebruiken goede grammatica. | |
| "The weather is nice today." "We had weather yesterday, we have weather today, I suspect it will be a long term thing." | Alice had geen persoonlijkheid, was te droog. | Humor maakt een bot menselijker. | |
| "The weather is nice today." "We had weather yesterday, we have weather today, I suspect it will be a long term thing." | Geeft exact hetzelfde antwoord op dezelfde zin. | Antwoorden zijn gevarieerd. | |
| " I eat an apple." "Humans need food to live." | Geeft een antwoord dat wel gerelateeerd is aan het onderwerp, maar niet direct aan de opmerking. | Zegt niet zomaar algemene wijsheden. |
Jabberwacky
Resultaten van onderzoek bij Jabberwacky.
Deel chatlog
| Voorbeelden | Bijbehorende probleem | Positieve trek daarbij | |
|---|---|---|---|
| "Sweet." "You really don't like me?" | Totaal ongerelateerde antwoorden geven. | De antwoorden hebben verband met jouw opmerking of vraag. | |
| "But maybe a kitchen?" "Home, hard to know what it is if you've never had one, home, I can't say where it is but I know I'm going home, that's where the hurt is." | Relaties niet goed trekken (kitchen->home) | Het verband tussen de zinnen en jouw opmerking/vraag maakt een intelligente indruk. | |
| "I know... I make many judgements and fail to judge myself. I admit that." | Willekeurige diepzinnige zinnetjes | De zinnetjes van de bot zijn op normaal 'kletsniveau', dus niet plotseling onverwacht diepzinnig | |
| Deel chatlog verloren | Volledig onbegrijpelijke zin | De zinnen van de bot zijn op zich te begrijpen |
Marieke
Internetadres bot: http://internetvraagbaak.nl/programe/src/jsrs/jsrschat.html
Proefpersoon: Erik Bozelie
Afgenomen door: Hans Cronau
Commentaar proefpersoon:
- reageert te snel
- een bugje: vervangt een woord soms door "Undefined"
- geef altijd antwoord, wat ik ook tik
- ik geef twee zinnen, "1" en "2", direct achter elkaar, maar ertussen heeft de bot weten te reageren
- geeft link naar google zoekresultaten in te korte tijd (mens zou langer moeten zoeken)
- antwoord slaat nergens op
- zinnen beginnen altijd netjes met een hoofdletter en eindigen in een leesteken (punt)
- losse woorden/kreten zijn zonder hoofdletten, maar ook altijd met een leesteken (heel veel uitroeptekens)
- gebruikt zinnen dubbel
- antwoordt op dubbel gezonden zinnen
- begrijpt chattaal als "haw R U" en "I M NOOB" niet, terwijl een menselijke chatter dat wel zou kunnen
- kan uit een zin met ongebruikelijke leestekens tussen de woorden door geen zin opmaken (zou een mens wel kunnen)
- begrijpt "doorvragen" niet.
- heraalt mijn zinnen
- zegt makkelijke zinnen neit te begrijpen
Chat bot
Internetadres bot: http://chat-bot.com/
Proefpersoon: Erik Bozelie Afgenomen door: Hans Cronau Commentaar proefpersoon:
- antwoordt op alles (ook niks betekenende zinnen)
- reageert te snel
- reageert inhoudelijk niet op mijn zinnen
- begrijpt doorvragen niet
Opmerkelijk: Dit zou een echt mens kunnen zijn - een mens dat belachelijk antwoordt weliswaar, maar ik weet dat die bestaan. Hij maakt spelfouten, praat in een kort en bondig chattaaltje en komt eigenlijk best goed over als een "dom" mens. Dat laatste komt juist doordat het programma, wanneer het iets niet snapt niet een "ik snap je niet"-reactie geeft, maar gewoon iets raars zegt. Sommige mensen gedragen zich werkelijk zo wanneer ze chatten.
---
Samenvatting problemen
- Antwoorden sluiten niet goed/niet aan op tekst van de menselijke chatter
- Bots hebben in het bijzonder moeite met verbanden verder terug dan de laatste zin
- Grammatica wordt niet goed toegepast
- Vreemd soort humor
- Letterlijke herhaling van zinnen
- Diepzinnige zinnetjes die uit de lucht komen vallen
- Onbegrijpelijke zinnen
- Te snel en te veel reageren
- Te nette zinnen voor een chat
- Begrijpt chattaal niet
- Herhaalt zinnen van de menselijke chatter letterlijk
