Research and Development 1/^Archief/2008-2009/Gezichts detectie/Logboek

Logboek

Pilot

• 12-02-2009 Kevin: Project en Logboek aanmaken. Inschrijven voor eerste groepsgesprek. Tijdsduur: 5 minuten.
• 14-02-2009 Kevin: Begin maken met opstellen onderzoeksplan Tijdsduur: 60 minuten. Onderzoeksplan doorgestuurd naar Christiaan en Wouter voor aanvullingen en controle.
• 15-02-2009 Christiaan: Begin gemaakt met globaal onderzoek naar verschillende technieken van gezichtsdetectie (op het internet gezocht naar uitleg over de verschillende technieken). Tijdsduur: 60 minuten.
• 16-02-2009 Christiaan: Onderzoeksplan uitgebreid en aangevuld. Maken van het deel 'theoretische kader'. Onderzoeksplan naar Kevin en Wouter gestuurd zodat Wouter het onderzoeksplan kan afronden. Tijdsduur: 90 minuten.
• 17-02-2009 Kevin: Christiaan's deel van onderzoeksplan doorlezen en aantal opmerkingen doorsturen. Tijdsduur: 10 minuten.
• 17-02-2009 Wouter: Overleg met Kevin. Opmerkingen verwerken, zelf een keer corrigeren, conversie naar LaTeX en uploaden naar SVN. Wiki pagina's aanpassen. Tijdsduur: 60 minuten.
• 18-02-2009 Christiaan, Kevin en Wouter: Eerste overleg. Onderzoeksplan zag er goed uit. Afspraken: Vaststellen aan welke criteria exact we de verschillende gezichtsdetectie methoden gaan testen. Tijdsduur: 20 minuten.
• 08-03-2009 Kevin: Verschillende gezichtsdetectie methoden (zowel open-source als niet open-source) gezocht en gedownload. Alles op één plek gezet en upgeload (http://www.krjb.nl/rend). Aantal ge-installeerd en globaal bekeken. Verschillende websites gezocht met informatie over gezichtsdetectie. Tijdsduur: 90 minuten.
• 09-03-2009 Wouter: OpenCV i.c.m. Java zo werkend gekregen dat hij een plaatje kan analyseren en hoofd(en) vindt. Tijdsduur: 40 minuten
• 09-03-2009 Kevin: De huidige gezichtsdetectie applicaties ge-analyseerd en globaal getest. Bepaald welke we uitgebreid willen testen en niet (in overleg met Wouter en Christiaan). Tijdsduur: 40 minuten.
• 09-03-2009 Christiaan: Naar foto's gezocht die niet (of minder) op een gezicht lijken en andere Garbage foto's. We hebben nu een collectie portrait fotos (vanuit verschillende hoeken) tot onze beschikking en daarnaast foto's die niets met gezichten te maken hebben (garbage), foto's van dierengezichten, blurred foto's van gezichten, getekende of geschilderde gezichten of maskers, en vreemde foto's van gezichten. Het is de bedoeling dat we hiervan een test galerij samenstellen van ongeveer 100 foto's per "soort". Tijdsduur: 4 uur.
• 10-03-2009 Wouter: 3000 stockfoto's gedownload zodat Christiaan ze kan analyseren / sorteren. Besloten met Christiaan om eerst maar eens alleen niet-gezicht foto's te gebruiken. (I.v.m. anders voor alle foto's coordinaten vaststellen) Daarnaast heb ik een MySQL database aangelegd als begin voor de benchmark. Hierin worden de foto's geïndexeerd en de resultaten van elke test opgeslagen. (Per implementatie, per foto) Door voor MySQL te kiezen kunnen er gemakkelijk statistieken worden gegenereerd. Tijdsduur: 4 uur.
• 10-03-2009 Christiaan: Start met het verslag gemaakt: Criteria van wat tot een gezicht gerekend wordt en wat niet verwoord. Samenstelling van de testset foto's van verschillende categorieën omschreven en de keuze van categorieën uitgelegd. Met wouter overeengekomen dat we de grootte van de test-set relatief enorm gaan vergroten (we zijn nu van plan om 4000 foto's als testset te nemen). Er moet nu nog een groot deel van de foto's in categoriën worden ingedeeld, Deze taak zal ik op mij nemen. Zoeken van extra foto's. Tijdsduur: 4 uur.
• 11-03-2009 Kevin: Christiaans deel van het verslag controleren en werken aan de inleiding en de deelvraag welke gezichtsdetectie methoden zijn er en hoe werken deze globaal. Verder gezocht naar andere gezichtsdetectiemethoden (helaas geen bruikbare andere kunnen vinden, verzoek aan Wouter en Christiaan om te zoeken). Tijdsduur: 4 uur.
• 11-03-2009 Kevin: Inschrijven voor presentatie (vrijdag 20-03) in overleg met Wouter en Christiaan. Tijdsduur: 5 minuten.
• 12-03-2009 Kevin: Gewerkt aan een PHP test interface (om gemakkelijk en automatisch de verschillende gezichtsdetectiemethoden te testen en resultaten in een MySQL tabel op te slaan). Afbeeldingen geconverteerd naar .bmp formaat (omdat één gezichtsdetectiemethode alleen .bmp's accepteerd). De interface werkt naar behoren, maar uiteindelijk toch besloten om de interface in Java te schrijven (omdat dit makkelijker is met JNI2OpenCV). Wouter gaat de interface in Java schrijven. Kevin en Christiaan zullen verder werken aan het verslag. Tijdsduur: 3 uur.
• 14-03-2009 Wouter: Java benchmarker gemaakt, FDlib uiteindelijk maar in Wine ingeladen. (Linux binary was kak) JNI2OpenCV source kreeg ik niet onder Linux gecompiled, dus uiteindelijk maar overgestapt op Emgu.CV (Mono/C#). Omdat performance van het geheel niet meer uitmaakte, heb ik voor de quick'n'dirty methode gekozen om de gevonden resultaten naar de Outputstream te dumpen en deze door Java in te laten lezen. Vervolgens het programma aangezet om de foto's te analyseren en de resultaten naar de database te gooien. Tijdsduur: 5 uur.
• 15-03-2009 Wouter: Benchmarker was klaar met analyse, nu nog een script in PHP gemaakt om de criteria te controleren en de resultaten naar de database te dumpen (beetje lastig om met pure sql-queries op te lossen). Tijdsduur: 2 uur.
• 16-03-2009 Christiaan: Verder gewerkt aan het verslag, uitgelegd hoe we de resultaten van de verschillende algoritmen controleren (met behulp van de gegevens uit de FERET database). Met Kevin overlegd wat de criteria van het juist of onjuist detecteren van gezichten zullen zijn die we aan zullen houden. Tijdsduur: 2 uur.
• 16-03-2009 Wouter: viewImage.php gemaakt voor betere visualisatie. Verder Christiaan's overige afbeeldingen toegevoegd aan de database en laten benchmarken en beoordelen of ze aan de criteria voldoen. Tijdsduur: 2 uur.
• 17-03-2009 Christiaan: Criteria op schrift gesteld en verduidelijkt met illustratie. Tijdsduur: 2 uur.
• 17-03-2009 Kevin: Resultaten opgehaald uit MySQL database met behulp van SQL query's. Tijdsduur: 1 uur.
• 18-03-2009 Kevin: Resultaten in het verslag verwerkt. Tijdsduur: 2 uur.
• 18-03-2009 Christiaan: kleine dingen aangepast aan criteria en begin gemaakt met de Powerpoint voor de presentatie as. vrijdag. Tijdsduur: 3 uur
• 19-03-2009 Christiaan: Resultaten in de powerpoint verwerken Tijdsduur: 1 uur
• 20-03-2009 Wouter: Na de revisie van de criteria (OpenCV vindt best ruime rectangles in vergelijking met FDlib) heb ik het script aangepast (Rectangle multiplier van 2x naar 3x) en opnieuw laten draaien. Tijdsduur: 10 minuten.
• 20-03-2009 Christiaan en Kevin: Afronden Powerpoint Presentatie en zenuwachtig zijn. :D Tijdsduur: 3 uur
• 20-03-2009 Christiaan, Kevin en Wouter: Presentatie Tijdsduur: 20 min

Fase 1

• 29-03-2009 Kevin: Start gemaakt aan nieuw onderzoeksplan. Afgesproken met Christiaan en Wouter dat zij het doorlezen en eventueel aanpassen / verbeteren. Tijdsduur: 1 uur
• 01-04-2009 Christiaan, Kevin en Wouter: Bespreking onderzoeksplan met de docenten. Tijdsduur 15 minuten.
• 12-04-2009 Kevin: Gezocht naar officiële literatuur. Tijdsduur 30 minuten.
• 18-04-2009 Kevin: Informatie gezocht over neurale netwerken. Informatie doorgelezen. Tijdsduur: 1,5 uur.
• 04-05-2009 Christiaan: doornemen van onderzoek Neural Network-Based Face Detection van Henry A. Rowley, Shumeet Baluja, and Takeo Kanade. Tijdsduur: 2 uur.
• 05-05-2009 Christiaan: doornemen van onderzoek Face detection from cluttered images using a polynomial neural network van Lin-Lin Huang, Akinobu Shimizu, Yoshihiro Hagihara,

Hidefumi Kobatake. Tijdsduur: 1 uur.

• 06-05-2009 Christiaan, Kevin en Wouter. Bespreking voortgang. We hebben besloten dat we de techniek die besproken wordt in het onderzoek "Neural Network-Based Face Detection van Henry A. Rowley, Shumeet Baluja, and Takeo Kanade" verder gaan bekijken. Ook hebben we de taken verdeeld wat betreft de implementatie. De planning is om dit weekend de implementatie zo goed als af te krijgen, zodat we hem kunnen benchmarken. Hierna kunnen we kijken wat er nog aan de implementatie is toe te voegen om het te verbeteren. Tijdsduur: 1 uur.
• 07-05-2009 Christiaan: Implementatie van het maken van histogrammen van zwart-wit foto's, dit is benodigd bij de implementatie om het contrast te vergroten zodat een neuraal netwerk minder onderheven is aan de invloeden van verschillende licht-intentiteiten van de verschillende foto's. Tijdsduur: 4 uur.
• 07-05-2009 Kevin: Doornemen van onderzoeken (Neural Network-Based Face Detection van Henry A. Rowley, Shumeet Baluja, and Takeo Kanade en Face detection from cluttered images using a polynomial neural network van Lin-Lin Huang, Akinobu Shimizu, Yoshihiro Hagihara). Werk van Christiaan en Wouter (de java bestanden) door gekeken en aantal problemen in overleg met Christiaan opgelost. Tijdsduur: 2 uur.
• 11-05-2009 Christiaan: SVN geinstalleerd en gereed gemaakt voor gebruik. Dit was nodig voor het samenwerken aan de code. We gebruiken de google code SVN server nu als `opslagplaats´ voor onze code. Implementatie Linear equalisation gemaakt. Deze implementatie is een filter die voor de histogram equalisation wordt toegepast. Dit zorgt ervoor dat de pixelwaardes van de ingevoerde foto´s allemaal een gemiddelde van 127 hebben. Dit is ook een maatregel om te voorkomen dat de lichtintensiteit een rol gaat spelen bij het juist detecteren van gezichten door het neurale netwerk. Er is afgesproken dat Kevin een implementatie gaat maken voor het genereren van de windows (kleine 20x20 deeltjes van de foto, op verschillende zoomlevels) die uiteindelijk de invoer van het neurale netwerk zullen worden. Wouter zal zich gaan richten op de implementatie van het neurale netwerk zelf. Tijdsduur: 2 uur
• 11-05-2009 Kevin: SVN ge-installeerd; Implementatie gemaakt voor het genereren van kleine windows (de afmetingen van de windows kan gemakkelijk worden aangepast). Tijdsduur: 2 uur.
• 12-05-2009 Kevin+Wouter: Werk dat tot nu toe gedaan is beoordeeld. Besloten om aantal dingen anders aan te pakken. In de windows wordt nu geen (referentie) naar een matrix opgeslagen, maar een (referentie) naar een bijbehorend window. In plaats van een matrix verkleinen de afbeelding zelf verkleinen. Tijdsduur: 0,5 uur.
• 12-05-2009 Kevin: Bovengenoemde veranderingen doorvoeren. Tijdsduur: 1,5 uur.
• 13-05-2009 Kevin: Begin gemaakt met rapportage. Daarna doorgestuurd naar Christiaan en Wouter voor beoordeling / aanvullingen. Tijdsduur: 1 uur.
• 13-05-2009 Christiaan: Verdergegaan met de rapportage. Ook is de rapportage in LaTeX gezet. We gaan vanaf nu al ons werk in LaTeX maken, dit scheelt ons extra werk die conversie van word documenten naar LaTeX met zich meebrengt op het moment dat we het moeten inleveren. Er is afgesproken dat Kevin en ik morgen verder werken aan de rapportage en dat ik ga beginnen aan het maken van een een powerpoint presentatie. Tijdsduur: 1 uur
• 14-05-2009 Christiaan: Maken van de presentatie voor morgen. In de presentatie gaan we in op ons plan, wat we daarvan gedaan hebben, wat er geïmplementeerd is, en wat we de komende tijd zullen gaan doen. Er is nu voor een extra duidelijke achtergrond gekozen, dit omdat er over de achtergrond van de vorige presentatie opmerkingen waren dat de achtergrond afleidde. De presentatie is nog niet helemaal af, een of twee dia's moeten nog worden toegevoegd, maar hier moet eerst overleg over plaatsvinden. Tijdsduur: 3,5 uur
• 15-05-2009 Kevin+Wouter+Christiaan: Verder gewerkt aan het neurale netwerk en een aantal programmeerfouten verholpen. Daarna samen met Christiaan de presentatie voorbereid. Afgesproken met Wouter en Christiaan dat Kevin de gebruikte literatuur aan de rapportage zal toevoegen. Houden van tussenrapportage Tijdsduur: 3,5 uur.
• 17-05-2009 Kevin: Afmaken rapportage. Doorgestuurd naar Wouter en Christiaan voor laatste controle. Tijdsduur: 0,5 uur.
• 17-05-2009 Christiaan: Controleren Rapportage en uiteindelijke versie van de Rapportage Fase 1 online gezet. Tijdsduur: 0,5 uur.

Fase 2

• 18-05-2009 Kevin+Christiaan: Doorkijken van Wouters code voor de implementatie van het neurale netwerk. Lijkt op het eerste gezicht prima, maar functioneerd niet goed. Afgesproken binnenkort uitgebreid te onderzoeken waar de mogelijke fout in het neurale netwerk zit. Tijdsduur: 1 uur.
• 20-05-2009 Kevin+Wouter: Gezocht naar mogelijke fouten / bugs in het neurale netwerk. Aantal aanpassingen gedaan, echter allemaal zonder het gewenste resultaat. Nog een aantal andere tests gedaan en tot de conclusie gekomen dat de fout echt in het neurale netwerk zit en niet in bijvoorbeeld het generen van de windows of iets dergelijks. Besloten dat Wouter verder zal zoeken naar de fout in het neurale netwerk, aangezien hij hier het meeste verstand van heeft en het grootste deel van het neurale netwerk geimplementeerd heeft. Tijdsduur: 2 uur.
• 27-05-2009 Kevin+Wouter+Christiaan: Tussen gesprek met docenten. Tijdsduur: 20 minuten.
• 02-06-2009 Kevin: Bezig geweest met het testen van het neurale netwerk met simpele afbeeldingen (80x80 witte / zwarte afbeeldingen). Dit leek allemaal prima te werken. Verder gezocht naar de fout in het Neurale netwerk, maar tot dusver niks kunnen vinden. Tijdsduur: 1 uur.
• 04-06-2009 Christiaan: Email gestuurd naar schrijvers van het onderzoek dat we als basis gebruiken voor de implementatie van het neurale netwerk gezichtsdetectie algoritme dat we nodig hebben voor ons onderzoek. Hierin vragen wij of ze zo vriendelijk zouden willen zijn te kijken waar de fout in onze code zit en ofz ze nog andere tips voor ons hebben waar we in de code zouden moeten zoeken voor de fouten die er nu nog in zitten. Tijdsduur 2 uur.
• 07-06-2009 Kevin: Werken aan het onderzoeksverslag. Met Christiaan afgesproken dat hij het zal controleren en vervolgens verder werken aan het omschrijven van de onderzoeksmethode. Tijdsduur: 2 uur.
• 07-06-2009 Christiaan en Kevin: we hebben nogmaals uitdrukkelijk gevraagd of Wouter dit logboek zou willen bijwerken. Wouter heeft namelijk erg veel gedaan tot nu toe, maar heeft dit nog niet in het logboek genoteerd. We achten de kans groot dat hij niet meer precies de tijden weet dat hij aan dit onderzoek gewerkt heeft.
• 08-06-2009 Christiaan: Werken aan het onderzoeksverslag. Onderzoeksmethode beschreven, ter controle opgestuurd naar kevin. Ook heb ik nog een aantal fouten verbeterd in kevin's stuk van het verslag. Tijdsduur 2 uur.
• 09-06-2009 Christiaan: Werken aan het onderzoeksverslag. Verbeteringen en aanpassingen (deels) op schrift gesteld Tijdsduur 1 uur.
• 11-06-2009 Kevin+Christiaan: Verder werken aan onderzoeksverslag sectie onderzoeksmethode. Tijdsduur 3 uur.
• 14-06-2009 Kevin: Werken aan onderzoeksverslag secties resultaten, discussie en conclusie. Tijdsduur 2 uur.
• 14-06-2009 Christiaan: verder gegaan met het onderzoeksverslag. Werk van Kevin aangevuld en opmaak van document aangepast. Wouter heeft testresultaten van de huidige implementatie aangeleverd en deze hebben Kevin en ik in het verslag geplaatst (met toelichtingen en dergelijken). Deze resultaten dienen als toelichting waarom de implementatie nog steeds niet naar behoren functioneert. Wouter heeft namelijk het hele neurale netwerk herbouwd met als voorbeeld een implementatie in Python en de implementatie functioneert nu al beter dan de vorige poging, maar het is nog steeds niet op het niveau dat vereist is om verder te gaan met ons onderzoek. Zoals in het verslag te lezen is zullen we komende week contact opnemen met iemand die gespecialiseerd is in Neurale Netwerken. Hopelijk kan diegene ons verder helpen. Tijdsduur: 2 uur.
• 16-06-2009 Kevin+Christiaan+Wouter: Bespreking over welke groep we gaan refereren en hoe we verder gaan met ons eigen onderzoek. Besloten om groep 12 te refereren en voor ons eigen onderzoek (hulp met het Neurale Netwerk) contact op te nemen met Franc van de opleiding AI Radboud Universiteit Nijmegen (sparky@cs.kun.nl). Tijdsduur: 20 minuten.
• 19-06-2009 Kevin+Christiaan+Wouter: Besloten om een andere groep te gaan refereren, aangezien groep 12 nog steeds niks geplaatst heeft. We hebben gekozen voor groep 7. Tijdsduur 5 minuten.
• 20-06-2009 Christiaan: Doorlezen onderzoeksverslag van groep 7 en eerste opzet refereerrapport maken. Tijdsduur 1,5 uur.
• 21-06-2009 Kevin: Doorlezen onderzoeksverslag van groep 7 en in overleg met Christiaan afmaken van refereerrapport. Tijdsduur 1 uur.
• 24-06-2009 Christiaan: Begin gemaakt met de powerpoint presentatie. Ter controle opgestuurd naar Kevin en Wouter. Ik verwacht morgen nog meer gegevens van Wouter (zoals dit is afgesproken) die in de presentatie vermeld kunnen worden. Wouter probeert namelijk nog een aantal dingen uit om het programma werkend te krijgen en voert nog een aantal tests uit die een beter idee zouden moeten geven wat er werkt en wat er niet werkt.
• 25-06-2009 Kevin: Onderzoeksverslag verbeteren aan de hand van refereerrapport. Aantal grafieken (van de test cases) + toelichting toegevoegd. Tijdsduur 2,5 uur.
• 26-06-2009 Wouter en Christiaan: Aanpassen powerpoint en doorspreken wat er tijdens de presentatie verteld gaat worden. Besloten dat Wouter dit keer presenteert. Tijdsduur 2 uur.
• 26-06-2009 Wouter: Presententie. Tijdsduur: 30 min.