Vraag 1

Waarom is object invariantie een probleem voor feedforward netwerken?

Antwoord:

(Op de plek van identificatie kan ook classificatie worden gelezen. Dit zijn twee verschillende begrippen, maar voor beiden geldt hetzelfde in dit antwoord).

Het doel van het neurale netwerk is dat een object correct wordt geïdentificeerd. ongeacht de grootte, de plek op de retina of verschillende gezichtspunten (etc.). Deze verschillen zorgen er echter ook voor dat er de neuronen in het netwerk anders worden geactiveerd. We willen dus uiteindelijk dat ondanks dat de neurale activiteit verschilt het systeem tot dezelfde conclusie komt.

Als je de activatie van n-aantal neuronen bijvoorbeeld uitdrukt in een representatieruimte met n-dimensies (zie collegesheet pagina p.5 voor een plaatje met 3 neuronen) willen we dat we dat we alle activiteit die een bepaald object mogelijk veroorzaakt kunnen scheiden van activiteit veroorzaakt door een ander object, zodat we kunnen zeggen: bij deze activitatietoestand (punt in de n-dimensionale) veroorzaakt door het object moet het systeem zeggen "het is dit object" en niet "het is een ander object". Dit is echter een probleem: we zien een object nooit precies op dezelfde manier en het systeem moet dus een methode hebben om de representatieruimte zo te verdelen dat iedere activiteit binnen een bepaald gebied kan worden toegeschreven aan een bepaald object. Deze ruimtes zitten vaak echter in elkaar opgevouwen (manifolds). Het netwerk moet deze dus eerst met een aantal lagen uit elkaar trekken/ontvouwen, zodat er vervolgens een classificatielijn (linear) tussen kan worden getrokken.

Dat laatste is dus het echte probleem: hoe scheidt ik mijn representatieruimte zo dat ik objecten van elkaar onderscheiden, zelfs bij presentaties die ik nog nooit eerder gezien heb.

Volgende Vraag

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-ShareAlike 3.0 License