College4vraag5

Onderstaand figuur geeft de Error functie van een netwerk, afgezet tegen de Weight space van het netwerk. De gewichten worden ingesteld met backpropagation (zonder de parameter ε).

3.jpg

Leg uit naar welke positie in de Weight space het netwerk evolueert als het begint in punt A (pijl).

Antwoord:

Punt A kan of naar rechts of naar links. In dit geval kan hij alleen naar rechts gaan! Dus hij gaat naar rechts totdat hij het minimum bereikt heeft. zie onderstaand figuur!

Leg uit naar welke positie in de Weight space het netwerk evolueert als het begint in punt B (pijl).

Antwoord:

Bij punt B geldt precies andersom. Dit betekent dat punt B alleen naar links kan gaan tot dat hij de (local) minimum bereikt heeft.

4.jpg

Waardoor ontstaat het verschil tussen de evolutie vanuit A en die vanuit B?

Antwoord:

het netwerk kan allen naar links of recht, en kan niet omhoog
Edit: Het doel is om de error zo laag mogelijk te krijgen. Als een extra stap een hogere error geeft dan de error op de plek waar "hij nu zit", zal deze stap niet ondernomen worden. Hierdoor komt A bij het globale minimum uit, en B bij een lokaal minimum.

Volgende Vraag

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-ShareAlike 3.0 License