College5vraag9

Wat is een stochastisch ANN? Waarin verschilt het van een deterministisch ANN?

Antwoord:

In een stochastisch netwerk speelt toeval een rol. In zo'n netwerk is de kans op energieverlaging groter (waarschijnlijker) dan op energieverhoging. Maar af en toe gaat een netwerk dus ook omhoog in energieniveau wat bij een deterministisch netwerk niet kan. Een stochastisch ANN kan soms uit SP's komen, echter lukt dit ook niet meer wanneer het aantal opgeslagen patronen te groot is geworden en dus het aantal SP's te groot is.
In een stochastisch ANN is er dus een kans dat de optimale minima niet bereikt worden omdat neuronen in staat zijn sprongen te maken die ingaan tegen de gradient descent. Echter werken ze wel beter omdat de het blijven hangen van het netwerk in spurious patterns in de meeste gevallen wel overkomen wordt.

Beschrijf de waarschijnlijke evolutie van een stochastisch ANN als het netwerk begint in toestand A (pijl). Zelfde voor B en C. Wat is het verschil met de evolutie van een deterministisch ANN bij deze begintoestanden?

Antwoord:

A gaat naar P1. B gaat waarschijnlijk naar P2 en C naar P3. Omdat de energie tijdelijk kan worden opgehoogd is het mogelijk dat B uit de SP springt en in het echte dal van patroon 2 komt. Dit dal is te diep om uit te geraken ook al gaat het energieniveau even omhoog. Bij een deterministisch netwerk kan B nooit uit SP komen.

Volgende Vraag

Unless otherwise stated, the content of this page is licensed under Creative Commons Attribution-ShareAlike 3.0 License