Passo 17: Momentum Optimizer
Suite completa di benchmark e accelerazione Momentum.
Questo simulatore confronta due reti neurali in tempo reale.
A sinistra (Rete A) e a destra (Rete B) puoi impostare parametri diversi e vedere chi impara prima.
PRESETS
Step per frame. Valori alti = addestramento veloce (meno fluido). Valori bassi = animazione fluida (più lento).
Aggiunge inerzia all'aggiornamento dei pesi. Aiuta a superare le zone piatte (plateau) e accelera drasticamente la convergenza per ReLU.
Inizializzazione...
Rete A
Configura qui la prima rete neurale per il confronto.
Configura qui la prima rete neurale per il confronto.
Sigmoid: Curve morbide, lenta.
ReLU: Veloce, geometrica, ma rischia neuroni morti.
Leaky ReLU: Come ReLU ma più stabile.
ReLU: Veloce, geometrica, ma rischia neuroni morti.
Leaky ReLU: Come ReLU ma più stabile.
LR: 0.1
Learning Rate.
Passo di apprendimento.
Alto = Veloce/Instabile.
Basso = Lento/Preciso.
Passo di apprendimento.
Alto = Veloce/Instabile.
Basso = Lento/Preciso.
Hidden: 8
Numero di neuroni nello strato nascosto. Più neuroni = forme più complesse.
Errore: 0.000
Errore Medio Assoluto.
0 = Perfezione.
0 = Perfezione.
Rete B
Configura qui la seconda rete. Prova Leaky ReLU!
Configura qui la seconda rete. Prova Leaky ReLU!
Sigmoid: Curve morbide.
ReLU: Spigoli netti.
Leaky ReLU: Ottima per reti profonde.
ReLU: Spigoli netti.
Leaky ReLU: Ottima per reti profonde.
LR: 0.02
Learning Rate.
Per ReLU usa valori bassi (es. 0.02).
Per ReLU usa valori bassi (es. 0.02).
Hidden: 8
Numero di neuroni nello strato nascosto.
Errore: 0.000
Errore Medio Assoluto.
Epoca Corrente: 0