1 / 38

Algoritmo de Retropropagación

Algoritmo de Retropropagación. Conclusiones de Retropropagación. 1. Si la neurona j es un nodo de salida es igual al producto de la derivada y la señal de error . Ambas están asociadas a la neurona j. Conclusiones de Retropropagación.

Download Presentation

Algoritmo de Retropropagación

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Algoritmo de Retropropagación

  2. Conclusiones de Retropropagación • 1. Si la neurona j es un nodo de salida es igual al producto de la derivada y la señal de error . Ambas están asociadas a la neurona j.

  3. Conclusiones de Retropropagación • 2. Si la neurona j es un nodo escondido, • es igual al producto de la derivada asociada • y la suma pesada de las • calculada para las neuronas de la siguiente capa escondida o de salida que se conectan a la neurona j.

  4. Conclusiones de Retropropagación • La corrección aplicada a está definida por la regla delta: • y:

  5. Conclusiones • Cuando el nodo j es de salida: • Cuando el nodo j es escondido:

  6. Conclusiones

  7. Logística • Ya que

  8. Logística • Entonces • y • para una neurona de salida

  9. Logística • Análogamente • y, para una neurona escondida:

  10. Logística • Nótese que es máxima en 0.5 y mínima en o (de (1)). • Para una logística, entonces, los pesos sinápticos se cambian más para aquellas neuronas en donde las señales de la función están en los rangos medios.

  11. Tangente Hiperbólica

  12. Tangente Hiperbólica • Para la capa de salida

  13. Tangente Hiperbólica • Para una capa escondida:

  14. Momento • El algoritmo de RP “aproxima” la trayectoria en el espacio de los pesos por el método de gradiente máximo. • A una pequeña corresponden pequeños cambios en la trayectoria del descenso y éstos son más suaves. Si es grande los cambios pueden ser inestables (oscilatorios).

  15. Momento • Una forma de incrementar y evitar inestabilidad consiste en modificar la regla delta, de esta manera: • En donde es la constante de momento. Controla el lazo de retroalimentación que se ilustra en la siguiente figura. En ésta es el operador de retardo unitario.

  16. Momento

  17. Momento • Si re-escribimos (2) como una serie de tiempo con un índice t, en donde t va desde el instante 0 hasta el tiempo actual n, tenemos:

  18. Momento • Ya que • y • vemos que

  19. Momento • y podemos escribir, entonces

  20. Momento • Comentarios: • El ajuste actual representa la suma de una serie de tiempo ponderada exponen-cialmente. Para que converja: • Cuando tiene el mismo signo en iteraciones consecutivas, crece en magnitud y se ajusta en cantidades grandes.

  21. Momento • Cuando tiene signos diferentes en iteraciones consecutivas, la suma • disminuye de tamaño y se ajusta en pequeñas cantidades. • El momento acelera el descenso en direcciones de bajada constantes • El momento estabiliza el proceso en direcciones que cambian de sentido

  22. Heurísticos • pequeño es más lento pero permite convergen-cia más profunda • entonces produces una conver-gencia más rápida. • implica que para garantizar convergencia

  23. Heurísticos • Tamaño del conjunto de prueba • N = tamaño de conjunto de entrenamiento • W = número de pesos en la red • (razón de entrenamiento) • W>>1

  24. Heurísticos • Ejemplo: • W=150 • ropt=0.07 • 93% de los datos (140) se usan para entrenamiento • 7% de los datos (10) se usan para prueba

  25. Heurísticos • Función de Activación • Una red RP puede aprender más rápidamente si la sigmoide es antisimétrica: • por ejemplo

  26. Heurísticos • Valores adecuados para a y b (determinados experimentalmente) son: • a=1.7159 • b=2/3 • Por lo tanto: • a) • b)

  27. Heurísticos • Es decir, en el origen, la pendiente (la ganancia activa) es cercana a la unidad • c) La segunda derivada de es máxima en v=1.

  28. Heurísticos

  29. Heurísticos • Los valores objetivo deben ser elegidos en el rango de la función de activación • La respuesta deseada en la capa L debe de ser desplazada del valor límite. • Por ejemplo:

  30. Heurísticos • El valor medio (sobre el conjunto de entrenamiento) debe ser 0 o pequeño comparado con • Los valores no debe estar correlacionados • Las variables deben escalarse de manera que sus covarianzas sean aproximadamente iguales. • Esto garantiza que las ws se aprendan a las mismas velocidades aproximadamente.

  31. Heurísticos • Las variables deben ser equi-espaciadas en el intervalo de observación • Si esto no es posible, es conveniente usar un spline natural para completar los datos faltantes

  32. Heurísticos (Inicialización) • Consideremos una RPR con tanh como función de activación. Si el umbral es 0 : • Sea • y

  33. Heurísticos • Si las entradas no están correlacionadas • Tomemos las de una distribución uniforme con

  34. Heurísticos • Entonces la media y la varianza de son: • y

  35. Heurísticos

  36. Heurísticos • en done m es el número de conexiones sinápticas a una neurona. • Es decir, queremos inicializar de manera que • esté en la transición de la parte lineal y saturada de su función de activación tanh. Para tanh, como se especificó antes, esto se logra (a=1.7159; b=0.6667) haciendo que en • y

  37. Heurísticos • Es decir, deseamos una distribución de la cual las • se tomen con y igual al recíproco del número de conexiones sinápticas

  38. Heurísticos

More Related