1 / 20

“REAL ADABOOST” CON FUSIÓN CONTROLADA POR PUERTA (GCF-RAB)

“REAL ADABOOST” CON FUSIÓN CONTROLADA POR PUERTA (GCF-RAB). Aníbal R. Figueiras-Vidal G2PI-DTSC-UCIIIM. ÍNDICE. 1. DECISIÓN MÁQUINA 2. CONJUNTOS 3. COMITÉS 4. BOOSTING 5. GCF-RAB 6. DISEÑOS CONSIDERADOS 7. RESULTADOS 8. LÍNEAS DE TRABAJO. - 1 -.

aretha-knox
Download Presentation

“REAL ADABOOST” CON FUSIÓN CONTROLADA POR PUERTA (GCF-RAB)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. “REAL ADABOOST”CONFUSIÓN CONTROLADA POR PUERTA(GCF-RAB) Aníbal R. Figueiras-Vidal G2PI-DTSC-UCIIIM

  2. ÍNDICE 1. DECISIÓN MÁQUINA 2. CONJUNTOS 3. COMITÉS 4. BOOSTING 5. GCF-RAB 6. DISEÑOS CONSIDERADOS 7. RESULTADOS 8. LÍNEAS DE TRABAJO - 1 -

  3. 1. DECISION MÁQUINA H0 × Fw(x) Dj Hi × . . . x H M H I × Máquina: información (supervisión) (semisupervisión) Propósitos: explicativo (Occam) predictivo (“No free lunch”) -2-

  4. 2. CONJUNTOS (Occam vs. Epicuro) Ventajas:  potencia expresiva a menor coste de diseño  eventualmente, mejor interpretabilidad Familias:  comités : aprendices y fusión separados  cooperativos : aprendices y fusión simultáneos  “boosting” (y NCL)  MoE -3-

  5. 3. COMITÉS Aprendices: “diversidad”  arquitectura  aprendizaje: datos variables inicialización algoritmo . . . (extremo: expertos regionales) (también diseños cooperativos) Fusión: fija (promedio) / entrenable (comb. lineal) global (anteriores) / local (mayoría; puerta) . . . Ejs. importantes:  “bagging” (aprendices con “booststrap”) (“wagging”, etc.)  RF (variables y datos) (se basan en aprendices inestables) (RF: pierden inteligibilidad; paralelas a Inteligencia Colectiva… ¡mal pensada!) (fusión puerta) -4-

  6. 4. BOOSTING (1) A. AdaBoost Aprendices: decisores débiles y duros Combinación lineal: Objetivo: y se diseña aprendiz a aprendiz: -5-

  7. 4. BOOSTING (2) Minimizando -6-

  8. 4. BOOSTING (3) Algoritmo AdaBoost 1. 2. 2.1. 2.2. a. b. • Condición de parada: • 4. • 5. Vuelta a 2 -7-

  9. 4. BOOSTING (4) Esquema -8-

  10. 4. BOOSTING (5) B. Real AdaBoost Aprendices: decisores débiles y blandos Combinación lineal: Se minimiza la cota superior del coste exponencial -9-

  11. 4. BOOSTING (6) Resultan:  para , ha de minimizarse admitiendo : parámetro de separación o corte (“edge”)  tras ello, queda y anulando la derivada -10-

  12. 4. BOOSTING (7) Algoritmo Real AdaBoost 1. 2. Para 2.1. 2.2. a. b. 3. Condición de parada 4. 5. Vuelta a 2 -11-

  13. 4. BOOSTING (8) • Casi nunca sobreajusta; explicaciones  por trabajar con  Breiman: por construir con aprendices blandos y énfasis • Cuando sobreajusta: por énfasis excesivo sobre muestras imposibles  arreglarlo: selección de muestras regularización énfasis mixtos . . .  alternativa: fusión local (“débil”) -12-

  14. 5. GCF-RAB (1) Idea siendo una capa de RBF; p.ej., gaussianas dados Entrenamiento (tipo “arcing”) , de forma convencional (min error cuadrático muestral enfatizado) , por gradiente sobre usando -13-

  15. 5. GCF-RAB (2) reuniendo expresiones y se toma ; con lo que se tiene -14-

  16. 5. GCF-RAB (3) Arquitectura -15-

  17. 6. DISEÑOS CONSIDERADOS (1) A. Selección de centroides También Shin-Cho + Hwang-Bang A.1. Preselección (S-C) y • proximidad a la frontera: • corrección: Se preseleccionan las muestras con y Se explora A.2. Selección (APC-III H-B) • muestra de mayor • excluir muestras en una hiperesfera de radio • iterar hasta que no queden muestras -16-

  18. 6. DISEÑOS CONSIDERADOS (2) (promedio de distancias mínimas) 1. ( (no. nodos aprendices MLP)) 2. : agrupamiento en torno a # : no. de muestras -17-

  19. 7. RESULTADOS EXPERIMENTALES (50 X 5-fold) (carga en operación: órdenes similares, si se utilizan LUTs) -18-

  20. 8. LÍNEAS DE TRABAJO • Mejores métodos de selección de centroides (también paso a paso) • Inclusión de énfasis generalizados • Otras puertas (complementarias: aprendices locales + fusión global)  Extensiones a otros métodos constructivos (NCL, etc.) -19-

More Related