Seminario Científico Internacional 2008 de invierno (SCI 2008i)

1. Seminario Científico Internacional 2008 de invierno (SCI 2008i) LAS REDES NEURONALES ARTIFICIALES Y SUSAPLICACIONES INDUSTRIALES - Francisco García Fernández. Dr. Ingeniero de Montes - Luis García Esteban. Dr. Ingeniero de Montes - Paloma de Palacios de Palacios. Dr. Ingeniero de Montes - Antonio Guindeo Casasús. Dr. Ingeniero de Montes Cátedra de Tecnología de la Madera Escuela Técnica Superior de Ingenieros de Montes Universidad Politécnica de Madrid

2. APLICACIONES INDUSTRIALES DE LAS REDES NEURONALES • INTRODUCCIÓN / HISTORIA • TIPOS DE REDES NEURONALES ARTIFICIALES • MODELOS MÁS UTILIZADOS EN LA INDUSTRIA • PERCEPTRON MULTICAPA • REDES DE BASE RADIAL • REDES RECURRENTES • MAPAS AUTOORGANIZATIVOS DE KOHONEN • UTILIZACIÓN DE LAS REDES NEURONALES EN LA INDUSTRIA • CONDICIONES DE USO • PROCEDENCIA DE LOS DATOS • DIVISIÓN DE LOS DATOS • USOS • EJEMPLOS

3. TIPOS DE REDES NEURONALES • INTRODUCCIÓN. • Estructura que intenta imitar algunas características de los sistemas biológicos. Aprenden a resolver problemas en base al conocimiento extraído del entorno. • No hay una definición precisa de ellas: • Haykin, 1994. Conjunto de procesadores en paralelo capaces de almacenar información procedente de patrones conocidos y aplicarla a ejemplos desconocidos. • El conocimiento se adquiere en la fase de entrenamiento. • El conocimiento se almacena en las conexiones entre neuronas. • Zurada, 1992. Conjunto de elementos físicos interconectados capaces de almacenar y utilizar conocimiento. • Pérez Delgado y Martín Martín, 2003. Arquitecturas de procesamiento paralelo que ofrecen nuevos mecanismos aplicables a una amplia gama de problemas. • Comienzos: • A partir de la década de 40’s. • McCulloch-Pitts (1943). Primer modelo matemático de una RNA con salida binaria. • Donald Hebb. Desarrolla el modelo matemático de aprendizaje. • Marvin Minsky (1951). Primeros resultados prácticos con RNAs. • Frank Rosenblatt (1957). Desarrolla el percetrón.

4. TIPOS DE REDES NEURONALES • DEPENDIENDO DEL TIPO DE APRENDIZAJE • Supervisado: • A la red se le presenta la solución a cada vector de entrada. • No supervisado: • No se presenta la solución. • Clasificadores. • TOPOLOGÍA • Feedforward: • Son redes con conexiones hacia delante. • No se forman bucles internos entre capas. • Feedback: • Se forman bucles internos entre capas o intracapas. • La salida de una capa depende de los valores anterioes. • TIPOS DE DATOS • Categóricas • Variables discretas. • Cuantitativas • Variables números reales. Feedforward Feedback

5. MODELOS MÁS UTILIZADOS EN LA INDUSTRIA • PERCEPTRON MULTICAPA • Arquitectura de neuronas con conexiones hacia delante. • Aproximador universal para cualquier función continua y diferenciable en un compacto de ℜn • Ventajas • Capacidad de aprendes a partir de ejemplos. • Aroximador de funciones no lineales. • Filtrar ruido. • Inconvenientes: • Largo proceso de aprendizaje. • Modelo no interpretable. • Arquitectura: • Capa de entrada. • Capas ocultas. • Capa de salida. • Funciones más comunes (tansig, logsig, purelin). • Diseño: • Nº de neuronas en la capa de entrada: Estudio previo del proceso. • Variables correlacionadas. • Variables no relevantes. • Nº de neuronas de las capas ocultas y capas ocultas: Prueba y error. • Nº de conexiones+nº de neuronas<nº de datos disponibles. • Red no definida matemáticamente. • No siempre se busca eso. MLP

6. Mala generalización Buena generalización Fin del entrenamiento Error Validación Entrenamiento Ciclos de entrenamiento MODELOS MÁS UTILIZADOS EN LA INDUSTRIA • PERCEPTRON • Proceso de aprendizaje: • Aprendizaje supervisado. • Inicialización de los valores de la red. • Cálculo de la salida final. • Obtención del error de salida. • Modificación de los valores iniciales de forma que la función error tienda al mínimo. • Repetición de los pasos anteriores hasta alcanza el mínimo deseado. • Capacidad de generalización: • Característica más importante. • La red puede aprender los ejemplos pero no generalizarlos. • Se debe evaluar la capacidad de generalización durante el proceso. • Conjunto de entrenamiento. • Conjunto de validación. • Elegidos aleatoriamente • Entrenamiento: 70-80%. • Validación: 20-30%. • Deben ser representativos de la población, no debe haber diferencias significativas entre ellos. • Introducción de datos anómalos. • Técnica Early-stopping.

7. MODELOS MÁS UTILIZADOS EN LA INDUSTRIA RBN • RED DE BASE RADIAL • Redes multicapa con conexiones hacia adelante. • Menor tiempo de aprendizaje que el perceptron. • Aproximadores universales. • Arquitectura. • Capa de entrada. • Capa oculta. • Sólo una capa oculta. • Funciones: Gauss, Cuadrática inversa, Multicuarática inversa. • Cada neurona de la capa oculta tiene un carácter local. • Capa de salida. • Diseño. • Nº de neuronas de la capa de entrada: Variables implicadas en el proceso. • Nº de neuronas de las capas ocultas y capas ocultas: Prueba y error. • Proceso de aprendizaje. • Aprendizaje híbrido • Capa oculta: No supervisado. Determinación de los centros y amplitudes. • Capa de salida: supervisado. Determinación de pesos y umbrales de salida. • Aprendizaje totalmente supervisado. • Se pierde el carácter local de la red. • Red Radial vs. Perceptron • Perceptron: Aproximaciones globales. • Red radial: Aproximaciones locales.

8. MODELOS MÁS UTILIZADOS EN LA INDUSTRIA • REDES RECURRENTES • Redes con conexiones recurrentes que crean bucles entre capas o intracapas. • Aprendizaje lento y complejo. • Facilita el tratamiento de información temporal o patrones dinámicos. • El valor de un patrón en un determinado momento depende de los instantes anteriores de tiempo. • MAPAS AUTOORGANIZATIVOS DE KOHONEN • Aprendizaje no supervisado. • Arquitectura de dos capas: • Capa de entrada: tantas neuronas como dimensión del vector de entrada. • Capa de competición: Conexiones laterales inhibitorias. Cada neurona compite por de forma que la entrada active sólo a una de ellas. • Proceso que realiza la red: • Familiaridad: Similitud entre la entrada y un valor tipo (media de valores). • Análisis de componentes principales: Qué variables tienen más preponderancia en el conjunto. • Agrupamiento: Dividir el conjunto de entrada en subconjuntos. • Codificación: Compresión de datos, se reduce la dimensión del dato de entrada sin perder información. • Extracción de características: Puesta en relieve la estructura organizativa de los patrones de entrada.

9. UTILIZACIÓN DE LAS REDES NEURONALES EN LA INDUSTRIA • CONDICIONES DE USO • Disponemos de una gran cantidad de datos. • El proceso de entrenamiento exige una gran cantidad de datos. • El número depende de la complejidad de la red. Para una red con tres capas ocultas y una neurona en la capa de salida con una neurona tendremos: • Puede que no necesitemos tener totalmente definida la red. No necesitamos la mejor sino una que nos satisfaga. • No pretendemos interpretar el fenómeno sino predecir resultados. • Un modelo físico interpreta el fenómeno. • Una RNA es una caja negra de imposible interpretación. • Las RNA predicen el resultado con muy buena precisión.

10. UTILIZACIÓN DE LAS REDES NEURONALES EN LA INDUSTRIA • PROCEDENCIA DE LOS DATOS • Procedentes de la producción diaria. • Son fieles a nuestra situación productiva. • Bajo coste de obtención. Proceden del control diario de la producción. • Pueden no abarcar todo el rango de situaciones. Se debe procurar a la hora de seleccionarlos abarcar el mayor rango posible. • Procedentes de un diseño de experimentos. • El diseño de experimentos permite abarcar todos las situaciones posibles de producción. • Mayor coste que los procedentes de producción diaria. • Datos simulados. • Se puede recurrir a ellos en caso de que no dispongamos de muchos datos. • Libres de ruido. • Menor coste de todos. • Exigen un modelado matemático de la producción y esto no siempre es posible.

11. UTILIZACIÓN DE LAS REDES NEURONALES EN LA INDUSTRIA • USOS • Modelado de procesos. • El entrenamiento se produce con datos procedentes de la producción. • La red reacciona de forma equivalente a nuestro proceso productivo. • Permite optimizar el proceso. • Se pueden realizar estudios de modificaciones en el proceso sin coste extra de ensayos. • Monitorización y control. • Control de calidad del producto final. • Datos de entrada fáciles y rápidos de obtener. • Tableros: Parámetros de fabricación o ensayos de control de calidad rápidos. • Cemento: Acortar el tiempo real de ensayos. • Permite detectar de forma rápida fallos en el producto final. • Dos tipos. • Valor cuantitativo de una propiedad. • Adecuación a una especificación.

12. EJEMPLOS • INDUSTRIAS AGRARIAS • INDUSTRIA CEMENTERA • INDUSTRIA FORESTAL • INDUSTRIA METALÚRGICA • INDUSTRIA PAPELERA • INDUSTRIA QUIMICA/FARMACEÚTICA • INDUSTRIA TEXTIL

13. INDUSTRIAS AGRARIAS • Reconocimiento y clasificación de semillas y productos. • Burks, T.F.; Shearer, S.A.; Heath, J.R.; Donohue, K.D. (2005). Evaluation of Neural-network Classifiers for Weed Species Discrimination. Biosystems Engineering. vol. 91(3), 293-304. • Clasificación de semillas. • A partir de imágenes digitales • Redes vs. Métodos estadísticos de clasificación • Kohonen, Red Radial, MLP • 97% de aciertos frente al 93% del método estadístico. • Granitto, P.M.; Navone, H.D.; Verdes, P.F.; Ceccatto, H.A. (2002). Weed Seeds identification by machine vision. Computers and electronics in agriculture. vol. 33, 91-103. • Identificación de semillas a partir de imágenes • Se clasificaron correctamente el 99.5% de las imágenes. • Kavdir, I. (2004). Discrimination of sunflower, weed and soil by artificial neural networks. Computers and electronics in agriculture. vol. 44, 153-160. • Discriminación a partir de imágenes. • MLP • Error: 10-15% Esquema de la red utilizada

14. INDUSTRIAS AGRARIAS • Reconocimiento y clasificación de semillas y productos. • Marini, F.; Baliestrieri, F.; Bucci, R.; Magri, A.D.; Magri, A.L.; Marini, D. (2004). Supervised pattern recognition to autenticate Italian extra virgin olive oil. Chenometrics and intelligent laboratory systems. vol. 73, 85-93. • Identificación de 14 variedades de aceite (según especie y procedencia) a partir de 10 parámetros químicos. • Acidez • Palmítico • Oleico • Esteárico • ..... • 90.6% de aciertos en el grupo de validación. • Marini, F.; Magri, A.L; Bucci, R.; Magri, A.D.; Magri, A.L. (2007). Use of different artificial neural networks to resolve binary blends of monocultivar Italian olive oils. Analytica Chimica Acta. vol. 599, 232-240. • Diferenciación de tipos de mezclas de aceites. • Combinación de dos tipos de red. • Kohonen para selección de muestras • MLP para la diferenciación • A partir de parámetros químicos. • R2: 0.91-0.96

15. INDUSTRIAS AGRARIAS • Modelización de procesos de secado. • Ceylan, İ, Aktaş. (2008). Modeling of a hazenut dryer assisted heat pump by using artificial neural networks. Applied Energy. vol. 85, 841-854. • Modelización del proceso. • Dos redes: MLP • Control de velocidad de secado y humedad final: MLP [3-4-2] • Control del tiempo de secado: MLP [3-2-1] • R2: 0.84-0.95 • Hernández-Pérez, J.A.; García-Alvarado, M.A.; Trystram, G.; Heyd, B. (2004). Neural networks for the heat and mass transfer prediction during drying of cassava and mango. Innovative Food Science & Emerging Technologies. vol. 5, 57-64. • MLP [5-3-2] • Variables entrada: • Temperatura, Tiempo, Contracción volumétrica, Veloc. aire, %HR • Salida: • Temperatura y humedad de las muestras • R2= 0.91-1.00 Esquema de las redes utilizadas

16. INDUSTRIAS AGRARIAS • Modelización de curvas de sorción. • Myhara, R.M.; Sablani, S. (2001). Unification of fruit water sorption isoterms using artificial neural networks. Drying Technology. vol. 19(8), 1543-1554. • GAB vs. RNA para 10 tipos de frutas. • Entrada ºT y aw • Salida: EMC • La RNA da resultado inferior a la curva GAB • La RNA permite incluir datos de la composición química. • Myhara, R.M.; Sablani, S.; Al-Alawi, S.M.; Taylor, S.M. (1998). Water Sorption Isotherms of Dates: Modeling Using GAB Equation and Artificial Neural Network Approaches. Lebensn-Wiss. u Technol. vol 31, 699-706. • MLP vs. GAB • MLP: R2=0.998 • GAB: R2=0.996 • MLP permite incluir datos de la composición química • MLP no proporciona los valores de K, Cg y Xm. • Peng, G.; Chen, X.; Wu, W.; Jiang, X. (2007). Modeling of water sorption isotherm for corn starch. Journal of Food Engineering. vol. 80, 562-567. • MLP vs. varios modelos de sorción (GAB, Peleg, Henderson, Smith) • MLP: 3% error • GAB: 6% error Curva típica de sorción de un material higróscopico Proceso de sorción de un material higroscópico

17. INDUSTRIA CEMENTERA • Obtención de las propiedades físicas del hormigón. • Baykasoğlu, A.; Dereli, T.; Taniş, S. (2004). Prediction of cement strength using soft computing techniques. Cement and Concrete Research. vol. 34, 2083-2090. • MLP para la obtención de la resistencia a la compresión a los 28 días. Frente a métodos tradicionales de envejecimiento acelerado. • Datos procedentes de producción • 19 parámetros químicos y físicos de entrada • MLP vs. Modelo lineal de regresión. • MLP: R2=0.697 • Regresión lineal: R2=0.357 • González, B.; Martínez, M.I.; Carro, D. (2006). Prediction of the Consistency of Concrete by Means of the Use of Artifical Neural Networks. Artificial Neural Networks in Real-Life Applications. Ed. IDEA GROUP. London, UK. ISBN. 1-59140-904-7. • Muestras preparadas en laboratorio. • MLP • Entrada: Composición química y granulometría. • Salida: Asentamiento del cono de Abrams (cm) Asentamiento del cono de Abrams

18. INDUSTRIA CEMENTERA • Obtención de las propiedades físicas del hormigón. • Sbartäi, Z.M.; Laurens, S.; Viriyametanont, K.; Balayssac, J.P.; Arligie, G. Non-destructive evaluation of concrete physical condition using radar and artificial neural networks. Construction and Building Materials. In press. • Ensayos no destructivos • 2 MLP • Contenido de agua • Amplitud de la señal reflejada • Amplitud de la señal directa • Retraso en la señal de reflexión • Contenido de cloruro • Idem • Contenido de agua • R2(agua)=0.93; R2(Cl)=0.98 sobre el conjunto de validación. • Yeh, I.C. (1998). Modeling of strength of high-performance concrete using artifical neural networks. Cement and Concrete Research. vol. 28, 1797-1808. • Muestras preparadas ad hoc. • MLP vs. Regresión múltiple • MLP: R2=0.85-0.92 • Regresion: R2=0.71-0.79 • Entrada: densidad, contenido en agua, cenizas, % de finos, momento del ensayo. • Salida: Resistencia a la compresión. Señal de radar típica

19. INDUSTRIA FORESTAL • Control de producción. • Cook, D.F.; Chiu, C-C. (1997). Predicting the internal bond strength of particleboard utilizing a radial basis function neural network. Engng. Applic. Artif. Intell. vol 10(2), 171-177. • Red Radial • Obtención de la cohesión interna a partir de parámetros de producción • MC, ºT prensas, Tiempo de prensado, ºT del secadero... • Error: 12.5% • Cook, D.F.; Whittaker, A.D. (1992). Neural network models for prediction of process parameters in wood products manufacturing. First Industrial Engineering Research Conference Proceedings. 209-211. • MLP • Entrada: Parámetros de producción • Salida: Por encima de especificación-Perteneciente a especificación-Por debajo de especificación. • García Fernández, F.; García Esteban, L.; de Palacios, P.; Navarro, N.; Conde, M. (2008). Prediction of standard particleboard mechanical properties utilizing an artificial neural network and subsequent comparison with a multivariate regression model. Investigacion Agraria: Sistemas y Recursos Forestales In press. • A partir de propiedades físicas rápidas de medir • Datos procedentes de producción • MLP vs Regresión Multivariante • MLP: RIB=0.87; RMOR=0.87; RMOE=0.87 • Regresión: RIB=0.70; RMOR=0.65; RMOE=0.52 Ensayo MOR-MOE para tableros Esquema de la Red

20. Filtro INDUSTRIA FORESTAL • Clasificación. • Drake, P.R.; Packianather, M.S.; (1998). A decission Tree of Neural Networks for Classifying Images of Wood Veneer. The International Journal of Advanced Manufacturing Technology. vol. 14, 280-285. • Entrada de imágenes tratadas digitalmente • Salida: Tipo de defecto: • Nudo, corteza, decoloración, desviación de la fibra.... • RNA: 88% de aciertos. • Clasificación manual: 68% aciertos. • Ramirez Alonso, G.MJ.; Chacón Murguía, M.I.; (2005). Clasificación de los defectos en la Madera utilizando Redes Neuronales Artificiales. Computación y Sistemas. vol. 9 (1), 17-27. • MLP • Clasificación de 7 tipos de defectos • Tratamiento de imágenes por filtros digitales • Aciertos: 83.9% • Nordmark, U. (2002). Knot identification from CT images of young Pinus sylvestris sawlogs using artificial neural networks. Scandinavian Journal Forest Research. vol. 17, 72-78. • MLP • Tratamiento digital de las imágenes • Aciertos: 97-98% Ejemplo de imagen de un nudo Esquema de la Red Tratamiento de las imágenes

21. INDUSTRIA FORESTAL • Varios. • Diamantopoulou, M.J. (2005). Artificial Neural Networks as an alternative tool in pine bark volume estimation. Computers and electronics in agriculture. vol. 48, 235-244. • MLP vs. Regresión multivariante • MLP: Error= 5-7% • Regresión: Error=18-23% • Mansfield, S.D.; Iiadis, L.; Avramidis, S. (2007). Neural network prediction of bending strength and stiffness in western hemlock (Tsuga heterophylla Raf.) Holzforschung vol. 61, 707-716. • MLP vs Modelos lineares de regresión • Modelos de regresión: • MOR: R2=0.33 • MOE: R2=0.43 • MLP: • MOR: R2=0.56 • MOE: R2=0.70 Ensayo de MOE-MOR para probetas de grandes dimensiones.

22. INDUSTRIA METALÚRGICA • Propiedades mécánicas de aleaciones • McBride, J.; Malinov, S.; Sha, W. (2004). Modelling tensile properties of gammna-based titanium aluminides using artificial neural networks. Materials Science and Engineering A. vol. 384, 129-137. • MLP • Entrada: Composición, Microestructura (12 tipos), ºT ensayo. • Salida: Propiedades mecánicas. • R2=0.97 (Grupo de validación) • Pu, Y.; Mesbahi, E. (2006. Application of artificial neural networks to evaluation of ultimate strength of steel panels. Engineering Structures. vol. 28, 1190-1196. • Planchas destinadas a la industria naval • MLP vs. modelos empíricos. • Entrada: Anchura de la plancha, espesor, límite de fluencia, esfuerzo residual • Salida: Resistencia máxima • Error MLP: 4.3% • Resistencia de soldadura • Martin, O.; López, M.; Martín, F. (2007. Artificial neural networks for quality control by ultrasonic testing in resistance spot welding. Journal of Materials Processing Technology. vol. 183, 226-233. • MLP [3-6-6-1] • Entrada: Tiempo de soldadura, Intensidad de corriente y tipo de electrodo • Salida: Punto válido/no válido • Aciertos: 96.8% Esquema de la red utilizada

23. INDUSTRIA PAPELERA • Optimización de procesos • Aguiar, H.E.; Maciel, A.; Maciel, R. ( 1998). Modeling and optimization of pulp and paper processes using neural networks. Computers Chem. Engng. vol 22 –Suppl, S981-S984. • Modelización del digestor Kraft • Modelo teórico vs. MLP • Entrada: Alcalinidad, espesor de la partícula de madera, temperatura inicial, temperatura de cocido, densidad, contenido en lignina, contenido en celulos, contenido en hemicelulosa • Salida: Cantidad de lignina de la pasta. • El modelo teórico proprciona una interpretación del proceso • La RNA proporciona una herramienta de experimentación con bajo coste. • Calidad del producto final • Edwards, P.J.; Murray, A.F.; Papadopoulos, G.; Gordon, M.F.; Wallace, A.R.; Barnard, J.; Smith, G. (1999). The applications of Neural Networks to the papermaking industry. IEEE Transactions on Neural Networks. vol 10, 1456-1464. • Datos procedentes de producción. Las variables se escogieron por su facilidad de medición en fábrica. • Entrada: % madera de conífera, contenido en cenizas, gradación del papel, espesor en la formadora... • Salida: grado de rugosidad • Modelo linear vs. MLP • Modelo lineal: MSE=155.43 • MLP: MSE=127.02

24. INDUSTRIA QUIMICA/FARMACEUTICA • Química. • Ramadhas, A.S.; Jayaraj, S.; Muraleedharan, C.; Padmakurami, K. (2006). Artificial neural networks used for the prediction of the cetane number of biodiesel. Renewable Energy. vol 31, 2524-2533. • Obtención del CN (ASTM D613) Es un procedimiento muy complejo que involucra fuentes de incertidumbre no atribuibles al error de experimentación. • Entrada: Composición en ácidos grasos (palmítico, esteárico, oleico, linoleico, linolenico) • 4 tipos de RNA: • MLP: Error=3.4% • RB: Error=5.0% • GRNN: Error=3.8% • RNN: Error=3.6% • Farmaceutica. • Domínguez Rubio, J.L.; Castro Bleda, M.J.; Díaz Villanueva, W. (2003). Discriminación y predicción de propiedades de fármacos mediante redes neuronales. Inteligencia Artificial, Revista Iberoamericana de Inteligencia Artificial. vol 18, 7-16. • Herramienta de ayuda a la investigación. • 4 MLP según la propiedad estudiada • Entrada: • Datos topológicos moleculares: presencia de ciertos átomos, su posición tipos de enlaces y posición... • Salida: • Presencia/ausencia de efecto analgésico: Aciertos=86.18% • Presencia/ausencia de efecto antidiabético: Aciertos=94.19% [64-4-4-1] • Actividad bactericida: RMS=0.45 [52-64-1] • Solubilidad: RMS=1.74 [52-32-1]

25. INDUSTRIA TEXTIL • Propiedades de materiales textiles. • Yuen, C.W.M.; Wong, W.K.; Qian, S.Q.; Chan, L.K.; Fung, E.H.K. (2008). A hybrid model using genetic algorithm and neural network for classifying garment defects. Expert Systems with Applications. In press. • A partir de imágenes tratadas digitalmente. • MLP • Entrada: • Tamaño de la zona dañada, Valor medio de la intensidad, Desviación típica del valor de los pixels de la zona dañana. • Salida: Pareja de valores reales redondeados. • Sin defectos (0,0): Aciertos=100% • Presencia de pliegues (0,1): Aciertos=100% • Presencia de arrugas: Aciertos=100% • Wong , W.K.; Yuen, C.W.M, Fan D.D.; Chan, L.K.; Fung, E.H.K. (2008). Stitching defect detection and classification using wavelet transform and BP neural network . Expert Systems with Applications. In press. • A partir de imágenes tratadas digitalmete • MLP • Salida: 5 defectos de cosido • Pliegues: Aciertos=100% • Arrugas: Aciertos=100% • Tirantez en costura: Aciertos=100% • Ausencia de puntada: Aciertos=100% • Agujeros: Aciertos=93% Esquema de la red utilizada

26. Muchas Gracias Francisco García Fernández Dr. Ingeniero de Montes francisco.garcia@upm.es