Manteniendo el foco: control de seguimiento y vergencia en un sistema de atención visual

1. Manteniendo el foco: control de seguimiento y vergencia en un sistema de atención visual Pilar Bachiller y Pablo Bustos Departamento de Tecnología de los Computadores y de las Comunicaciones UNIVERSIDAD DE EXTREMADURA

2. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Índice Manteniendo el foco Pilar Bachiller y Pablo Bustos 1. Introducción 2. Sistema de seguimiento 3D • Control de seguimiento • Control de vergencia 3. Experimentos • La plataforma robótica • Resultados experimentales 4. Conclusiones

3. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Introducción Detección de regiones de interés Harris-Laplace Selección de un objetivo visual Integración bottom-up y top-down Seguimiento binocular del objetivo Respuesta motora Manteniendo el foco Pilar Bachiller y Pablo Bustos SISTEMA DE ATENCIÓN VISUAL

4. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Introducción Control monocular de seguimiento Cámara dominante Configuración maestro-esclavo Control asimétrico de vergencia Cámara de vergencia Manteniendo el foco Pilar Bachiller y Pablo Bustos Separación del control

5. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de seguimiento Pirámide Imagen Objetivo Prisma Maximización del coeficiente de correlación Solución: Búsqueda en el espacio de escala Manteniendo el foco Pilar Bachiller y Pablo Bustos Seguimiento monocular del objetivo Falsos positivos Búsqueda de correspondencias Problema: aparición de falsos positivos

6. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de seguimiento Control de seguimiento monocular Pirámide[0] Prisma[0] iCorrel  cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H, Correl, maxCorrel) l  0 while listMax.length()>1  l<nLevels do Análisis de la ratio l  l+1 if l < nLevels then Cálculo de correlación endif endwhile if listMax.length() = 1 then tracked  TRUE xTracked  listMax[0].x yTracked  listMax[0].y else tracker  FALSE endif cCorrel iCorrel Manteniendo el foco Pilar Bachiller y Pablo Bustos

7. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de seguimiento Control de seguimiento monocular (x,y) correl iCorrel  cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H, Correl, maxCorrel) l  0 while listMax.length()>1  l<nLevels do Análisis de la ratio l  l+1 if l < nLevels then Cálculo de correlación endif endwhile if listMax.length() = 1 then tracked  TRUE xTracked  listMax[0].x yTracked  listMax[0].y else tracker  FALSE endif listMax maxCorrel LocalMaximaTh Correl Manteniendo el foco Pilar Bachiller y Pablo Bustos iCorrel

8. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de seguimiento Control de seguimiento monocular iCorrel  cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H, Correl, maxCorrel) l  0 while listMax.length()>1  l<nLevels do Análisis de la ratio l  l+1 if l < nLevels then Cálculo de correlación endif endwhile if listMax.length() = 1 then tracked  TRUE xTracked  listMax[0].x yTracked  listMax[0].y else tracker  FALSE endif l Manteniendo el foco Pilar Bachiller y Pablo Bustos listMax

9. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de seguimiento p Control de seguimiento monocular maxCorrel iCorrel  cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H, Correl, maxCorrel) l  0 while listMax.length()>1  l<nLevels do Análisis de la ratio l  l+1 if l < nLevels then Cálculo de correlación endif endwhile if listMax.length() = 1 then tracked  TRUE xTracked  listMax[0].x yTracked  listMax[0].y else tracker  FALSE endif correl / Ratio Análisis de la ratio for p=0 to listMax.length() -1 do if listMax[p].correl/maxCorrel < Ratio then listMax.delete(p) else p  p+1 endif endfor Sí > No Manteniendo el foco Pilar Bachiller y Pablo Bustos listMax

10. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de seguimiento p Control de seguimiento monocular maxCorrel iCorrel  cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H, Correl, maxCorrel) l  0 while listMax.length()>1  l<nLevels do Análisis de la ratio l  l+1 if l < nLevels then Cálculo de correlación endif endwhile if listMax.length() = 1 then tracked  TRUE xTracked  listMax[0].x yTracked  listMax[0].y else tracker  FALSE endif Cálculo de correlación maxCorrel  0 for p=0 to listMax.length() -1 do xC  (listMax[p].x)*sl yC  (listMax[p].y)*sl correl  sCorrel(prisma[l], wE/2, hE/2, wE, hE, piramide[l], xC, yC, wE, hE) listMax[p].correl  correl if correl > maxCorrel then maxCorrel  correl endif endfor > sCorrel l l Manteniendo el foco Pilar Bachiller y Pablo Bustos listMax

11. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de seguimiento Control de seguimiento monocular iCorrel  cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H) listMax  LocalMaximaTh(iCorrel,W,H, Correl, maxCorrel) l  0 while listMax.length()>1  l<nLevels do Análisis de la ratio l  l+1 if l < nLevels then Cálculo de correlación endif endwhile if listMax.length() = 1 then tracked  TRUE xTracked  listMax[0].x yTracked  listMax[0].y else tracker  FALSE endif l l l Manteniendo el foco Pilar Bachiller y Pablo Bustos listMax

12. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de vergencia Extensión de la zona de vergencia Cámara de Vergencia (CV) Cámara Dominante (CD) Prisma (CD) Pirámide (CV) Maximización del coeficiente de correlación ¿Extensión de la zona de vergencia? Búsqueda descendente en el espacio de escala Manteniendo el foco Pilar Bachiller y Pablo Bustos Vergencia asimétrica Búsqueda de la ventana central de CD en CV

13. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de vergencia Prisma Control asimétrico de vergencia Pirámide hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel < Correl  correlLevel>maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s nLevels-1 hS (xS, yS) 1 0 Manteniendo el foco Pilar Bachiller y Pablo Bustos wS

14. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de vergencia Control asimétrico de vergencia Pirámide hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel < Correl  correlLevel>maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s cCorrel iCorrel maximumXY (xMax, yMax) correlLevel Manteniendo el foco Pilar Bachiller y Pablo Bustos Prisma l

15. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de vergencia Control asimétrico de vergencia Pirámide hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel > Correl  correlLevel > maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s  correlLevel maxCorrel correl < > ? SÍ y NO l+1 Manteniendo el foco Pilar Bachiller y Pablo Bustos Prisma l

16. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Control de seguimiento Control de vergencia Control de vergencia Control asimétrico de vergencia Pirámide hS  hWin wS  w xS  w/2 yS  h/2 maxCorrel  0 for l = nLevels-1 downto 0 do iCorrel  cCorrel(prisma[l], r/2, r/2, r, r, piramide[l], xS, yS, wS, hS) correlLevel  maximumXY(iCorrel, xS, yS, wS, hS, xMax, yMax,) if correlLevel > Correl  correlLevel > maxCorrel then maxCorrel  correlLevel xS  xMax/s yS  yMax/s wS  wEnv else xS  xS/s yS  yS/s wS  wS/s endif endfor xVerg  xS*s yVerg  yS*s l l l (xVerg, yVerg) Manteniendo el foco Pilar Bachiller y Pablo Bustos Prisma

17. Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales La plataforma robótica Torreta estéreo Base móvil Control de seguimiento Control de vergencia Control conjunto Seguimiento binocular de un objetivo en movimiento Seguimiento durante una tarea de navegación Favorable Sin textura Sin correspondencia Manteniendo el foco Pilar Bachiller y Pablo Bustos Robot móvil con visión estéreo 3 grados de libertad 2 grados de libertad Experimentos

18. Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales Resultados experimentales Manteniendo el foco Pilar Bachiller y Pablo Bustos Seguimiento de una región en una secuencia de avance

19. Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales Resultados experimentales Manteniendo el foco Pilar Bachiller y Pablo Bustos Vergencia en una situación favorable Cámara de Vergencia Cámara Dominante

20. Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales Resultados experimentales Manteniendo el foco Pilar Bachiller y Pablo Bustos Vergencia en una zona sin textura Cámara de Vergencia Cámara Dominante

21. Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales Resultados experimentales Manteniendo el foco Pilar Bachiller y Pablo Bustos Zona de vergencia fuera del campo de visión Cámara de Vergencia Cámara Dominante

22. Introducción Sistema de seguimiento 3D Experimentos Conclusiones La plataforma robótica Resultados experimentales Resultados experimentales Manteniendo el foco Pilar Bachiller y Pablo Bustos Control conjunto de seguimiento y vergencia Fijación inicial sobre el objetivo Avances en línea recta Respuestas inmediatas en el control Vergencia posterior al seguimiento Variaciones de aspecto producidas por cambio de trayectoria Captura continua de cambios en el objetivo

23. Introducción Sistema de seguimiento 3D Experimentos Conclusiones Conclusiones Manteniendo el foco Pilar Bachiller y Pablo Bustos Sistema de seguimiento binocular • Separación del control: seguimiento monocular y vergencia asimétrica • Búsqueda en el espacio de escala • Seguimiento mediante localización ascendente • Vergencia mediante correspondencia descendente • Experimentos reales Líneas futuras • Interacción con un sistema conceptual de categorización • Anticipación como medio de sincronización de los dos controladores