1 / 66

Extração de Características

Esqueletização Algoritmo de G&W Morfologia matemática Detecção de Bordas Momentum Regiões de Pressão Descrição estrutural. Teoria de Decisão de Bayes K vmp Redes Neurais MLP BP GSN Neuro-Fuzzy. Reconhecimento off-line de Assinaturas. Escopo de investigação. Extração de

tawny
Download Presentation

Extração de Características

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Esqueletização • Algoritmo de G&W • Morfologia matemática • Detecção de Bordas • Momentum • Regiões de Pressão • Descrição estrutural • Teoria de Decisão de Bayes • K vmp • Redes Neurais • MLP BP • GSN • Neuro-Fuzzy Reconhecimento off-line de Assinaturas • Escopo de investigação Extração de Características Classificação

  2. Reconhecimento off-line de Assinaturas • Esquemas de conexão entre as técnicas de extração de características Assinatura Pré-processada cinza/binária Imagens Borda cinza/binária Esqueleto cinza/binária Regiões de Pressão cinza/binária Vetores de Características Inclinação Momentum Fatores de Pressão

  3. MLP BP Neuro-Fuzzy K vmp GSN Reconhecimento off-line de Assinaturas • Esquemas de conexão entre técnicas de extração de características e reconhecimento Imagem binária Vetor de Características Imagem cinza

  4. Reconhecimento off-line de Assinaturas • Base de Dados • 50 classes (autores) • 20 assinaturas verdadeiras por classe • 20 assinaturas falsas por classe • 10 simples ou randômicas • 10 habilidosas • Total de 2000 amostras

  5. Reconhecimento off-line de Assinaturas • Segmentação • Do formulário e das assinaturas individuais • A partir das projeções vertical e horizontal • Pré-processamento Equalização de Background Amortecimento Extração da imagem Binarização

  6. Extração de características

  7. Momentum

  8. Bordas e Inclinação

  9. Regiões de Pressão

  10. Reconhecimento off-line de Assinaturas • Armazenamento • Imagens • Original, segmentada e pré-processada, esqueleto, borda e pressão • Formato GIF • Vetor de características híbrido • Momentum padrão (6 valores) • Número de componentes verticais • Inclinações (negativa, vertical, positiva) • Limiar de alta pressão (THP) • Fator de pressão (PF)

  11. Reconhecimento off-line de Assinaturas • Experimentos • Apenas verificação • Classificadores K vmp, MLP MP e Neuro-Fuzzy • Treinamento: 1 a 5 verdadeiras • Teste: 15 verdadeiras + 20 falsas • Criterio de rejeição: Neuro-Fuzzy e K vmp • rejeitar XÛ (C - R) < X < (C + R) • Performance = Acerto - (ErroI + ErroII) C-R C C+R

  12. Reconhecimento off-line de Assinaturas • K vizinhos mais próximos Tipo de Falsificação Acerto Erro I Erro II Rejeição Performance K todas 60.51 13.70 20.00 23.69 26.81 2 simuladas 35.57 10.60 10.00 49.13 4.97 3 randômicas 82.30 7.40 14.40 6.80 60.50 1

  13. Reconhecimento off-line de Assinaturas • MLP Backpropagation • Investigadas 3 arquiteturas • (a) entradas[12], escondida[12], saída[1] • (b) entradas[12], escondida[6], saída[1] -- melhor • (c) entradas[12], escondida[3], saída[1] Tipo de Falsificação Acerto Erro I Erro II Rejeição Performance todas 50.22 58.60 32.13 0.00 -40.51 simuladas 52.23 63.40 32.13 0.00 -43.30 randômicas 57.03 53.80 32.13 0.00 -28.90 1o. padrão Tipo de Falsificação Acerto Erro I Erro II Rejeição Performance todas 69.04 31.50 29.87 0.00 7.68 simuladas 64.27 41.60 29.87 0.00 -7.20 randômicas 74.37 21.40 29.87 0.00 23.10 melhor padrão

  14. Reconhecimento off-line de Assinaturas • Classificador neural difuso Tipo de Falsificação Acerto Erro I Erro II Rejeição Performance todas 70.87 16.10 11.60 14.53 43.17 simuladas 70.87 30.00 11.60 1.27 29.27 randômicas 70.87 2.20 11.60 1.27 57.07

  15. Reconhecimento off-line de Assinaturas • Atividades desenvolvidas Pesquisa bibliográfica nas áreas de redes neurais, processamento de imagens e reconhecimento de padrões • Estudo teórico enfatizando técnicas para extração de características e reconhecimento • Construção de uma base de dados de assinaturas utilizando técnicas para aquisição, pré-processamento e segmentação • Investigação experimental de algumas configurações de técnicas sobre a base de dados

  16. Sistemas de Visão Biologicamente Inspirados • Mechanisms from Biology • Foveated vision: retina-like image representation (log-polar) has useful properties • Visual attention: fixation gives insights where object features (or components) are likely to be found • Primal sketch: provides more compact representations for image data and cues for an attention mechanism

  17. Model base Attention Map Generic Scenes Update attention Primitive models Model relationships Feature planes Extract primal sketch planes Foveate Image Cluster objects Sistemas de Visão Biologicamente Inspirados • System’s architecture

  18. Sistemas de Visão Biologicamente Inspirados • Image representation • Gaussian receptive field function • Local contrast normalisation for estimating original reflectance information • Primal sketch features (edges, bars, blobs and ends) learned and extracted using a neural network approach • Log-polar

  19. Sistemas de Visão Biologicamente Inspirados • Traditional image feature extraction operators • Cartesian domain (artefact of sensor architecture) • Work independently of each other • Designed by hand • Primate visual system • Mapping from retina to visual cortex is log-polar • Learning • Primal sketch[Marr82] • Features like edges, bars, blobs, ends detectedat a number of orientations and contrasts • Grouping processes

  20. Extração de Características • Related Work • Neural network learning of Edge features [CTR95,PB92] • Limited to edges • Comparable to Sobel or Canny performances • Arbitrary features in the log-polar domain [GF96] • Operators manually designed • Poor sensitivity to the feature´s contrast • Limited to a fixed window size Edge@0 = ABS(f+a+b-c-d-e)/3 Edge@60 = ABS(a+b+c-d-e-f)/3 ... +Blob = MIN(x-a,x-b,x-c,x-d,x-e,x-f) a f b x e c d

  21. NN Edge Bar Blob End PCs Edge Bar Blob End Extração de Características • Training process recep. field windows Normalise Orientation Compute Projection Build Training Set Train Neural Networks Exemplars of Features Training Set feature class and contrast

  22. NN Edge Bar Blob End PCs Edge Bar Blob End Extração de Características • Testing process position orientation Extract Recep. Fields Normalise Orientation Compute Projection Apply Neural Networks Compute Feature Planes Feature class, position contrast and orientation Test Images Planes Edge Bar Blob End

  23. Extração de Características • Principal Components from a set of synthetic features

  24. Extração de Características • Neural network architecture Principal components PCA projected window Receptive field window Neural network Edge ... Bar N Ñ Blob End [1x19] [19x17] [1x17]

  25. Extração de Características • Evaluation • Ground truth for untrained synthetic features

  26. Extração de Características • Output of the Edge neural module

  27. Extração de Características • Testing on synthetic images Edges +Bars -Blobs +Blobs Output Retinal Input

  28. Extração de Características • Testing on real images Input Image Retinal Image Neural Outputs Logical Operators

  29. Extração de Características • Conclusions • New learning-based approach to extracting primal sketch features • Better results when compared to a previous approach • More correctly classified features • Good estimate for the feature´s contrast • Can be easily applied to different window sizes and new feature types • Successfully being used as the core representation in the problem of learning structural relationships from sets of 2D image-based models

  30. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Base de Dados Minolta • Objetivo: avaliar o comportamento de SVM diante do problema. • Base de dados: Minolta - da Universidade do Estado de Ohio, disponível em sampl.eng.ohio-state.edu/~sampl/data/3DDB/RID/minolta. • Foram selecionadas 10 classes de objetos (angel, brain, bottle, duck, face, frog, horn, lobster, pooh e valve). • 20 visões diferentes de cada classe

  31. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Preprocessamento: todas as imagens foram convertidas para níveis de cinza e re-escalonadas para o tamanho 100x100 pixels. Figura 6 Objeto angel Figura 7 Objeto horn

  32. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Ferramenta: OSU SVM toolbox Matlab, eewww.eng.ohio-state.edu/~maj/osu_svm; • Tipo de kernel: Polinomial de grau 2. • Tipo de algoritmo: classificador padrão. • Foi utilizada a estratégia de construção de conjuntos de treinamento e teste com diferentes tamanhos: • Cada conjunto de treinamento usou T amostras por classe e cada conjunto de teste usou (20-T) amostras por classe, onde T=1,2,...,19.

  33. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Resultados: • Taxa média de reconheci-mento foi 90%; • Melhor taxa 98%, para T=13; • Pior taxa 71% para T=1; Figura 8 Desempenho de SVM na base Minolta

  34. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Base de dados: COIL100 – disponível em www.cs.columbia.edu/CAVE. • É uma das melhores bases para investigar algoritmos de reconhecimento baseado na aparência. • Consiste de 7.200 imagens coloridas de 100 objetos. • Cada imagem foi adquirida em uma variação de 5o, formando 72 visões para cada imagem, com dimensão 128x128.

  35. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Pré-processamento: todas as imagens foram convertidas para níveis de cinza e re-escalonadas para o tamanho 32x32 pixels. • Dependendo do ângulo algumas imagens parecem maiores. Figura 9 Alguns objetos da COIL100 Figura 10 Visões do objeto 44 , do ângulo 260o a 300o

  36. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Ferramentas: • Para SVM: LIBSVM, disponível em www.csie.ntu.edu.tw/~cjlin/libsvm. • Para Redes Neurais: SNNS (Stuttgart Neural Network Simulator), disponível em www-ra.informatik.uni-tuebingen.de/SNNS.

  37. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Testando diferentes Kernels • Objetivo: fazer uma avaliação prática sobre a precisão, comportamento e número de vetores de suporte produzidos por três tipos de kernel polinomial: • linear; • quadrático; • cúbico.

  38. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Treinamento/teste: Foram construídos conjuntos de treinamento/teste de diferentes tamanhos. • todas as 100 classes foram utilizadas e todas as visões; • um total de 71 conjuntos de treinamento e de teste foram criados; • T amostras (visões aleatórias) para treinamento e (71-T) para testes, por classe, onde T=1,2,...,71.

  39. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Resultados: Figura 11 Número de vetores de suporte criados versus tamanho do conjunto de treinamento (100*T) para os três tipos de kernel.

  40. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Resultados: pequena superioridade para o kernel quadrático. • Foi realizada a estratégia k-fold cross validation para reforçar os resultados obtidos; • valor de k=10; • precisão média alcançada: 87,55%

  41. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Resultados Figura 12 Curvas de reconhecimento para os kernels: linear, quadrático e cúbico

  42. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Estudo Comparativo: SVM x Redes Neurais • Objetivo: Comparar experimentalmente SVM e Redes Neurais do tipo Multilayer Perceptron Backpropagation; • Considerou apenas aspectos relativos à precisão; • Estratégia de classificação multiclasses: “um-versus-um”; • A estratégia multiclasses produziria um elevada quantidade de classificadores; • Foi necessário portanto, reduzir a quantidade de classes. • O número de classes utilizadas foi 10;

  43. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Estudo Comparativo: SVM x Redes Neurais • Treinamento/teste: Foram construídos conjuntos de treinamento/teste de diferentes tamanhos; • Todas as 10 classes foram utilizadas e todas as 72 visões; • Foram produzidos 45 classificadores binários para cada tamanho de conjunto de treinamento/teste (71 conjuntos); • Arquitetura da Rede: • Camada de Entrada: 1024 neurônios • Camada Escondida: 4 neurônios • Camada de Saída: 2 neurônios.

  44. Reconhecimento de Objetos Baseado na Aparência Usando SVM As técnicas apresentaram desempenho semelhante Figura 13 Curvas de reconhecimento para SVM e Redes Neurais

  45. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Conclusões • Apresentou SVM como como uma opção para realizar reconhecimento de objetos baseado na aparência; • Investigou o desempenho da técnica nesse problema; • Comparou três tipos de SVM; • Comparou SVM com Redes Neurais; • Procurou apresentar a teoria de formaliza SVM utilizando uma linguagem mais didática e acessível

  46. Reconhecimento de Objetos Baseado na Aparência Usando SVM • Perspectivas de Trabalhos Futuros • Realizar o estudo comparativo entre SVM e Redes Neurais utilizando todas as 100 classes; • Testar extensões de SVM; • Estudo comparativo entre metodologias multiclasses; • Extender o domínio de aplicação de SVM para problemas como Regressão e Detecção de Novidades.

  47. Reconhecimento de Placas de Sinalização • Descrição do problema • Dirigir  processamento intensivo da informação visual; • Sistemas de Apoio ao Motorista (Driver Support Systems – DSS); • Segurança; • Conforto. • Segurança de tráfego Sinalização: • Desatenção; • Tráfego intenso; • O sistema como um co-piloto

  48. Reconhecimento de Placas de Sinalização • Objetivos e Relevância: • Escopo do trabalho; • Objetivos principais: • Estudar e implementar um mecanismo de atenção visual; • Investigar a utilização de uma Rede Neural para a tarefa de classificação. • Contribuições: • Perspectiva de geração de conhecimentos para o desenvolvimento de tecnologia nacional em DSS; • Proposta de um modelo híbrido biologicamente inspirado; • Mecanismo de Atenção Visual + Redes Neurais.

  49. Reconhecimento de Placas de Sinalização • Objetivos e Relevância: • Contribuições: • Demonstração da aplicabilidade de um mecanismo de atenção visual à tarefa de localização de placas; • Perspectiva de parcerias.

  50. Reconhecimento de Placas de Sinalização Reconhecimento de Placas de Sinalização • Trabalhos relacionados: • Detecção de obstáculos; • Detecção de marcas da pista; • Sistemas Integrados; • Detecção e reconhecimento de sinais de tráfego: • Busca reduzida através de algum conhecimento a priori; • Análise geométrica das arestas da imagem; • Reconhecimento  Correlação cruzada Piccioli e Colegas, 1996

More Related