Reconhecimento de Expressões Faciais em Imagens

1. PPGCC – Universidade Federal de Minas Gerais Reconhecimento de Expressões Faciais em Imagens Elizabeth Duane Santos da Costa Visão Computacional – 1º/2010 17 de Junho de 2010

2. Introdução • Classificação de Expressões Faciais • Interação humano-computador • Estudos na área psicologia, medicina • Interesses comerciais • Características Desejáveis • Rápido • Simples • Precisão invariante aos ambientes

3. Introdução • Dificuldades: • Pouca expressividade e Similaridade

4. Introdução • Dificuldades • Classificação é confusa até entre os seres humanos

5. Introdução • 6 Expressões básicas e Face Neutra Alegria Desgosto Medo Neutro Raiva Surpresa Tristeza

6. Introdução • Características Locais • Pontos de interesse • Detecção de olhos, boca, sobrancelha • Posição e relação entre distâncias do rosto • Métodos mais complexo • Características Globais • Face inteira • Filtros e outras técnicas para representar a face e normalmente tem uma fase de aprendizado • Possíveis Técnicas • Aprendizado • TemplateMatching

7. Problema • Classificar uma determinada imagem de acordo com as classes de expressões definidas

8. Trabalhos Relacionados • Sorci, M., Antonini, G., Cruz, J., Robin, T., Bierlaire, M., & Thiran, J. P. Modelling human perception of static facial expressions. Image and Vision Computing,2009. • Lee B., Chun J., Park P. Classification of Facial Expression Using SVM for Emotion Care Service System, ACIS International Conference on, pp. 8-12, 2008 Ninth ACIS International Conference on Software Engineering, Artificial Intelligence, Networking, and Parallel/Distributed Computing, 2008 • M. Turk and A. Pentland, Eigenfaces for Recognition, Journal of Cognitive Neuroscience,vol. 3, no. 1, pp. 71-86, 1991

9. Solução • SVM (Support Vector Machine) • Aprendizagem Supervisionada • Matriz de treinamento onde cada coluna representa uma característica e cada linha uma instância de treinamento • Vetor de resposta que classifica cada linha em uma determinada classe • Uma forma de regressão para ajustar os dados de treinamento de acordo com a classe do vetor de resposta

10. Eigenface • Autovetores de um conjunto de imagens de face • Imagens normalizadas pela diferença da média • Autovetores são derivados da matriz de co-variância das imagens normalizadas • Os autovetores mais representativos (de maior auto valor) são usados para a tarefa em questão.

11. Eigenface

12. Metodologia • Pré - Processamento: • Detecção da Face: HaarCascade (OpenCv) • Ajuste da Dimensão e Filtro Gaussiano • SVM • Treinamento do SVM Para cada expressão • Classificação para cada grupo treinado • Eigenface • Cálculo dos Eigenfaces • Cálculo de Similaridade - Distância Euclidiana

13. Metodologia • Pré - Processamento: • Detecção da Face • Ajuste da Dimensão e Filtro Gaussiano SVM: 50 x 50 256 x 256 Eingenface: 100 x 100

14. Metodologia • SVM • Vetorização das imagens e montagem da matriz de treinamento • Treinamento por expressão • Expressão treinada (1) X todas outras expressões(0) • 7 treinamentos • Classificação • Imagem de teste é comparada para cada um dos SVM treinados e verifica-se em qual expressão foi classificada;

15. Metodologia • Eigenfaces • Vetorização das imagens de treinamento; • Redução da dimensão com PCA; • Componentes principais (autovetor com maior autovalor); • Projeção das imagens de treinamento e teste (representação em termos de componentes principais); • Distância euclidiana entre a projeção das imagens de teste e das imagens de treino; • Menor distância é escolhida; • A imagem de teste estará no mesmo grupo da imagem de treino que obteve menor distância

16. Experimentos • Banco de Dados – JAFFE (Japanese Female Facial Expressions) • 213 imagens de 7 expressões faciais (6 expressões básicas + normal) referentes a 10 modelos japonesas.

17. Resultados • Imagens para o experimento • 143 imagens para Treinamento • 69 imagens para Teste • SVM • Não Reconheceu Tristeza e Surpresa • Taxa de Acerto Geral: 11% • Dupla classificação: 26% • Razões • Entrada dos dados? • Falta de extração de características? • Metodologia de treinamento ineficiente?

18. Resultados • Eigenface • Taxa de Acerto Geral: 72%

19. Conclusão • SVM • Não obteve bons resultados para o experimento proposto • Eigenface • Rápido • Simples • Taxa de classificação aceitável

20. Trabalhos Futuros • SVM com Eigenface • Outros métodos de Aprendizagem • Banco de Dados • Variação da Face • Sequência de Imagens • Aprendizado Online – Novas Faces e Expressões • Características Globais e Locais

21. Perguntas e Comentários

22. Referências Bibliográficas • Rosário, S.V.P.G., Facial Emoticons:Reprodução de Informação associada a expressões faciais por via do seu reconhecimento. Dissertação. Mestre em Engenharia Informática e de Computadores. Instituto Superior Técnico. Universidade Técnica de Lisboa, 2008. • B. Fasel, J. Luettin, Automatic facial expression analysis: a survey, Pattern Recognition 36 (2003) • R. Gottumukkal and V.K. Asari, An improved face recognition technique based on modular PCA approach, Pattern Recogn. Lett. 25 (2004) • M. Pantic and L.J.M. Rothkrantz. Expert system for automatic analysis of facial expression. In Image and vision computing J., volume 18, pages 881–905, 2000.