Classificador de emoções faciais baseado em face neutra

1. Classificador de emoções faciais baseado em face neutra Machine Learning D.I. PUC Rio Guilherme Carvalho Cunha

2. Introdução http://www.ynner.com.br/blog/wp-content/uploads/2011/05/Emocoes.jpg

3. Motivação • As aplicações estão querendo cada vez mais retirar mais informações dos usuários • Movimentos corporais • Bio feedback • Emoções • O reconhecimento de emoções é um processo complexo

4. Tarefa • Dado uma imagem de um indivíduo com a face neutra, criar um modelo que é capaz de classificar a emoção que esse indivíduo expressa em outras imagens ? Neutro

5. Proposta Inicial Atual Neutro Nervoso (3 emoções) (7 emoções)

6. Trabalhos relacionados

7. Dataset • O dataset foi criado para o propósito do trabalho utilizando as imagens do datasetRaFD • 1575 imagens e ~70 indivíduos, superior ao JAFFE (212 / ~10) • JAFFE é um dataset de imagens de mulheres japonesas (pouca generalização) • Um programa automaticamente analisa as imagens e extrai os pontos faciais • Dos pontos faciais extraídos, monta-se um vetor de atributos para treinamento

8. Vetor de atributos • A análise foi feita em cima de 2 imagens • Neutra • Expressão • A imagem neutra é conhecida à priori • O vetor de atributos foi feito com o deslocamento (x,y) de pontos pré-definidos entre as 2 imagens

9. Face neutra – face expressiva

10. Vetor de atributos • Os pontos pré-definidos foram • Cantos das sobrancelhas direitas e esquerdas (4 x 2) • Cantos da boca (2 x 2) • Ponto superior e inferior dos lábios (2 x 2) • Altura e largura da boca (2) • 18 atributos • Exemplo 1:2 2:-5 3:-4 4:-4 5:3 6:-4 7:-1 8:-1 9:-10 10:9 11:11 12:8 13:-1 14:-4 15:-1 16:-10 17:3 18:-7

11. Método machinelearning • Utilizou-se a LibSVM 3.12 para o treinamento e predição (crossvalidation) • Houve um processo de engenharia de atributos para chegar ao resultado atual que passou por, ao menos 4 versões diferentes

12. Resultados • Resultados iniciais estavam na faixa de 67% • Cross validation dos atributos finais trouxe resultado final de 84,37% • Um programa foi desenvolvido com o modelo proposto

13. Programa - calibragem

14. Programa – reconhecimento de emoção

15. Conclusões • Resultado satisfatório • Ainda não é uma atividade bem definida, difícil encontrar o estado-da-arte, dataset, comparações • Dataset foi criado automaticamente, não existe nenhuma anotação de atributos dourada (poderia melhorar) • Dificuldade em encontrar a face neutra • Teoria != prática • Algumas classes se confundem mais com as outras enquantos algumas se separam mais facilmente

16. Trabalhos futuros • Melhorar ainda mais os atributos escolhidos • Buscar um método de definição da face neutra • Buscar emoções intermediárias (menos exageradas) • Transportar para o modelo HMM e perceptron estruturado e verificar os resultados

17. Bibliografia • [1] P. Ekman and W. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978. • [2] T.F.Cootes, C.J.Taylor, Active Shape Models - `Smart Snakes'. in Proc. British Machine Vision Conference. Springer-Verlag, 1992, pp.266-275. • [3] Michael Kass and Andrew Witkin and DemetriTerzopoulos, Snakes: Active contour models, INTERNATIONAL JOURNAL OF COMPUTER VISION, 1988; • [4] Sheng-Yu Huang and Yau-Hwang Kuo, Emotion recognition based on a novel triangular facial feature extraction method, IJCNN 2010 • [5] Li Xiao-hua, Zhou Ji-liu and Gong Xiao-gang, Geometric feature based facial expression recognition using multiclass support vector machines, Granular Computing, 2009, GRC '09. IEEE International Conference on • [6] Chung-Lin Huang and Yu-Ming Huang, Facial Expression Recognition Using Model-Based Feature Extraction and Action Parameters Classification, 97 Journal of Visual Communication and Image Representation • [7] Langner, O., Dotsch, R., Bijlstra, G., Wigboldus, D.H.J., Hawk, S.T., & van Knippenberg, A. (2010). Presentation and validation of the Radboud Faces Database. Cognition & Emotion

18. Dúvidas ?