290 likes | 535 Views
Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo . Márcio Gonçalves METI Orientador : Prof. Tomás Brandão, ISCTE-IUL Co-Orientadora: Prof.ª Maria Paula Queluz, IST Apresentação da Dissertação de Mestrado. Outline. Motivação e Objetivos Implementação da Ferramenta Tecnologia
E N D
Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo Márcio Gonçalves METI Orientador: Prof. Tomás Brandão, ISCTE-IUL Co-Orientadora: Prof.ª Maria Paula Queluz, IST Apresentação da Dissertação de Mestrado
Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo Outline • Motivação e Objetivos • Implementação da Ferramenta • Tecnologia • Interface gráfica • Características • Contribuições adicionais • Demonstração • Testes de Avaliação Subjetiva • Síntese e Trabalho Futuro
Qualidade de vídeo Definida como uma medida da degradação visual, percepcionada pelos utilizadores, depois do vídeo ser sujeito a perdas devido a codificação e/ou transmissão Perdas de transmissão Efeito de bloco Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 4
Avaliação da qualidade de vídeo • Avaliação SubjetivaRealização de testes em que os observadores humanos avaliam por si a qualidade de sequências de vídeo • Avaliação ObjetivaAvaliação automática de uma sequência de vídeo sem a intervenção direta de humanos (através de algoritmos) Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 5
Testes de avaliação subjetiva • Software • Configuração de testes subjetivos • Efetuar testes de avaliação subjetiva • Tratamento de resultados • Bases de Dados • Armazenamento de sequências de vídeo • Disponibilização dos resultados (MOS, DMOS) Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 6
Limitações de ferramentas existentes • Variedade de métodos normalizados para avaliação subjetiva de vídeo • Falta de suporte para • auxílio à preparação dos testes • processamento estatístico dos resultados Existe um número reduzido de ferramentas disponíveis para realização de testes de avaliação subjetiva Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 7
Objetivos • Construção de uma ferramenta capaz de efetuar avaliações subjetivas da qualidade de vídeo • Visualização de vídeos com resoluções HD (1920x1080) • Tratamento estatístico de dados e extração de valores de MOS (MeanOpinion Scores) • Inclua novas metodologias, não normalizadas, de avaliação subjetiva e deteção de outliers • Realização de testes de avaliação subjectiva usando a ferramenta desenvolvida • Disponibilização dos resultados obtidos à comunidade científica Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 8
Tecnologia de implementação • Desenvolvidos 3 protótipos • C++ • OpenCV – Open SourceComputerVision • Java • JMF – Java Media Framework • VLCJ – VideoLanClient Java • Razões para a escolha: • Java – o facto de ser portável • JMF – a biblioteca VLCJ não permitia a implementação de algumas funcionalidades necessárias JAVA com JMF Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 10
Interface gráfica Ficheiros de texto GUI Sequências de Vídeo JAVA com JMF Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 11
Características (1) • Métodos Single Stimulus (SS) • Absolute Category Rating with Hidden Reference (ACR-HR) • Artifact Visibility Continuous Assessment (AVCA) • Métodos Double Stimulus (DS) • Double Stimulus Impairment Scale (DSIS) • Stimulus Comparison Adjectival Categorical Judgement (SCACJ) Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 12
Características (2) • Configuração de testes subjetivos • Famílias de vídeos • Ordem de visualização pseudo-aleatória • Draganddrop • Métodos de deteção de outliers • ITU Method • Correlation Analysis • Apresentação de resultados • Tabelas, gráficos, ficheiros CSV Pontuação atribuída pelo participante j à condição de teste i Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 13
Contribuições adicionais (1) • Artifact Visibility Continuous Assessment (AVCA) • Sequência de vídeo longa, contendo artefactos isolados introduzidos artificialmente • Pretende-se avaliar a perceção (ou não) desses artefactos por parte de um observador • O observador assinala os instantes em que perceciona um artefacto • Inexistência de escalas de avaliação Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 14
Contribuições adicionais (1) • Artifact Visibility Continuous Assessment (AVCA) • Cálculo de percentagens: • Verdadeiros positivos • Falsos positivos • Falsos negativos • Tempo de resposta do utilizador (1,5 seg) Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 15
Contribuições adicionais (2) • Correlation Analysis Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 16
Condições dos testes • Metodologia ACR-HR • 15 observadores • Testes de acuidade visual e despistede daltonismo • Procedimento de calibração dosobservadores • Sessão de 15min • Sequências de vídeo: • Resolução SDTV (720x480) • 10 segundos de duração • Codificadas em H.264 • PLR entre 0.1% e 8% -> 56 vídeos • Raw (YUV) / AVI. Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 19
Resultados Método de avaliação subjetiva ACR-HR, com deteção de outliers utilizando ITU Method Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 20
Síntese • Desenvolvida uma ferramenta para realizar avaliação subjetiva da qualidade de vídeo • GUI intuitiva e fácil de utilizar • 4 métodos de avaliação subjetiva • ACR-HR; DSIS; SCACJ; AVCA; • 2 métodos de deteção automática de outliers • Método ITU; Método da correlação • 3 modos de apresentação de resultados • Tabelas; Gráficos; Ficheiros CSV • Utilização experimental da ferramenta Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 22
Trabalho futuro • Disponibilizar os resultados obtidos à comunidade científica • Implementação de métodos para avaliação subjetiva de imagens fixas • Implementação de mais métodos de avaliação subjetiva de vídeo • Fazer os testes de acuidade visual e despiste de daltonismo a partir da própria ferramenta Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 23
Ferramenta para Avaliação Subjectiva da Qualidade de Vídeo Orientador: Prof. Tomás Brandão, ISCTE-IUL Co-Orientadora: Prof.ª Maria Paula Queluz, IST Mestrado em Engenharia de Telecomunicações e Informática Obrigado!
Anexos Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 25
Testes de avaliação subjetiva Exemplo da estrutura de uma sessão de teste Márcio Gonçalves – Ferramenta para Avaliação Subjetiva da Qualidade de Vídeo 26