Processamento de Imagens

1. Processamento de Imagens SCE 5830 Instituto de Ciências Matemáticas e de Computação USP

2. Tópicos • Definições vistas na aula passada • Fundamentos • Estudo de Cores • Formatos de arquivos • Etc.

3. Fundamentos de Visão Computacional e Processamento de Imagens • Computer Imaging: Manipulação de imagem por computador. • Aquisição e processamento de informação por computador. • Sentido primário: visão • “Uma imagem vale por mil palavras”

4. Domício Pinheiro Agência Estado

6. Manipulação de Imagens por computador Visão Computacional Processamento de Imagens Computer Imaging: duas áreas

7. Visão X Processamento “Em aplicações de visão computacional as imagens processadas (saídas) são usadas pelo computador. Em processamento de imagens, são para consumo humano.” “Historicamente, o processamento de imagens evoluiu a partir da Eng. Elétrica (proc. Sinais). Visão computacional foi resultado dos desenvolvimentos em Ciência da Computação.”

8. Visão Computacional (VC) • Aplicações não requerem pessoas no ciclo visual, ie, imagens são examinadas e manipuladas pelo computador. • O computador é quem usa a informação visual diretamente • reconhecimento e inspeção de objetos • Análise de imagens (Image Analysis). • Feature extraction • Pattern Recognition

9. Aplicações em VC • Tarefas “tediosas” para seres humanos • ambiente hostil • alta taxa de processamento • acesso e uso de grandes banco de dados • Encontrados em ambientes variados • controle de qualidade em sistemas de manufatura.

10. Aplicações em VC (cont.) • Ambiente médico • Detecção automática de tumores • sistemas de auxílio a neuro-cirurgias • Identificação de impressões digitais • Identificação de impressão DNA (DNA fingertips) • Outros • Monitoração de rodovias. • Sistemas de defesa (militares). • Visão Robô (vision-guided robot) • Croud control (controle de multidão) em metrô.

11. Metodologia de reconhecimento (deve considerar) • Condicionamento (conditioning) : pré-processamento • Rotulação (Labeling) : a informação é um conjunto de pixels conectados. Deteçao bordos, limiarização • Agrupamento (grouping): segmentação • Extração (extraction) : lista de propriedades • Matching (reconhecimento de padrão) Computer and Robot Vision. Haralick and Shapiro

12. Processamento de Imagens (PI) • Aplicações envolvem pessoas no ciclo visual, ie, as imagens são examinadas e manipuladas por pessoas. • Necessidade de conhecimento do modo de operação do sistema visual humano.

13. PI: principais tópicos Restauração (restoration) Realce (enhancement) Segmentação compressão (compression)

14. Restauração de Imagem • Processo de recuperação da aparência original de uma imagem que possui algum grau conhecido (ou estimado) de degradação. • É possível desenvolver um modelo da distorção se soubermos algo sobre a degradação • Modelo degradação: aplica processo inverso e obtém-se imagem restaurada

15. Restauração X Realce • Realce • Subjetivo • Processo heurístico • Alargamento de contraste, por exemplo, • Restauração • Objetivo • Conhecimento a priori do fenômeno de degradação • Remoção de borramento, ao aplicar uma função de redução de borramento (deblurring) é restauração.

16. Modelo de Degradação Restauração: dado g(x,y) + algum conhecimento sobre a função de degradação H + algum conhecimento sobre o ruído → estimar f. g(x,y) = h(x,y) * f(x,y) + n(x,y)

17. Restauração Muitas vezes “ignoramos” H e consideramos o processo de restauração como algo que lida com degradações em função do ruído apenas. Neste caso, como devemos proceder a restauração? Observe a equação do slide anterior? Será que basta subtrairmos o ruído, para obter f ??? Como encontrar H ? • Observação: imagem borrada.. analise uma pequena seção retangular dela (gs), identificando o que é fundo e o que é objeto. Para reduzir o ruído, aplique um processo que gere um resultado menos borrado possível (fs) (como?) → Hs = gs/fs . • Experimentação • Modelamento matemático

18. Realce de Imagem • “Melhorar” uma imagem visualmente, baseado na resposta do sistema visual humano. • Solução ótima depende do problema (problem specific techniques) • exemplo: • Expandir o contraste (contrast stretching)

19. Restauração X Realce • Ambos levam à “melhora” na imagem “Métodos de restauração procuram modelar a distorção e aplicar o processo reverso, enquanto os métodos de realce utilizam a resposta do sistema visual humano para “melhorar” a imagem visualmente.”

20. Exemplo de Realce de contraste Típica operação do tipo s = T(r), conhecida como contrast stretching.

21. Realce: eliminação de ruído

22. Compressão de Imagem • Redução da quantidade expressiva de dados necessária para representar uma imagem • Eliminação do que é visualmente desnecessário • Imagens apresentam redundância de dados. • Redução na ordem de 10 a 50 vezes. (wavelets -> 65 – 80 %)

23. Compressão de Imagens • Lossless compression mantém a integridade dos dados, utilizada para dados gerais e excetuáveis. • Lossy compression não mantém a integridade dos dados. As imagens são parecidas mas não idênticas.

24. Lossless compression • Compressão similar ao ZIP, ARJ, etc. • Tipo Run Length Encoding (RLE): .bmp Compressed data Expanded data 03 04 04 04 04 05 06 06 06 06 06 06 00 03 45 56 67 00 45 56 67 02 78 78 78 00 02 05 01 Move 5 right and 1 down 02 78 78 78 00 00 End of line 09 1E 1E 1E 1E 1E 1E 1E 1E 1E 1E 00 01 End of RLE bitmap

25. Lossless compression P P P P P P P A A A A V V P P P P P P P P P P P P P P A A V V V V V A A V V A A A A A A P P P P P P P Imagem 24 bits 7P 4A 2 V 4P 10P 2A 5V 2A 2V 6A 7P Operação reversível

26. Lossy Compression FFT DCT

27. Sistemas de Imagem por computador Monitor Câmera Impressora Scanner Filme Sistema de Computador Reprodutor Vídeo Gravador Vídeo

28. Digitalização • Sinal de vídeo analógico é transformado em sinal digital através da discretização do sinal contínuo à taxa fixa. • Esse processo é feito muito rapidamente. • Câmeras CCD • O resultado é um vetor bi-dimensional de dados, onde cada elemento é chamado pixel. • Isso nos leva a pensar no conceito de resolução.

29. Resolução de Imagem • Resolução de intensidade • Cada pixel tem uma “profundidade” em bits para cor ou intensidade • Resolução Espacial • Uma imagem tem altura x largura pixeis. • Resolução Temporal • Taxa de “refresh” (retraço) do monitor

30. Digitalização: discretização • Amostragem (sampling) • discretização espacial • Imagens: uma matriz de pontos. • Quantização (quantization) • discretização da amplititude • Imagens: qual a faixa de valores que um ponto é capaz de armazenar.

31. Quantization • Exemplo • valores de 8 bits para representar voltagens de 0-10 V. • 8 bits: 256 valores distintos • 10 V / 256 = 0.039 V ! • 0 V = 00000000 10V = 11111111 • Cada mudança de 0.039, indica um novo binário.

32. 8 bpp 4 bpp 2 bpp 1 bpp False Contour False Contour

33. Como reduzir efeito da quantização ? • Halftoning • Dithering Halftoning

35. Halftoning Colorido

36. Dithering Pixel > padrão: branco Pixel < padrão: preto original Imagem resultante (binária) Ruído uniforme

38. Amostragem (Sampling) Pixel !

39. Teorema de Nyquist De acordo com o Teorema de Nyquist, a quantidade de amostras por unidade de tempo de um sinal, chamada taxa ou frequência de amostragem, deve ser maior que o dobro da maior frequência contida no sinal a ser amostrado, para que possa ser reproduzido integralmente sem erro de aliasing.

40. Amostragem Suponha uma frequência de amostragem (fam) = 8kHz. A chave se fecha 8000 vezes por segundo (125 micro segundos). Como a chave se fecha por um tempo muito curto, temos pulsos muito estreitos, com Amplitude igual ao valor instantâneo do sinal (PAM – Pulsos Modulados em Amplitude)

41. Amostragem Frequencia de amostragem > duas vezes a freq. do sinal. Ok.. há amostragem suficiente para que o sinal seja reproduzido sem aliasing. Frequencia de amostragem IGUAL a duas vezes a freq. do sinal. Não é possível reproduzir o sinal, pois PAM = 0. Se houver mudança de fase, haverá sinal, mas com amplitude errada (a não ser que caia no pico da senoide !!) daí precisar ser MAIOR que o dobro ! Frequência de amostragem MENOR que duas vezes a freq. do sinal. Sinal reproduzido está errado, revelando o efeito de aliasing.

42. Problemas amostragem: Aliasing • Artefatos devido a sub-amostragem ou reconstrução ruim • Espacial • Temporal

43. Aliasing espacial Jagged edges: efeito escada

44. Aliasing Temporal Efeitos de: Flickering: Monitor filmado na TV ! Strobing (luz estroboscópica): roda do carro girando para trás na TV ou à noite ! t2 t1 strobing

45. Quantização e Amostragem • Resolução Espacial • Define riqueza de detalhes da imagem • Resolução de Profundidade • Define riqueza de meios-tons • Define cores • Tamanho da Imagem

46. Processo de Discretização 4x 16x

47. Processo de Discretização 256 tons de cinza

48. 640h x 480v em 256 cores

49. 320h x 240v em 256 cores

50. 160h x 120v em 256 cores