Image Processing and Computer Vision

1. Image Processing and Computer Vision Image Formation and Image Restoration

2. Score (คะแนน) • Programming Assignment + Homework • Midterm 15% • Final 15% • Examination (สอบ) • Midterm 20% • Final 25% • Project • OCR 15% • เข้าเรียน + จิตพิสัย10%

3. Topics • Binary Image Processing • Edge Detection • Automatic Threshold • Hough Transform • Generalized Hough Transform • Texture segmentation • Gradient Descent Method • State space Gradient Descent

4. Topics • Gibbs sampler with simulated Annealing • Stereo Matching, Stereo vision • Optical Flow, Computing Optical Flow

5. ความแตกต่างของ Computer Graphic และ Image Processing • Image Processing input output • การหาขนาดของภาพ (Size) • การหาขอบของภาพ (Edge Detection) • การหารูปร่างของภาพ (Shape Detection) • การกำจัด Noise ของภาพ (Noise Removing) • Etc.

6. ความแตกต่างของ Computer Graphic และ Image Processing • Computer Graphic output input

7. Binary Image Processing • Image Filtering and Edge Detection • Image Restoration • Region, Image Segmentation, texture Segmentation • Blob coloring • Contour • Energy Minimization • Stereo Matching, Object Recognition

8. Example • Noise Removal or Image Restoration Restored image Gaussian Noise

9. Example • Noise Removal or Image Restoration Restored image Salt and Pepper Noise

10. Example • Edge Detection Original Image Robert’s Edge Detector Sobel Edge Detector

11. Example • Template Matching (Midterm Project) การอ่านตัวอักษร จากภาพที่ได้จากการสแกน และนำมาเปรียบเทียบกับต้นแบบที่มีอยู่แล้ว Thai OCR English OCR Kedkarn Chaiyakhun Computer Engineering

12. Example • Stereo Vision (Final Project) การหาความลึกของวัตถุในภาพ Right eye Left eye

13. Example • Stereo Vision Depth

14. Example • Stereo Vision Right eye Left eye

15. Example • Stereo Vision Depth

16. Low-Level Computer Vision • Edge Detection • Image Processing (Pre-processing) • Image Restoration • Noise Removal

17. Mid-Level Computer Vision • Segmentation (การแบ่งแยก) • Grouping • แยกวัตถุออกจาก Background • Separate Image In the zone (การแบ่งโซนของพื้นที่) • Finding Depth, Shape, Light, Material

18. High-Level Computer Vision • Pattern Recognition, Object Recognition • Obstacle Avoidance (การหลบหลีกสิ่งกีดขวาง) • Grasping (การจับสิ่งของ, การคว้าสิ่งของ ของ Robot) • Etc.

19. RGB (Red Green BLUE) and CMY (Cyan Magenta Yellow) เป็นการผสมสีสามสีระหว่างสี Red,Green,BlueRGB เป็นการแยกสีอย่าง ชัดเจน RGB CMY 19

20. Example RGB R-Component Original Image G-Component B-Component

21. Convert color to grayscale ( ) + + / 3 = • I = (R+G+B) / 3 หรือ • I= 0.299 * R + 0.587 * G + 0.114 * B ?

22. Image Formation (Gray Scale) • Intensity Image (ความเข้มของสี) • มีค่าตั้งแต่ 0…255 (ในระดับ Gray Scale) • 0 – Black • 100 – Gray • 255 - White

23. Pixel • Pixelเป็นหน่วยที่เล็กที่สุดของภาพที่แสดงบนหน้าจอคอมพิวเตอร์ - Neighbors of Pixelในแต่ละ pixel นั้นบางครั้งเราจำเป็นที่จะต้องทำการประมวลผลที่ pixel ปัจจุบันร่วมกับ pixel ข้างเคียง (Neighbors)

24. Pixel Coordinate(column x, row y) 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Pixel ที่ column =7, row = 4 มีค่าเป็นสีเหลือง หรือ x=7, y=4 Zoom 1600%

25. 4-neighbors of Pixel (x,y) is a red circle (x,y-1) is top one (x-1,y) is left one (x+1,y) is right one (x,y+1) is bottom one (x) (x+1) (x-1) (y-1) (y) (y+1)

26. Diagonal neighbor of Pixel (x,y) is a red circle (x-1,y-1) is top-left one (x+1,y-1) is top-right one (x-1,y+1) is bottom-left one (x+1,y+1) is bottom-right one (x) (x+1) (x-1) (y-1) (y) (y+1)

27. 8-neighbors of Pixel (x,y) is a red circle (x-1,y-1), (x,y-1),(x+1,y-1), (x-1,y), (x,y), (x+1,y), (x-1,y+1),(x,y+1), (x+1,y+1) (x) (x+1) (x-1) (y-1) (y) (y+1)

28. Noise in Sensor (camera, scanner) ความผิดเพี้ยนต่าง ๆ ที่ทำให้ภาพไม่มีคุณภาพ • การ Scan กระดาษสีขาวด้วยเครื่อง scanner ภาพที่ได้อาจจะไม่ได้ค่าเป็น 200 ทั้งหมดก็ได้

29. Gaussian Additive Noise

30. Salt and Pepper Noise Salt = Noise ที่ทำให้ภาพมี intensity สีขาวซึ่งทำให้แตกต่างจาก pixel ข้างเคียง Pepper =Noise ที่ทำให้ภาพมี intensity สีดำซึ่งทำให้แตกต่างจาก pixel ข้างเคียง

31. การกำจัด Noise • Gaussian Noise • Use Gaussian Filter หรือ Average Filter • Salt/Pepper Noise • Use Median Filter

32. Filter คืออะไร Filter คือการนำเอาหน้ากากขนาดเล็ก (mask) ไปแปะใน input image ที่ต้องการประมวลผล และหน้ากาก(mask) จะทำการเลื่อนไปยังทุก ๆ pixel ของ input image จากซ้ายไปขวา และจากบนลงล่าง จนกระทั่งถึง pixel สุดท้ายของ input image(ขนาดของ Filter นั้นนิยมใช้ 3X3 หรือ 2X2)

33. z1 z2 z3 z4 z5 z6 z7 z8 z9 The Convolution Process I2 I3 I4 I5 I6 I1 I7 I9 I10 I11 X I12 I13 I14 I15 I16 I17 I18 I21 I20 I22 I23 I24 I19 I25 I26 I27 I28 I29 I30 I31 I32 I33 I34 I35 I36 X= I1z1+I2z2+I3z3+I7z4+I8z5+I9z6+I13z7+I14z8+I15z9 ค่า Z ซึ่งเป็นค่าของ Filter หรือหน้ากากจะเปลี่ยนค่าไปตามชนิดต่าง ๆ ของ Filter

34. z1 z2 z3 z4 z5 z6 z7 z8 z9 The Convolution Process I1 I2 I3 I4 I5 I6 I7 I10 I11 I8 X I12 I13 I14 I15 I16 I17 I18 I21 I20 I22 I23 I24 I19 I25 I26 I27 I28 I29 I30 I31 I32 I33 I34 I35 I36 X= I2z1+I3z2+I4z3+I8z4+I9z5+I10z6+I14z7+I15z8+I16z9

35. z1 z2 z3 z4 z5 z6 z7 z8 z9 The Convolution Process I1 I2 I3 I4 I5 I6 I7 I11 I8 I12 I9 X I13 I14 I15 I16 I17 I18 I21 I20 I22 I23 I24 I19 I25 I26 I27 I28 I29 I30 I31 I32 I33 I34 I35 I36 X= I3z1+I4z2+I5z3+I9z4+I10z5+I11z6+I15z7+I16z8+I17z9

36. z1 z2 z3 z4 z5 z6 z7 z8 z9 The Convolution Process I1 I2 I3 I4 I5 I6 I7 X I12 X X X I13 X X X I18 X X X X X I24 I19 I25 X X X X I30 I31 I32 I33 I34 I35 I36 ค่าของ Xที่ได้คือค่าของ pixel intensity ค่าใหม่ที่จะได้มาจากการประมวลผลด้วย Filter หรือหน้ากาก Pixel ที่เป็นขอบของรูปภาพสามารถนำมาแสดงผลได้เลยเนื่องจากไม่ได้ผ่านการ process จาก filter ซึ่งการไม่ผ่าน Filter นั้นไม่มีผลใด ๆ ในการแสดงผลบนหน้าจอคอมพิวเตอร์เพราะ ความละเอียดขนาด 1 pixel เป็นส่วนที่เล็กน้อยมาก

37. Filter Example (การใช้ Filter ในการเบลอภาพ) Blurring (การเบลอภาพ) หรือ Average Filter

38. Mean Filter (Average Filter) Mean Filter ใช้สำหรับ เบลอภาพ หลักการง่าย ๆ ของ Mean Filter ก็คือ จับ pixel ที่อยู่ใกล้เคียงกันนำมาบวกกัน และ ทำการหารด้วยจำนวนช่องของ Filter นั้น

39. Median Filter • Median Filter ใช้จัดการกับ Salt/Pepper Noise

40. Median Filter • ไม่ใช้การ Convolution • ทำการเรียงลำดับค่าและเลือกค่าที่อยู่ตรงกลาง • ตัวอย่าง

41. Median Filter

42. Median Filter 3 * 3 Median Filter

43. Assignment 1 • ให้นักศึกษาเขียนโปรแกรมโดยใช้ภาษาอะไรก็ได้ เช่น C, C#, VB, Java อื่น ๆ (ยกเว้น Matlab) เพื่อทำการอ่านภาพ Gray Scale ซึ่งมี Salt & Pepper Noise และ Guassian Noise เข้ามา และทำการ กำจัด Noise โดยการใช้ Filter2 แบบ คือ 1. Median Filter ใช้สำหรับกำจัด Salt & Pepper Noise 2. Average Filter (mean filter) ใช้สำหรับกำจัด Guassian Noise CPE3 ปกติ กำหนดส่ง อังคารที่ 9 พฤศจิกายน 2553 ส่งพร้อมการรันผลลัพธ์และอธิบายโปรแกรม CPE3/4 ปกติ กำหนดส่ง ศุกร์ที่ 12 พฤศจิกายน 2553 ส่งพร้อมการรันผลลัพธ์และอธิบายโปรแกรม

44. www.rmuti.ac.th/user/kedkarn Email : kedkarnc@hotmail.com 0868129127