自動灰階影像上色系統

1. 自動灰階影像上色系統 指導老師: 楊傳凱 教授 口試委員: 楊傳凱 教授 項天瑞 教授 李育杰 教授 學生: 張佑瑋 口試時間:中華民國94年7月15日

2. 大綱 • 第一章 緒論 • 背景 • 研究動機 • 影像彩色化流程 • 第二章 文獻探討 • 灰階影像彩色化(grayscale image colorization) • 材質合成(texture synthesis) • 第三章 彩色化 • 流程簡介 • 方法簡介 • 第四章 實驗結果 • 實驗環境 • 實驗結果 • 第五章 結論

3. 第一章 緒論 • 背景 • 灰階影像彩色化科學上之實用性 • 醫學影像(MRI，CT，X-Ray)

4. 第一章 緒論 • 背景 • 灰階影像彩色化科學上之實用性 • 醫學影像(MRI，CT，X-Ray) • 衛星影像

5. 第一章 緒論 • 背景 • 灰階影像彩色化科學上之實用性 • 醫學影像(MRI，CT，X-Ray) • 衛星影像 • 電子顯微鏡影像

6. 第一章 緒論 • 背景 • 灰階影像彩色化科學上之實用性 • 醫學影像(MRI，CT，X-Ray) • 衛星影像 • 電子顯微鏡影像 • 灰階影像彩色化娛樂上之實用性 • 黑白圖片/電影之彩色化

7. 灰階影像彩色化之問題 • 如何將灰階影像彩色化?

8. 灰階影像彩色化之問題 • 如何將灰階影像彩色化?

9. 灰階影像彩色化之問題 • 如何將灰階影像彩色化? • Is his tie blue or green?

10. 灰階影像彩色化之問題 • 如何將灰階影像彩色化? • Red!!

11. 灰階影像彩色化之問題 • 如何將灰階影像彩色化? • 議題: • 沒有正確解答 • 需要有想像力 • 如何能減少人為介入?

12. 研究動機 • Welsh et al. 提出「將灰階影像著色(Transferring Color to Grayscale Image)」之論文 • 優點:簡便 • 缺點:秏時、沒有一般性

13. Welsh 方法 目標影像

14. ??? Welsh 方法 Target • 選擇彩色來源影像 來源影像 + ???

15. Welsh 方法 目標影像 • 選擇彩色來源影像 • 從來源影像中尋找最合適目標影像的像素 來源影像 +

16. Welsh 方法 Target • 選擇彩色來源影像 • 從來源影像中尋找最合適目標影像的像素 • 從像素的鄰域來考慮 Source +

17. Welsh 方法 Target • 選擇彩色來源影像 • 從來源影像中尋找最合適目標影像的像素 • 從像素的鄰域來考慮 • 轉換顏色 Source + =

18. Welsh 方法 Target Final • 選擇彩色來源影像 • 從來源影像中尋找最合適目標影像的像素 • 從像素的鄰域來考慮 • 轉換顏色 • 重覆每個像素 Source + =

19. 第二章 文獻探討 • 灰階影像彩色化 • 兩張影像間顏色轉換Color transfer between images • 將lαβ空間應用在影像處理上

20. 第二章 文獻探討 • 灰階影像彩色化 • 兩張影像間顏色轉換Color transfer between images • 將lαβ空間應用在影像處理上 • 兩張不同影像之風格轉換 將圖(b)的特徵成功的傳遞到(a)中，最後的成果見圖(c)

21. 第二章 文獻探討 • 灰階影像彩色化 • 兩張影像間顏色轉換Color transfer between images • 灰階影像上色Transferring Color to Grayscale Images 可以由一張來源的彩色圖和一張灰階圖，然後參考彩色圖並且將灰階圖「上色」成彩色

22. 第二章 文獻探討 • 灰階影像彩色化 • 兩張影像間顏色轉換Color transfer between images • 灰階影像上色Transferring Color to Grayscale Images • 最佳化上色Colorization using Optimization (a) (b) (c) 最左邊的影像(a)為黑白圖，上面的彩色線條是人為上色，中間的圖(b)是產生出來的結果，右邊的圖(c)是原圖

23. 第二章 文獻探討 • 灰階影像彩色化 • 兩張影像間顏色轉換Color transfer between images • 灰階影像上色Transferring Color to Grayscale Images • 最佳化上色Colorization using Optimization • 快速灰階影像彩色化 Fast Colorization of Gray Images • 影像分群 • 彩色化方法 • 1.利用5x5大小的鄰域，把25個像素值均列入考慮計算。 • 2.只考慮5x5微影像的平均(mean)和標準差(standard deviation) • 3.結合1&2的方法綜合考慮

24. 第二章 文獻探討 • 灰階影像彩色化 • 兩張影像間顏色轉換Color transfer between images • 灰階影像上色Transferring Color to Grayscale Images • 最佳化上色Colorization using Optimization • 快速灰階影像彩色化 Fast Colorization of Gray Images • 數位典藏灰階圖照之彩色化技術Color Transform for Digital Library Grey-value Images • 利用四分樹分割灰階和彩色影像 • 判斷紋理特徵 • 參考Welsh方法上色

25. 第二章 文獻探討 • 材質合成 • 利用樹狀結構來快速合成材質Fast Texture Synthesis using Tree-Structure Vector Quantization • 多層次金字塔結構(pyramid structure) • 樹狀結構的向量式量化(Tree Structure Vector Quantization)

26. 第二章 文獻探討 • 材質合成 • 利用樹狀結構來快速合成材質Fast Texture Synthesis using Tree-Structure Vector Quantization • 自然材質合成Synthesizing Natural Textures • 考慮鄰域像素的關聯性

27. 第二章 文獻探討 • 材質合成 • 利用樹狀結構來快速合成材質Fast Texture Synthesis using Tree-Structure Vector Quantization • 自然材質合成Synthesizing Natural Textures • 影像類比Image Analogies • 利用A和A’相對關係類比到B因而得到B’。 A A’ B B’

28. 第二章 文獻探討 • 材質合成 • 利用樹狀結構來快速合成材質Fast Texture Synthesis using Tree-Structure Vector Quantization • 自然材質合成Synthesizing Natural Textures • 影像類比Image Analogies • 利用A和A’相對關係類比到B因而得到B’。 • 灰階影像彩色化

29. 利用影像類比將灰階影像彩色化 A A’ B B’

30. 第三章 彩色化 • 影像彩色化流程

31. 灰階影像 G 彩色影像 C 顏色轉換 顏色轉換 正規化 影像金字塔 G1 分群演算法 分群演算法 最相似鄰域比對 最相似鄰域比對 灰階影像上色 灰階影像上色 彩色化灰階影像 G’ 彩色化灰階影像 G1’ 影像修正 一致化修正 彩色化灰階影像 G’

32. 第三章 彩色化 • L2 norm • 若我們選取的鄰域所成的集合為N時，L2 norm的表示為 其中誤差距離E就是我們的彩色鄰域Nc (以c為中心 的鄰域)和灰階鄰域Ng (以g為中心的鄰域)的 L2 norm值。C表示彩色的影像，G表示灰階影像，而 p表示在這鄰域內的像素。

33. 第三章 彩色化 • L2 norm 缺點 • E(N1,N2)=9 • E(N1,N3)=9 • N1,N2,N3三者應是同一物件材質? 5 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 6 4 4 4 6 6 6 4 6 4 鄰域N1 鄰域N2 鄰域N3

34. 第三章 彩色化 • L2 norm 缺點 • E(N1,N2)=9 • E(N1,N3)=9 • N1,N2,N3三者應是同一物件材質? • 解決方法 • 梯度法(gradient) 5 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 6 4 4 4 6 6 6 4 6 4 鄰域N1 鄰域N2 鄰域N3

35. 第三章 彩色化 • 梯度法(gradient) • 梯度的表示如下: N為所要測量的鄰域，q是當前的像素位置，p是q的鄰居，也就是位於q的上下左右四個位置的像素。 • 以下圖三個鄰域為例: • G(N1)=0，G(N2)=0, G(N3)=(6-6)+(6-4)+(6-6)+(6-6)=2 • N1和N2應該是同一物件的材質。 5 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 6 4 4 4 6 6 6 4 6 4 鄰域N1 鄰域N2 鄰域N3

36. 第三章 彩色化 • 鄰域愈大轉換準確度愈高，則計算成本增加，所需時間變多 • 如何在準確度和計算成本以及速度上同時達到最佳化?

37. 第三章 彩色化 • 鄰域愈大轉換準確度愈高，則計算成本增加，所需時間變多 • 如何在準確度和計算成本以及速度上同時達到最佳化? • 利用影像金字塔(pyramid)

38. 影像金字塔(pyramid) 來源影像 目標影像 ↓ ↓ 目標影像level 1 來源影像level 1

39. 彩色化流程 • 色彩空間轉換 RGB→lαβ

40. 彩色化流程 • 色彩空間轉換 RGB→lαβ • 調整彩色影像的明亮度 其中C(p)是指彩色影像中每個像素的明亮值，mC和σC表示彩色影像中明亮度的平均值和標準差，而mG和σG表示灰階影像中的明亮度的平均和標準差。

41. 調整彩色影像的明亮度 調整前之來源影像 Source-Before 目標影像 Target Source-After 調整後之來源影像

42. 彩色化流程 • 色彩空間轉換 RGB→lαβ • 調整彩色影像的明亮度 • 樹狀結構量化(TSVQ) • 加速影像上色速度

43. 彩色化流程 • 色彩空間轉換 RGB→lαβ • 調整彩色影像的明亮度 • 樹狀結構量化(TSVQ) • 原始影像(pyramid 0)微影像鄰域大小為9×9, 3×3，以微影像 l 的平均值、標準差、梯度分別建立9×9, 3×3兩量化樹 • 若有需要，建立粗略影像(pyramid 1)微影像鄰域大小為5×5, 3×3，以微影像 l 的平均值、標準差、梯度分別建立5×5, 3×3兩量化樹 • 分別從量化樹中尋找最適合的像素鄰域

44. 每一Depth中，左列為分群的情況，右列為編碼的示意圖，其中紅點為此群的代表點每一Depth中，左列為分群的情況，右列為編碼的示意圖，其中紅點為此群的代表點 樹狀結構量化(TSVQ)

45. 彩色化流程 • 色彩空間轉換 RGB→lαβ • 調整彩色影像的明亮度 • 樹狀結構量化(TSVQ) • 色彩空間轉換 lαβ → RGB

46. 彩色化流程 • 色彩空間轉換 RGB→lαβ • 調整彩色影像的明亮度 • 樹狀結構量化(TSVQ) • 色彩空間轉換 lαβ → RGB • 參照粗略影像(pyramid 1)修正原始影像(pyramid 0)

47. 參照粗略影像修正原始影像 ＋ = 彩色化目標影像level 1 彩色化之目標影像 levle0 level 1 修正 level 0 ＋ = 彩色化目標影像level 1 彩色化之目標影像 levle0 level 1 修正 level 0

48. 彩色化流程 • 色彩空間轉換 RGB→lαβ • 調整彩色影像的明亮度 • 樹狀結構量化(TSVQ) • 色彩空間轉換 lαβ → RGB • 參照粗略影像(pyramid 1)修正原始影像(pyramid 0) • 影像一致化 • 以3×3統計所有像素梯度

49. 影像一致化 • 每張影像梯度值分佈不一定相同

50. 影像一致化 • 每張影像梯度值分佈不一定相同 • 以等比例方法來一致化