310 likes | 422 Views
PicSeeker System. 作者:資四 A 翁倩儀、陳姿君、潘迎欣 資四1陳怡之 教授:吳憲珠 老師. 報告人:潘迎欣 日期: 2008/05/07. 大綱. 簡介 方法綱要 Color Histogram 放射狀掃描共相關矩陣 (Radioactive Scanning Co-occurrence Matrix, RSCM) 邊緣樣式共相關矩陣 (Edge Motif Co-occurrence Matrix, EMCM) 實驗結果 系統實作 結論 論文發表 2007 全國電信研討會 (NST2007)
E N D
PicSeeker System 作者:資四A 翁倩儀、陳姿君、潘迎欣 資四1陳怡之 教授:吳憲珠 老師 報告人:潘迎欣 日期:2008/05/07
大綱 • 簡介 • 方法綱要 • Color Histogram • 放射狀掃描共相關矩陣(Radioactive Scanning Co-occurrence Matrix, RSCM) • 邊緣樣式共相關矩陣(Edge Motif Co-occurrence Matrix, EMCM) • 實驗結果 • 系統實作 • 結論 • 論文發表 • 2007全國電信研討會(NST2007) • 2007全國計算機會議(NCS2007)
欲查詢之影像 傳回相似影像 多媒體影像資料庫 簡介(1/2) 1.便利性-不需人工為影像註解 2.完整性-可記錄無法言語資訊 3.實務性-已應用於文物的典藏
簡介(2/2) • 影像特徵有以下種類 • 人工標示 • 顏色特徵 • 紋理特徵 • 空間關係特徵 • 形狀特徵
欲查詢之影像 多媒體影像資料庫 流程圖 顏色特徵值-顏色直方圖 紋理特徵值-RSCM、EMCM 傳回特徵值差異和,愈小愈相似
Color Histogram(1/2) Step 1:使用三色直方圖 • 個別累積像素值出現次數
Color Histogram(2/2) Step 2:直方圖正規化得顏色特徵值 • 求出各色在此影像的全域顏色特徵 Hk(x)指直方圖,k是R、G、B Height、Width各是影像的長寬 F(x,y)是正規化後的紋理特徵矩陣
流程圖 欲查詢之影像 多媒體影像資料庫 顏色特徵值-顏色直方圖 紋理特徵值-RSCM、EMCM 傳回特徵值差異和,愈小愈相似 8
RSCM(1/3) Step 1:遮罩掃描比大小得樣式值 176>156 1 176>177 0 176>209 0 176>155 1 176>206 0 176>156 1 176>177 0 176>204 0 10010100(2)=148
RSCM(2/3) Step 2:累積空間關係至樣式矩陣 • 以半放射狀方式掃描,累積到邊緣樣式共相關矩陣 1 1 1 1
RSCM(3/3) Step 3:矩陣正規化得紋理特徵值 • 求出各紋理在此影像中出現比例 • 可克服影像大小不同的查詢問題 T(x,y)指放射狀掃描共相關矩陣 Height、Width各是影像的長寬 F(x,y)是正規化後的紋理特徵矩陣
流程圖 欲查詢之影像 多媒體影像資料庫 顏色特徵值-顏色直方圖 紋理特徵值-RSCM、EMCM 傳回特徵值差異和,愈小愈相似 12
EMCM(1/5) Step 1:使用Sobel求出“梯度” • Sobel的四遮罩
EMCM(2/5) Step 1:使用Sobel求出“梯度” 此區塊只留下>200之梯度結果
EMCM(3/5) Step 2:遮罩掃描比大小得樣式值 304>264 1 264>260 1 260>278 0 278>304 0 1100(2)=12
EMCM(4/5) Step 3:累積空間關係至樣式矩陣 • 以半放射狀方式掃描,累積到邊緣樣式共相關矩陣 1 1 1 1
EMCM(5/5) Step 4:矩陣正規化得紋理特徵值 • 求出各紋理在此影像中出現比例 • 可克服影像大小不同的查詢問題 T(x,y)指樣式共相關矩陣 Height、Width各是影像的長寬 F(x,y)是正規化後的紋理特徵矩陣
流程圖 欲查詢之影像 多媒體影像資料庫 顏色特徵值-顏色直方圖 紋理特徵值-RSCM、EMCM 傳回特徵值差異和,愈小愈相似 18
相似度計算 TQ(x,y)指查詢圖的特徵矩陣 TD(x,y)指資料庫該圖的特徵矩陣 D(d)是查詢圖與資料庫該圖的差異總和
N Z U C Gamma Alpha 實驗結果 • RSCM、EMCM與Motif Co-occurrence Matrix (MCM)比較 • 以商標、灰階紋理、自然建築圖庫來查詢 • 依據Precision、Recall作為查詢水準 • MCM方法的六種樣式 N. Jhanwar, S. Chaudhuri, G. Seetharaman and B. Zavidovique (2004), “Content Based Image Retrieval Using Motif Co-occurrence Matrix,” Image Vision Computing, 22, 1211-1220.
查詢圖 MCM傳回前八張圖 EMCM傳回前八張圖 RSCM傳回前八張圖 以灰階紋理圖庫查詢(111種各16張)
以灰階紋理圖庫查詢(111種各16張) Precision =TP/(TP + FP) Recall =TP/(TP + FN) TP : 查詢到的相似影像 FN : 未查詢到的相似影像 FP : 查詢到的不相似影像 TN : 未查詢到的不相似影像
八類圖之原始圖 Contrast,對比 Distortion,扭曲 Luminance,亮度 Hue,色相 Noise,雜訊 Region,區域 Scale,影像大小 Rotation,旋轉 以商標圖庫查詢(八類各100張)
查詢圖 MCM傳回前八張圖 EMCM傳回前八張圖 RSCM傳回前八張圖 以自然建築物圖庫查詢(167張自然影像)
論文發表 潘迎欣、翁倩儀、陳姿君、 陳怡之、吳憲珠 (2007) “應用放射線紋理空間關係之影像查詢技術” 發表於2007全國電信研討會(NST2007) 潘迎欣、陳姿君、翁倩儀、吳憲珠 (2007) “植基於邊緣特徵空間關係之影像查詢技術” 發表於2007全國計算機會議(NCS2007) 30
Thank You ! Contact 潘迎欣 s13953010@ntit.edu.tw