270 likes | 476 Views
Machine Vision and Image Processing Group (Student Group) Electronic Research Center of Iran University of Science and Technology http://mvip.iust.ac.ir. Specific Object Recognition using SIFT. Presentation by: Amir Azizi. گروه بینایی ماشین و پردازش تصویر. آبان 1389 November 2010.
E N D
Machine Vision and Image Processing Group (Student Group) Electronic Research Center of Iran University of Science and Technology http://mvip.iust.ac.ir Specific Object Recognition using SIFT Presentation by: Amir Azizi گروه بینایی ماشین و پردازش تصویر آبان 1389November 2010
Introduction Example for specific object recognition: Search photos on web for the particular places j. sivic amir.s.azizi@gmail.com
Introduction Why is it difficult? j. sivic amir.s.azizi@gmail.com
Challenges 1- Viewpoint amir.s.azizi@gmail.com
Challenges 2- Illumination amir.s.azizi@gmail.com
Challenges 3- Occlusion amir.s.azizi@gmail.com
Challenges 4- Scale amir.s.azizi@gmail.com
Challenges 5- Deformation amir.s.azizi@gmail.com
Challenges 6- Background Clutter amir.s.azizi@gmail.com
Local Features New Local Features (Interest points or key points): • Corners • Blobs Dataset • Some of applications: • Specific object recognition • Tracking • Image registration • Camera calibration • …. amir.s.azizi@gmail.com
Local Features Desired Properties of local features: • Repeatability • -The same feature can be found in several images despite geometric and photometric transformation • Distinctiveness • - Each feature has a distinctive description • Locality • - A feature occupies a relatively small area of the image; • robust to clutter and occlusion • Quantity • - Number of features • Efficiency • - Applications that need to speed amir.s.azizi@gmail.com
Local feature-based object recognition • نیرومندی نسبت به موارد زیر: • تغییر نقطه دید • تغییر روشنایی • تغییر شکل و کجی • تغییر اندازه • انسداد • شلوغی و درهم برهمی • سرعت نیز اهمیت دارد مراحل: amir.s.azizi@gmail.com
Local feature-based object recognition توصیف کننده ها آشکارسازها • Hessian-Laplace • Hessian-Affine • Shape Context • Geometric Blur • SIFT Descriptor • SURF Descriptor • Harris • Harris-Laplace • Harris-Affine • MSER • Salient Regions • SIFT Detector (DoG) • SURF Detector amir.s.azizi@gmail.com
SIFT SIFT: Scale Invariant Feature Transform 1999 and 2004 amir.s.azizi@gmail.com
Hessian Matrix In mathematics, the Hessian matrix (or simply the Hessian) is the square matrix of second-order partial derivatives of a function; that is, it describes the local curvature of a function of many variables. We want to find Blobs, so SIFT uses extrema of Hessian matrix trace: amir.s.azizi@gmail.com
1- SIFT Detector هدف: آشکارسازی مکان هایی که با تغییر اندازه تصویر ثابت بمانند. 1- Lindeberg 1994,1998 2- Koendernik 1984 SCALE-SPACE Scale = σ amir.s.azizi@gmail.com
1- SIFT Detector SCALE-SPACE DoG Mikolajczyk 2002: normalized Laplaciangives more robust features amir.s.azizi@gmail.com
1- SIFT Detector ساخت هرم: Down sampling amir.s.azizi@gmail.com
1- SIFT Detector آشکارسازی اکسترمم ها: amir.s.azizi@gmail.com
1- SIFT Detector تعیین محل دقیق نقطه کلیدی: amir.s.azizi@gmail.com
1- SIFT Detector حذف نقاط کلیدی ناپایدار: • نقاط دارای کنتراست پایین • نقاطی که بطور ضعیفی روی لبه ها قرار گرفته اند amir.s.azizi@gmail.com
2- SIFT Descriptor تخصیص جهت به نقاط کلیدی amir.s.azizi@gmail.com
Rotation Invariance: 2- SIFT Descriptor amir.s.azizi@gmail.com
2- SIFT Descriptor So we have a feature vector with 128 dimensions amir.s.azizi@gmail.com
3- Matching روش David Lowe برای انطباق * ساخت درخت k-d دارای k بعد * محاسبه تقریبی نزدیکترین همسایه اول و دوم به هر نقطه کلیدی در دیتا ست به کمک روش BBF * نسبت نردیکترین همسایه اول به نزدیکترین همسایه دوم محاسبه می شود * در انتها برای افزایش دقت شناسایی نسبت به تغییر شکل و استتار از تبدیل هاف نیز استفاده می شود. amir.s.azizi@gmail.com
با سپاس از توجه شما ؟ amir.s.azizi@gmail.com