SIFT Scale Invariant Feature Transform

SIFT Scale Invariant Feature Transform

مقدمه • SIFT یک ابزار توصیف تصویر است • در سال 1999 و نسخه تکمیلی آن در 2004 معرفی شد. • نسبت به تغییراتی مثل دوران و تغییر مقیاس پایدار است • نسبت به تبدیلات affine، تغییرات نورپردازی، نویز و تغییر زاویه دید و انسداد تا حدی پایدار است • کاربردها: registration، شناسایی شی، شناسایی چهره، دنبال کردن شی و... • روش هایی مثل انطباق کلیشه احتیاج به بخشبندی دارند، اما SIFT این طور نیست

مراحل اصلی الگوریتم SFIT • تشخیص نقاط کلیدی تصویر • محاسبه اطلاعات توصیف کننده نقاط

تشخیص نقاط کلیدی تصویر • نقاط کلیدی به نقاطی از تصویر گفته می شود که در فضای مقیاس تصویر اکسترمم باشند. • فضای مقیاس تصویر شامل مجموعه ای از تصاویر است. تصاویر این مجموعه با استفاده از کانولوشن تصویر اصلی با فیلترهای گوسی با مقیاس های مختلف تولید می شوند.

ساخت فضای مقیاس • با convolve کردن یک تابع گوسی با تصویر، یک نمونه نرم شده از آن به دست می آید. با تغییر σ می توان میزان نرمی تصویر را تعیین کرد.

ساخت فضای مقیاس (ادامه) • فضای مقیاس شامل چند تصویر است که با چند بار اعمال فیلتر گوسی بدست آمده اند.

ساخت فضای مقیاس (ادامه) • سپس عمل resampling انجام شده و یک ”اکتاو“ جدید ساخته می شود. • در هر اکتاو، تفاضل گوسی ها (DoG) محاسبه می شود. σ Y D(X,Y, σ) X

ساخت فضای مقیاس (مثال) اکتاو 1 تصاویر گوسی اکتاو 2 اکتاو 3 اکتاو 4 اکتاو 1 تفاضلات گوسی اکتاو 2 اکتاو 3 اکتاو 4

یافتن نقاط کلیدی (keypoints) • اکسترمم های تابع D محاسبه می شود (هر نقطه با 8 همسایه و نقاط همسایه در صفحات مجاور محاسبه می شود، در مجموع 26 همسایه) • سپس نقاط نامناسب حذف می شوند. • تا اینجا به ازای هر نقطه کلیدی، یک مختصات و یک مقیاس داریم:(X,Y,σ) تفاضلات گوسی (DoG)

اختصاص جهت • بردار گرادیان در هر نقطه تصویر، جهت و اندازه بیشترین تغییرات را نشان می دهد و عمود بر لبه است. • برای ثابت بودن نسبت به دوران، یک دستگاه مختصات از روی گرادیان تعریف می شود.

اختصاص جهت (ادامه) • در یک پنجره اطراف هر نقطه کلیدی، یک هیستوگرام از گرادیان ها ساخته می شود. • جهتی که بیشترین فراوانی را دارد به عنوان جهت غالب انتخاب می شود. • تا اینجا برای هر نقطه کلیدی، یک مختصات، یک مقیاس و یک جهت داریم: (X,Y,σ,O)

استخراج ویژگی ها • به هر نقطه کلیدی یک بردار ویژگی شامل 128 مولفه اختصاص داده می شود. • پنجره اطراف نقطه کلیدی به 4*4 زیرپنجره تقسیم می شود. • در هر زیر پنجره یک هیستوگرام از گرادیان ها رسم می شود (هر هیستوگرام شامل 8 مقدار است). • تعداد ویژگی ها: 8*4*4 = 128

خروجی SIFT • فرض کنید n نقطه کلیدی داریم • n بردار به شکل (X,Y,σ,O) داریم • n بردار 128 تایی داریم (f1, …, f128) مختصات، مقیاس و جهت نقاط کلیدی

یافتن اشیا در تصویر به کمک SIFT • ویژگی ها از تصاویر مورد جستجو (موجود در پایگاه) داده استخراج می شوند. • ویژگی ها از تصویر صحنه هم استخراج می شوند. • ویژگی های تصاویر پایگاه داده در تصویر صحنه جستجو می شوند. • به علت زیاد بودن ویژگی ها، انسداد تا حدی قابل تحمل است.

کاربردها: شناسایی چهره

کاربردها: registration تصاویر چند طیفی تصویر مرئی تصویر مادون قرمز

سایر کاربردها • دنبال کردن حرکت • مدل سازی سه بعدی صحنه • ساخت پانوراما • بخشبندی تصویر • شناسایی مکان • Robot localization and mapping • و...

خلاصه • SIFT یک روش توصیف تصاویر است. • شامل استخراج نقاط کلیدی و سپس انتساب یک بردار ویژگی به هر نقطه کلیدی است. • ویژگی های استخراج شده نسبت به تغییراتی مثل دوران و تغییر مقیاس پایدار است. • نسبت به تبدیلات affine، تغییرات نورپردازی، نویز و تغییر زاویه دید و انسداد تا حدی پایدار است. • در یافتن اشیا، شناسایی چهره و... کاربرد دارد.

SIFT Scale Invariant Feature Transform