Yüz Tanıma İçin İlinti Tabanlı Yama Yerelleştirme

1. Yüz Tanıma İçin İlinti Tabanlı Yama Yerelleştirme Berkay Topçu (TÜBİTAK-BİLGEM / Sabancı Üniversitesi) Hakan Erdoğan (Sabancı Üniversitesi)

2. İçerik • Giriş • Yama-Tabanlı Yüz Tanıma • Boyut düşürme ve normalizasyon • Sınıflandırma • Karar birleştirme • Yama Yerelleştirme • Ortalama yüz imgesi • Bütünsel yaklaşım • Bölgesel yaklaşım • Yerelleştirme • Deneyler ve Sonuçlar • Gelecek Çalışmalar

3. Giriş – Yüz tanıma • Güvenlik uygulamaları • İnsan-bilgisayar arayüzü • Işıklandırma durumu • Kısmi kapanmalar • Duruş (poz) değişimleri • Yaşlanma

4. Yama-Tabanlı Yüz Tanıma • Üst üste çakışan veya çakışmayan bölgeler (yamalar) • Yerel öznitelikler • Işıklandırma ve kısmi kapanmalara • gürbüz • Yama boyutu • Temsil ettiği bölge ile ilgili yeterli bilgi vermeli • Öznitelik çıkarımını karmaşıklaştırmamalı • Sınıflandırma • Farklı yamalardan çıkarılan öznitelikler • Öznitelik birleştirme • Karar birleştirme

5. Yama-Tabanlı Yüz Tanıma

6. Yama-Tabanlı Yüz Tanıma • Boyut düşürme – Öznitelik çıkarımı • Ayrık kosinüs dönüşümü (DCT) • Temek bileşenler analizi (PCA) • En yakın komşu ayırtaç analizi (NNDA) • En yakın komşu sınıflandırıcısı • Kosinüs (COS) uzaklık ölçütü • Karar birleştirme işlemi için sınıf sonsal olasılıklar: • Karar birleştirme • Ağırlıklı toplam kuralı

7. Yerelleştirme • Motivasyon: • aynı kişinin farklı yüz imgelerinden alınan aynı konumdaki yamaların imge içeriklerinin yakın olması • belirli bir yama konumunun, aynı kişinin farklı yüz imgelerinde aynı bölgeye karşılık gelmesi • Yöntem : • yama komşuluğunda sınırlı bir alanda, ilinti tabanlı arama • eğitim veri tabanı üzerinde hesaplanan ortalama yüz imgesine yakınlık • bütünsel ve bölgesel yerelleştirme

8. Bütünsel Yerelleştirme • Ortalama yüz imgesi, yüz imgelerinin bütünü kullanılarak hesaplanır: • : x ve y eksenlerindeki piksel bazında kayma miktarları • : i. ortalama yüz imgesi • : i. yüz imgesi ile ortalama yüz imgesi arasındaki ilinti

9. Bütünsel Yerelleştirme • Eğitim kümesindeki tüm imgeler üzerinden oluşturulan ortalama yüz imgesi • Eğitim ve test sırasında yamaların yerelleştirilmesi • ortalama yüz imgesi  ortalama yama imgeleri

10. Bölgesel Yerelleştirme • Yama bazında yerelleştirme • Her bir yama için ortalama yama imgesi • : b. yama için i. ortalama yama imgesi • : b. yama için i. ortalama yama imgesi ile i. imgenin b. yaması arasındaki ilinti

11. Yerelleştirme İşlemi • Her bir eğitim ve test imgesi yamalara ayrılırken • ortalama yama imgeleri ile en yüksek ilintiyi sağlayacak yama konumları hesaplanır. • : son ortalama yama imgesi

12. Deneyler • AR veri tabanı • 120 kişi – 2 ayrı oturum – 13+13 = 26 imge / kişi • 13 imge / kişi / oturum : • 1 standart • 3 yüz ifadesi farklı • 3 ışıklandırma farklı • 3 güneş gözlüklü • 3 atkılı • İlk oturum ilk 7 imge  eğitim • İkinci oturum ilk 7 imge  onaylama • İlk ve ikinci oturum 6 + 6 = 12 imge  test

13. Deneyler ve Sonuçlar Atkılı test imgeleri ile başarımlar Güneş gözlüklü test imgeleri ile başarımlar

14. Sonuç • Yama-tabanlı yüz tanıma sistemleri için yama yerelleştirme yöntemleri • Bütünsel yerelleştirme • Bölgesel yerelleştirme • İmge üzerinde gerçeklenen yerelleştirme • Öznitelik çıkarımından bağımsız • Özniteliklerin kullanımından bağımsız (öznitelik/karar birleştirme) • Gelecek çalışmalar • İlinti-tabanlı yaklaşım yerine farklı yerelleştirme yöntemleri : • Optimizasyon tabanlı yöntemler • Sabit yamalar yerine elle seçilmiş veya rastgele seçilmiş yamalar • Yüz doğrulama problemi için kişilere özel yama ağırlıklandırma