Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar

1. Eray Özkural, Bora Uçar, Cevdet Aykanat Bilkent Üniversitesi Bilgisayar Müh. Böl. Bağımsız Sık Kalem Kümesi Madenciliği: Ön Sonuçlar

2. Kuşbakışı Sunum Sık Kalem Kümesi Madenciliği Kalem Dağıtımı Noclique Algoritması Başarım Sonuçlar

3. Sık Kalem Kümesi Madenciliği Problemi Bir işlem veritabanında, destek eşiğinin üstünde sıklıkta geçen kalem kümelerinin keşfi Örnek işlem veritabanında 3 destek eşiği için sık kalem kümeleri: { {a,d}, {b,e}, {g,a}, {g,d}, {a,g,d}, {g,e} }

4. Arama Uzayı Arama problemi olarak görmemizi sağlar Downward Closure Lemma: sık kalem kümelerin altkümeleri de sıktır

5. Kalem Dağıtımı 2'li sık kalemkümelerinin çizgesi, Gf2 T Gf2 4 destek için Gf2 hesaplanması

6. Düğüm Ayracı ile Çizge Parçalama Bir kombinasyonların optimizasyonu problemi Çizgeyi en ufak düğüm kümesiyle hemen hemen eşit parçalara böl:

7. İki işlemci için kalem dağıtımı Çizge parçalamadan kalem dağıtımı çıkarıyoruz T1 T2 Set of frequent patterns :

8. Kalem Dağıtımı Özellikleri İşlemi iki bağımsız parçaya böler Veriyi seçici biçimde yineler Veri yinelemesini minimize eder Dağıtımı hesaplamak için sadece Gf2 gerekir

9. K-işlemci için Dağıtım İki-yollu dağıtımın özyinelemeli uygulaması I (A,B,S)‏ (A1,B1,S1)‏ (A2,B2,S2)‏

10. NoClique Algoritması Genel bir koşut algoritma k-yollu dağıtımın doğrudan uygulaması Adımları GF2 hesaplaması Çizge parçalaması ve kalemlerin dağıtılması Veritabanının yeniden dağıtılması Bağımsız madencilik

11. GF2 Hesabı Veritabanını koşut olarak tara ve F'i hesapla GF2 için veritabanını bir daha koşut olarak tara Bu safha Count-Distribution gibi çalışır Yerel işlemlerin kalemlerini say Sayıları değiş İşlemci i

12. Kalem kümesi dağıtımı K-yollu dağıtım için koşut özyinelemeli algoritma Bütün kalemler ve bütün işlemcilerle başlar Her adım o andaki işlemci grubu ile 2-yollu dağıtım yapar İşlemcileri ve kalemleri yük tahminine göre ikiye ayırır Özyineleme her grupta bir işlemci kalana kadar devam eder

13. Kalem Kümesi Dağıtımı İdeal bir çalışma 4 nodes I (A,B,S)‏ (A1,B1,S1)‏ (A2,B2,S2)‏ 2 nodes 2 nodes

14. Yük dengeleme Bir kısmın işlem yükünü nasıl tahmin ederiz? Tahmin fonksiyonlarıyla Veri miktarı 3'lü kalemkümelerinin yaklaşık sayısı Ardışık madenciliğin zamanını tahmin eden bir fonksiyon Hangisi daha iyi? Ucuz olmalı Kesin olmalı

15. Veritabanını YenidenDağıtma Her işlemci kendine atanan kalemleri alacak şekilde yeniden düzenle Yatay veritabanını bir kere tara (koşut)‏ Her işlemi böl Her işlemci için, kalem kümesiyle kesişimi hesapla Gönderme bufferına ekle Toplu bir iletişimle hedef işlemcilere gönder (AAPC)‏

16. Bağımsız Madencilik Her işlemci kendi kısmını bağımsız biçimde işler Herhangi bir ardışık madencilik algoritması kullanabiliriz Deneyler için birçok ardışık algoritma kullanıldı

17. Optimizasyonlar Yerel budama Dağıtık çizge veri yapısı Asenkron iletişim

18. Başarım 32 işlemcili Beowulf sistemi Skynet'de denendi Sentetik veritabanları için sonuçlar alındı KDCI için hızlanmalar:

19. Sonuçlar Madencilik işini yukarıdan-aşağıya bölmek için yeni bir kalem dağıtımı metodu bulduk K-yollu dağıtımı ve bağımsız madenciliği uygulayan bir koşut algoritma geliştirdik Deneylerde iyimser hızlanmalar elde ettiğimizi gösterdik