Meriç ÇETİN Pamukkale Üniversitesi Bilgisayar Mühendisliği Bölümü

1. İLERİ BESLEMELİ YAPAY SİNİR AĞLARINDA BACKPROPAGATİON (GERİYE YAYILIM) ALGORİTMASININ SEZGİSEL YAKLAŞIMI Meriç ÇETİN Pamukkale Üniversitesi Bilgisayar Mühendisliği Bölümü

2. YAPAY SİNİR AĞLARI Yapay Sinir Ağları (YSA); • Genel olarak insan beyninin ya da merkezi sinir sisteminin çalışma prensiplerinin taklit eden bilgi işleme sistemleridir. Yapay Zeka; • İnsanın düşünme yapısını anlamak ve bunun benzerini ortaya çıkaracak bilgisayar işlemlerini geliştirmeye çalışmaktır. Öğrenme, gerekçeleme, problem çözme v.b. gibi insanoğlunun davranışlarını gösterebilen sistemlerle ilgilenen bir bilgisayar bilimidir. Amacı insanların davranışlarının ve sezgisel yeteneklerinin bilgisayar üzerindeki benzetimidir.

3. Öğrenebilirler, Tecrübe kazanabilirler, Bu tecrübeyi kullanarak yeni problemleri çözebilir, Eksik veri ile problemler çözebilirler, Belirli bir algoritma yerine sezgisel yöntemler kullanırlar, Yanlış yapabilirler… Elektronik Haberleşme,Telekomünikasyon Otomasyon ve Kontrol Robotik Uygulamaları Tıp, Görüntü Tanıma Arıza Analizi ve Tespiti Savunma Sanayi,Üretim Bankacılık ve Finans YSA Özellikleri YSA Uygulama Alanları

4. Çok Girişli S Nöronlu Hücre Modeli • Bir çok giriş için genellikle bir nöron yeterli olmayabilir. Paralel işlem yapan birden fazla nörona ihtiyaç duyulduğunda katman kavramı devreye girmektedir. S tane nöronun tek bir katmanı Şekil’de gösterilmiştir. Burada R girişin her biri bir nörona bağlıdır.

5. Çok Katmanlı Nöronlar Üç katmanlı bir ağın genel yapısı

6. Backpropagation (Geriye Yayılım) Algoritması • Backpropagation Algoritması:Bir giriş setine karşılık olarak özel bir fonksiyonel karakteristiği elde edebilmek için çıkışlar oluşturmak üzere ağırlıkların ayarlanması prensibine dayanan bir YSA algoritmasıdır. • Standart Backpropagation Algoritması: Katmanlar arasında tam bir bağlantının bulunduğu çok katmanlı, ileri beslemeli ve öğreticili olarak eğitilen bir YSA modelidir ve hataları geriye doğru çıkıştan girişe azaltmaya çalışmasından dolayı bu ismi almıştır. • Bir geri yayılım ağındaki öğrenme aşağıdaki basamaklardan oluşur: • Eğitim kümesinden bir sonraki örneği seçme ve ağ girişine giriş vektörü uygulama. • Ağın çıkışını hesaplama. • Ağın çıkışı ile istenen vektör (hedef vektör) arasındaki hatayı hesaplama. • Hatayı küçültecek şekilde ağın ağırlıklarını ayarlama.

7. Backpropagation Algoritması • Backpropagation Algoritması, YSA araştırmaları için önemli bir buluştur. Ancak birçok pratik uygulama için yetersiz kalmaktadır. • SBP Algoritmasının en büyük problemi, çok uzun eğitim süresine sahip olmasıdır. Pratik problemlerde temel SBP Algoritmasının kullanılması, YSA eğitiminin günlerce hatta haftalarca sürebilmesinden dolayı mümkün değildir. Bu sebeple algoritmada yakınsamayı hızlandırmak için bazı metotlar geliştirilmiştir. SBP Algoritmasının performansını iyileştirecek birkaç teknikten biri olan Sezgisel Yaklaşım Teknikleri momentum kullanılarak yapılır. Momentum katsayısı, YSA’nın daha hızlı toparlanmasına yardım eden bir faktördür.

8. SBP Algoritmasında öğrenme oranı küçük seçilirse öğrenme yavaşlayacak, büyük seçilirse ağırlık değişimleri salınımlı ve kararsız olacaktır. Bu sakıncalar, SBP Algoritmasında ağırlıklara uygulanacak düzeltme miktarını belirleyen denklemlere momentum terimi eklenerek azaltılabilir. Momentum katsayısı 0 < < 1 aralığında seçilir. Momentum katsayısı ağın daha hızlı toparlanmasına yardım eden bir faktördür. Amacı öğrenme esnasında ağın salınım yapmasını önlemektir. Momentumlu Backpropagation Algoritması • Dik İniş Backpropagation Algoritması Parametreleri • Momentumlu Backpropagation Algoritması Parametreleri

9. x1 x1 x2 x2 y y 0 0 0 0 0 0 0 0 1 1 1 0 1 1 0 0 1 0 1 1 1 1 0 1 Örnek Problemler AND Problemi XOR Problemi

10. x1 x2 x3 y -1 -1 -1 -1 -1 -1 1 1 -1 1 -1 1 -1 1 1 -1 1 -1 -1 1 1 -1 1 -1 1 1 -1 -1 1 1 1 1 Örnek Problemler Parity-3 Problemi

11. x1 x2 x3 x4 y -1 -1 -1 -1 -1 -1 -1 -1 1 1 -1 -1 1 -1 1 -1 -1 1 1 -1 -1 1 -1 -1 1 -1 1 -1 1 -1 -1 1 1 -1 -1 -1 1 1 1 1 1 -1 -1 -1 1 1 -1 -1 1 -1 1 -1 1 -1 -1 1 -1 1 1 1 1 1 -1 -1 -1 1 1 -1 1 1 1 1 1 -1 1 1 1 1 1 -1 Örnek Problemler Parity-4 Problemi

12. AND,XOR,Parity-3 ve Parity-4 Problemleri için simülasyon sonuçları

13. SONUÇ • Bu çalışmada, farklı karmaşıklık derecelerine sahip lojik problemler SBP Algoritması ve Momentumlu Backpropagation Algoritması tarafından çözülmüştür. • Simülasyon sonuçları göstermiştir ki yapay sinir ağlarının çözmeye çalıştığı problemin karmaşıklığı arttıkça, problemi çözen yapay sinir ağı yapısının karmaşıklığı da artmıştır. Burada ayrıca yapının karmaşıklığı kadar kullanılan öğrenme algoritmasının da büyük önem kazandığı söylenebilir. • Momentum ilavesi Standart Backpropagation Algoritmasına Ortalama Döngü Sayısı (ODS) açısından büyük çoğunlukla olumlu etkide bulunmuştur. Ancak problemin karmaşıklığı arttıkça Momentumlu Backpropagation Algoritması, SBP Algoritması gibi çözümde çok fazla etkili olamamıştır. • Sonuç olarak, momentum ilavesi Backpropagation Algoritmasına olumlu katkı sağlar ve bu tür basit problemlerin çözümünde önerilebilir.

14. TEŞEKKÜRLER…