Hopfield Ağı

1. Hopfield Ağı Yapay Sinir AğlarıESOGU Bilg. Müh. 4. SınıfEğitmen:İdris Dağ

2. Bugün göreceklerimiz neler? • Neden ‘Hopfield’ ve türevleri? • Hopfield Ağı • Ağın Yapısı Hebbian Kuralı • Ağırlıkların Belirlenmesi • Hopfield Ağı Türleri • Örnek Uygulama • Referanslar

3. Neden ‘Hopfield’ ve türevleri? • Hopfield öncesi, varolan tüm YSA’ların mutlaka bir ileriye beslenme ve çoğunda bunu takip eden geri beslemeli eğitim devreleri vardı. AMA ? • Ara hücrelerden çıkan değerler geriye dönüştürülerek tekrar girdi tabakasına ilave edilerek ileriye besleme yolu ile YSA’nın yeteneği arttırılamaz mı? • Aynı tabakanın hücreleri birbiri ile etkileşime giremezler mi?

4. Hopfield Ağı • Tek katmanlı ve geri dönüşümlü bir ağdır. • Proses elemanlarının tamamı hem girdi hem de çıktı elemanlarıdır. • Aynı-uyum sınıflandırmasında kullanılan ilk ağlardan biridir. • Hücreler açık (+1) ya da kapalı (-1) olarak ikili mantığa göre çalışır. • İşlemci fonksiyonu süreksiz formda eşik fonksiyonu, sürekli formda sigmoid ve tanjant hiperbolik fonksiyonu olarak düşünülmüştür. • Ağın bağlantı değerleri bir enerji fonksiyonu olarak saklanmaktadır. • Ağın öğrenmesi Hebb kuralına göre yapılır.

5. Hopfield Ağı’nın Yapısı Hopfield Ağı bir miktar desenin depolanması için tasarlanmıştır böylelikle gürültülü veya kısmi ipuçlarından desenleri düzeltebilir. Bunu her deseni temsil eden attractorlara sahip bir enerji yüzeyi oluşturarak yapar. Gürültülü ve kısmi ipuçları sistemin attractorlara yakın olan durumlarıdır. Bir Hopfield Ağı peryodunda, enerji yüzeyi gürültülü desenden en yakın attractora – en yakın depolanmış deseni temsil eden - doğru kayar. Görsel olarak en çekici gösterimlerden birisi bir grup resmin depolanabilmesidir. Sonra ağa ya resimlerden birinin bir parçası (kısmi ipucu) ya da gürültülü bir resim (gürültülü ipucu) verilebilir ve bir çok iterasyon yoluyla depoladığı resimlerden birini bulgulardan çıkarmayı başarır.

6. an1 ani a12 a1i ain a1n Hopfield Ağı’nın Yapısı 1 çi1 2 çi2 i çii n çin Aij i-inci noktadan j hücresine bağıntının ağırlığını gösterir.

7. Aynı hücrenin çıktısı Kesikli işlemci fonksiyonu Sürekli işlemci fonksiyonu Hopfield Ağı’nın Yapısı t zamanında ağın girdisi aij ağırlık değeriçij(t-1) proses elemanın bir önceki çıktısı O eşik değeridir.

8. Hopfield Ağı’nın Yapısı Hebbian öğrenme kuralı Hopfield Ağı Hebbian öğrenmeyi uygular. Bu şekilde bir öğrenme ilk defa Hebb (1949) tarafından ifade edilen sinaptik modülasyon yönteminin matematiksel birçıkarımıdır. Hebb‘in kuralına göre, eğer alıcı nöron ateşliyorken bir nöron başka bir nöronu uyarıyorsa, iki hücre arasındaki bağlantı ağırlıklandırılır.Matematiksel olarak: wij = ai aj Bu, bir ağırlıktaki değişim bağlandığı birimlerin aktivasyonları çarpımına eşittir. Böylelikle, eğer iki birim de açıksa (ai=1) veya her iki birim de kapalıysa (ai=-1) ağırlığın gücü artar, aksi halde azalır. Hebb kuralının matematiksel tanımı bir ağırlığın, eğer her iki birim de kapalıysa artmasına ve eğer birimlerin aktivasyonları 1 ve –1 ise azalmasını sağlar. Bu özellikler muhtemelen fiziksel olarak açıklanamaz ve değiştirilemez, bununla birlikte sisteme eğer Hebbian kuralı uygulanmışsa anlaşılamsı daha kolay olur. Eğer birimler dizisine bir deseni anında verip üstteki kuralı uygularsak, o desen ağın attractoru haline gelir, bu da Hopfield ağının ilgilendiği Hebbian öğrenmenin önemli bir özelliğidir. Sonuç olarak, eğer ağın aktivasyonunun deseni depolanmış bir desene yakınsa, o desene doğru gitmeye çalışacaktır. Ayrıca, attractora bir kere ulaştığında sürekli orda kalır –attractorlar sabittir.

9. Ağırlıkların Belirlenmesi ve Bilgilerin Çağrılması Hopfield ağında diğer bazı YSA’lardaki gibi ağırlıkların yenilenmesi (geri besleme) ve çıktıların elde edilmesi (ileri besleme) olmak üzere iki faz vardır. Ağırlıkların Belirlenmesi: Ağın eğitimi bir defada öğrenme kuralına göre aşağıdaki formül kullanılarak yapılmaktadır. M öğrenilecek örnek sayısıX ise bir öğreğin i. ve j. elemanlarının değerlerini gösterir. Ağın kullanılabilmesi için durağan hale gelmesi gerekir. Bu da şu şekilde sağlanır.

10. Ağırlıkların Belirlenmesi ve Bilgilerin Çağrılması • Hopfield ağında eğitimden sonra daha önce gösterilmemiş bir örnek gösterilir. Eksik veri içeren bir görüntü buna iyi bir örnektir. • Sonrasında ardışık yinelemeler sonunda ağın durağan hale gelmesi beklenir. • Bunu denetleyen bir enerji fonksiyonumuz vardır. Enerji fonksiyonu: • Ya azalır • Ya da sabit hale gelir.

11. Hopfield Ağı Türleri Günümüzde iki çeşit Hopfield Ağı vardır. • Kesikli (discrete) Hopfield Ağı:Çağrışımlı bellek (associative memory) olarak kullanılır. (Ör:Görüntü tanıma ve onarma) Herbiri n boyutlu K tane giriş deseni g1,g2 …gk olsun.t zaman sonra j-inci hücrenin çıkışınıda çkj(t) olsun.Bir j hücresinden diğer bir i hücresine olan bağlantı katsayısı (ağırlık değ.) aij olsunEğer Dki i-inci hücreye k –inci desen YSA’ya girdiği kabul edilirse t+1 anındaki hücre çıkışı : • Sürekli (continuous) Hopfield Ağı: Kombinetoryal optimizasyon problemlerinde kullanılır (Ör: Gezgin satıcı problemi)

12. Sürekli Hopfield Ağı Hücre çıkışları -1 ve +1 arasında olmak zorundadır. • Hücre işlemcisinin fonksiyonu sürekli fonksiyon olmalıdır. • Zamanda sürekli olduğundan giriş ve çıkışlar devamlı yenilenir. • Çok küçük zaman aralıklarında ∆t çıkışlarda ani değil,çok küçük değişimler oluşmaktadır. Bu yüzden çıkışlardaki değişim (türev) önemlidir. ( ∂ç(t) / ∂ t ) p = öğrenme yüzdesi F() = sürekli işlemci fonksiyonu

13. Uygulama Ağırlıklar (1,1,1,1)Hafızada bulunan desen (1,1,1,1) olsun. Buna (1,1,1,-1) bozuk desen sunulursa ne olur? Önce 2. hücreyi örnek olsun diye kontrol edelim.a21g1+a23g3+a24g4+D2 = 1 + 1 – 1 + 1 = 2sgn(2) = 1 (2. hücre durumunu korumuştur) D1 = 1*1 = 1 D2 = 1*1 = 1 D3 = 1*1 = 1 D4 = 1*-1 = -1 olur. Sonra bozuk olan 4. hücreyi kontrol edelim.a41g1+a42g2+a43g3+D4 = 1 + 1 + 1 - 1 = 2sgn(2) = 1 (4. hücre -1 den +1 e geçmiş ve düzelmiştir.)

14. Referanslar • Yapay Sinir Ağları İlkeleri - Zekai ŞEN • Yapay Sinir Ağları – Ercan ÖZTEMEL • http://www.comp.nus.edu.sg/~pris/AssociativeMemory/ • http://batitrakya.dostweb.com/yapaysiniraglari/hopfieldagi.htm • http://www.cbu.edu/~pong/ai/Welcome.html • http://www2.psy.uq.edu.au/~brainwav/Manual/Hopfield.html#Mechanism

15. Bizi dinlediğiniz için teşekkürler… 152120021010 Ahmet Selman Bozkır 152120021015 Alper Şahin 152120021007 Zafer Aydın