230 likes | 385 Views
NİKOTİN BAĞIMLILIĞI İÇİN PEKİŞTİRMELİ ÖĞRENMEYE DAYALI BİR HESAPLAMALI MODEL. SELİN METİN & NESLİHAN S. ŞENGÖR. 9 Aralık 2010, Çapa Perşembe Toplantısı. HEDEFİMİZ. Ödül mekanizmasını anlamak. Karşıt süreçlerin ödül sistemindeki yerini kavramak.
E N D
NİKOTİN BAĞIMLILIĞI İÇİN PEKİŞTİRMELİ ÖĞRENMEYE DAYALI BİR HESAPLAMALI MODEL SELİN METİN & NESLİHAN S. ŞENGÖR 9 Aralık 2010, Çapa Perşembe Toplantısı
HEDEFİMİZ • Ödül mekanizmasını anlamak • Karşıt süreçlerin ödül sistemindeki yerini kavramak • Bağımlılığı açıklayan bir hesaplamalı model geliştirmek • Duygusal süreçler için genel bir sistem ortaya koymak • Göz ardı ettiklerimiz: • Kalıtsal, sosyolojik etkenler
BAĞIMLILIĞI AÇIKLAMADA KARŞIT SÜREÇLER • Eşleştirilmiş duygular • Bağımlılık oluşmasında nasıl bir etkisi var? • Karşıt süreçler açısından beyinde hangi bölgeler önemli? • Bağımlılık karşıt süreçlerde nasıl bir bozulmaya yol açar? Solomon, R.L., Corbit, J.D.: An Opponent-Process Theory of Motivation The American Economic Review, Vol. 68, No. 6., 12-24 (1978)
Aktör Hata Eylem ai Durum si Değer Fonk. Eleştirmen Ödül ri Çevre BAĞIMLILIKTA PEKİŞTİRMELİ ÖĞRENME • Ödüle dayalı öğrenme • Amaca yönelik davranışlar • Bu modelde karşıt sürecin yeri? Dayan, P.: Dopamine, Reinforcement Learning, and Addiction, Pharmacopsychiatry 42 (2009) S56-S65
ÖDÜL SİSTEMİ İÇİN BİR MODEL ITA: anterior inferotemporal korteks, RHIN: rhinal korteks, AMYG: amigdala, LH: lateral hipotalamus, MORB: medial OFC, ORB: lateral OFC, VS: ventral striatum, VP: ventral pallidum, SD: striosomal delay cells, PPTN: pedunculopontine nukleus, SNc/VTA: substantia nigra pars compacta/ventral tegmental area Dranias, M.R., Grossberg, S., Bullock, D., Dopaminergic and non-dopaminergic value systems in conditioning and outcome-specific revaluation, Brain Res. 2008 Oct 31;1238:239-87
ÖDÜL SİSTEMİ İÇİN BİR MODEL • Girişler • Fazik şartlı uyaran işareti • Fazik şartsız uyaran işareti • Güdü • Canlandırma (arousal) • Çıkışlar • Kan basıncına bağlı LH çıkışı • OFC’in ürettiği nesne değeri • Denklemler • Kısa dönemli etkiler • Orta dönemli etkiler • Uzun dönemli etkiler Dranias, M.R., Grossberg, S., Bullock, D., Dopaminergic and non-dopaminergic value systems in conditioning and outcome-specific revaluation, Brain Res. 2008 Oct 31;1238:239-87
NİKOTİN BAĞIMLILIĞI İÇİN BİR MODEL Gutkin, B.S., Dehaene, S., Changeux, J.P., “A Neurocomputational Hypothesis for Nicotine Addiction”, PNAS, vol.103, no.4, 1106-1111, Jan 24, 2006
NİKOTİN BAĞIMLILIĞI İÇİN BİR MODEL • Sorunlar: • Karşıt süreçler bu modelin neresinde? • n-s-c süreçlerinde zaman skalası • Nikotin bağımlılığında n-s-c yeri • Bağımlılık gelişince n-s-c nasıl değişir? • Bağımlılarda nAchR sayısı azalır mı? n s c Gutkin, B.S., Dehaene, S., Changeux, J.P., “A Neurocomputational Hypothesis for Nicotine Addiction”, PNAS, vol.103, no.4, 1106-1111, Jan 24, 2006
Eylem Seçici Devre Wr UDA ri Eylem Değerlendirme Değer Atama Pekiştirmeli Öğrenme NİKOTİN BAĞIMLILIĞI İÇİN YENİ BİR MODEL
δ hata işareti ve sigara içme seçimleri SİSTEM DAVRANIŞI - BAĞIMLILIK
δ hata işareti ve sigara içmeme seçimleri SİSTEM DAVRANIŞI – BAĞIMLILIK GELİŞTİRMEYEN
İki davranış da öğrenilmediğinde δ hata işareti SİSTEM DAVRANIŞI - KARARSIZLIK
W PARAMETRELERİNİN DEĞERLERİ Bağımlılık halinde:
W PARAMETRELERİNİN DEĞERLERİ Bağımlılık geliştirmeyen durumda:
W PARAMETRELERİNİN DEĞERLERİ Kararsızlık durumunda:
Eksikler, öneriler: • Etkin nörotransmiter yalnızca DA • Çıkış karar yerine fizyolojik değerler olsa … • Siyah bağlantılar aslında hangi nörotransmiterler? • Amigdala ve hipokampus birlikte ele alınsa, hatta LH da eklense … • Sonuçları neyle karşılaştırabiliriz?
Eylem Seçici UDA ri Değer Atama Eylem Değer. SONUÇLAR …. • Neler yapıldı? • Geçmiş çalışmalardan ayrıldığı noktalar … • Sonraki adımlar …