1 / 69

KIBERNETIKA DANAS

Prof. Dr Srdjan S. Stanković. KIBERNETIKA DANAS. Elektrotehnički fakultet Univerzitet u Beogradu. Istorijski osvrt. * PLATON - upravljanje brodovima * AMPER - op šta teorija upravljanja društvom * NORBERT VINER - “Kibernetika ili upravljanje i komunikacije u

zariel
Download Presentation

KIBERNETIKA DANAS

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Prof. Dr Srdjan S. Stanković KIBERNETIKA DANAS Elektrotehnički fakultet Univerzitet u Beogradu

  2. Istorijski osvrt *PLATON- upravljanje brodovima *AMPER - opštateorija upravljanja društvom *NORBERT VINER - “Kibernetika ili upravljanje i komunikacije u mašinama i živim bićima”, 1948 “Kibernetika i društvo”, 1954

  3. Predmet kibernetike INFORMACIJE UPRAVLJANJE

  4. Kibernetski pristup Ranije su objekti spoljašnjeg sveta razamatrani prevashodno sa aspekta materijalno-energetskih osobina KIBERNETIKA stavlja akcenat na analizu iformaciono-regulatornih procesa, na način ponašanja, na funkcionisanje sistema Problem “konja” prerasta u problem “konja i jahača”, pri čemu jahač, odnosno informaciono-regulaciona strana, ima primarnu ulogu (Bernštajn) KIBERNETIKA stoga predstavlja novi pravac u nauci koji donosi principijelno novu metodologiju

  5. Objekat kibernetike TEORIJSKI: idealizovani funkcionalni sistem PRAKTIČNO: svi sistemi koji postoje u živoj prirodi, društvu i tehnici

  6. Klasifikacija kibernetskih nauka • TEORIJSKA KIBERNETIKA • Socijalna kibernetika • Biološka kibernetika • Tehnička kibernetika • Bionika • PRIMENJENA KIBERNETIKA • -Tehnička kibernetika • -Bionika

  7. Veza sa filozofskim kategorijama • SISTEM I NJEGOVI ELEMENTI: sistemsko – strukturni prilaz (teorija sistema) • Definicije sistema: • svaki objekt u prirodi • samo oni objekti koji predstavljaju celinu za sebe • samo oni objekti koji imaju osobinu svrsishodnosti • RELACIJE: diskretno – kontinualno, unutrašnje – spoljnje, deo –celina • CELINA: novi kvalitet • STRUKTURA I FUNKCIJA, FORMA I SUŠTINA • SUBJEKAT - OBJEKAT

  8. Princip povratne sprege Teorijsko konstrukcija kibernetike: UPRAVLJANJE, INFORMACIJA, POVRATNA SPREGA MEMORIJA KIBERNETSKOG SISTEMA DINAMIČKA SVOJSTVA MODELA MOGUĆNIST “PREDVIĐANJA” STOHASTIČKO OKRUŽENJE FUNKCIJA CILJA

  9. Cilj i struktura ponašanja • Svrsishodnost – ponašanje živih organizama • KIBERNETIKA – teorija svrsishodnosti • KIBERNETIKA – teleološka nauka • FILOGENEZA, ONTOGENEZA • “Život je usmeren ka ostvarenju cilja, a taj cilj je očuvanje samog života” (Pavlov) • Kibernetski sistem jeste hijerarhijski sistem, pri čemu se cilj formuliše na nivou veze sistem -okruženje • Akt usmeren ka cilju bio je i ostao predmet izučavanja filozofa i teoretičara u kibernetici

  10. INFORMACIJA * Prvi tip informacije: POČETNA, STRUKTURNA Drugi tip informacije: SLOBODNA , RELATIVNA, RADNA. * PRIMER: LJUDSKI MOZAK TEORIJA INFORMACIJA “Informacija je informacija, ni materija, ni energija” NORBERT VINER

  11. Parabola o pećini Senke (projekcije) na zidovima pećine nisu dovoljne da predstavljaju realnost u svim njenim aspektima Platon

  12. UPRAVLJANJE Linearni, nelinearni, deterministički, stohastički, adaptivni, robusni, kontinualni, diskretni, hibridni, složeni, hijerarhijski, optimalni, ... SISTEMI TEORIJA UPRAVLJANJA

  13. Samoorganizujući soft-hardver Odvajanje hardvera i softvera daje računarima snagu koju imaju u brzim izračunavanjima Međutim, to ih sprečava u postizanju UVIDA Primer: Softver za upravljanje fabrikom i softver za neku društvenu igru mogu biti identični, zato što predstave u simboličkom računanju nisu vezane za realni svet Egzekucija je bez razumevanja !!!

  14. Inteligencija ? Alati koje nude ili podržavaju računari simuliraju samo uske segmente inteligencije u određenim domenima PROBLEM!!! OPŠTA INTELIGENCIJA - svojstvena ljudima Progres u dupliciranju inteligencije na neorganskom supstratu je teško izvodljiv vez dubljeg uvida u odnos računanja i mišljenja

  15. Kakve su mašine potrebne ? Reeke i Edelman, 1988 Treba napustiti separaciju hardvera i softvera i praviti mašine koje rade bez programa i adaptiraju se okolini, kao što rade biološki organizmi. Softver treba da je uklopljen u hardver na nivou supstrata, koji treba da je, tako, samoorganizujući ! ! Današnji paralelni računari su daleko od ovog kvaliteta

  16. Integracija senzora, procesora i efektora Problem: Kako priroda premošćuje jaz između organizacije simbola (sintaksa) i stvarnog značenja (semantika)? Pattee, 1982 • Semantičko zatvaranje sintaktičko-semantičke petlje jeste na ćelijskom nivou. • Elementarne jedinice moraju da sadrže procesore i elementa za višedimenzionalno povezivanje. • Kombinovanje velikog broja elemenata treba da pruži novi kvalitet - CELINU (SEPARATIZAM prema KONEKCIONIZMU)

  17. Outline • Examples, neuroscience analogy • Perceptrons, MLPs: How they work • How the networks learn from examples • Backpropagation algorithm • Learning parameters • Overfitting

  18. Examples in MedicalPattern Recognition Diagnosis • Protein Structure Prediction • Diagnosis of Giant Cell Arteritis • Diagnosis of Myocardial Infarction • Interpretation of ECGs • Interpretation of PET scans, Chest X-rays Prognosis • Prognosis of Breast Cancer • Outcomes After Spinal Cord Injury

  19. Biological Analogy

  20. Input units Headache Cough rule D change weights to weights decrease the error what we got - what we wanted Pneumonia No disease Flu Meningitis error Output units Perceptrons

  21. Perceptrons Output of unit j : q - ( a + ) Output o = 1/ (1 + e j j ) j j units Input to unit j : a = w a S j ij i Input to unit i : a i measured value of variable i i Input units

  22. AND y = 0.5 q w w 1 2 x x 1 2 f(x w + x w ) = y output input 1 1 2 2 f(0w + 0w ) = 0 0 00 1 2 1, for a > q 01 0 f(0w + 1w ) = 0 f(a) = 1 2 10 0 f(1w + 0w ) = 0 0, for a £ q 1 2 1 1 1 f(1w + 1w ) = 1 q 1 2 some possible values for w and w 1 2 w w 2 1 0.35 0.20 0.40 0.20 0.30 0.25 0.20 0.40

  23. XOR y = 0.5 q w w 1 2 x x 1 2 f(x w + x w ) = y output input 1 1 2 2 f(0w + 0w ) = 0 0 00 1 2 1, for a > q 01 1 f(0w + 1w ) = 1 f(a) = 1 2 10 1 f(1w + 0w ) = 1 0, for a £ q 1 2 1 1 0 f(1w + 1w ) = 0 q 1 2 some possible values for w and w 1 2 w w 2 1

  24. = 0.5 = 0.5 q q w w 3 4 XOR y output input w5 0 00 01 1 z 10 1 w1 w2 1 1 0 x x 1 2 f(w1, w2, w3, w4, w5) a possible set of values for ws (w1, w2, w3, w4, w5) (0.3,0.3,1,1,-2) 1, for a > q f(a) = 0, for a £ q q

  25. = 0.5 for all units q XOR output input 0 00 w5 w6 01 1 10 1 1 1 0 w1 w2 w4 w3 f(w1, w2, w3, w4, w5 , w6) a possible set of values for ws (w1, w2, w3, w4, w5 , w6) (0.6,-0.6,-0.7,0.8,1,1) 1, for a > q f(a) = 0, for a £ q q

  26. Linear Separation

  27. Abdominal Pain Perforated Small Bowel Non-specific Duodenal Cholecystitis Obstruction Appendicitis Diverticulitis Ulcer Pain Pancreatitis 0 0 0 1 0 0 0 adjustable weights 1 1 20 37 10 1 Male Age WBC Pain T emp Pain Duration Intensity

  28. Multilayered Perceptrons

  29. Activation Functions... • Linear • Threshold or step function • Logistic, sigmoid, “squash” • Hyperbolic tangent

  30. S S S Neural Network Model Inputs Output .6 Age 34 .4 .2 0.6 .5 .1 Gender 2 .2 .3 .8 “Probability of beingAlive” .7 4 .2 Stage Dependent variable Prediction Independent variables Weights HiddenLayer Weights

  31. S “Combined logistic models” Inputs Output .6 Age 34 .5 0.6 .1 Gender 2 .8 “Probability of beingAlive” .7 4 Stage Dependent variable Prediction Independent variables Weights HiddenLayer Weights

  32. Hidden Units and Backpropagation backpropagation

  33. Minimizing the Error initial error Error surface negative derivative final error local minimum initial trained w w positive change

  34. Gradient descent Error Global minimum Local minimum

  35. Overfitting Model Real Distribution Overfitted

  36. Overfitting tss model Overfitted tss a = test set a (D min tss ) b = training set tss b Epochs Stopping criterion

  37. Overfitting in Neural Nets Overfitted model “Real” model Overfitted model CHD error holdout training 0 age cycles

  38. Logistic regression It models “just” one function Maximum likelihood Fast Optimizations Fisher Newton-Raphson Neural network It models several functions Backpropagation Iterative Slow Optimizations Quickprop Scaled conjugate g.d. Adaptive learning rate Parameter Estimation

  39. Insight into the model Explain importance of each variable Assess model fit to existing data Accurate predictions Make a good estimate of the “real” probability Assess model prediction in new data What do you want?Insight versus prediction

  40. Logistic Forward Backward Stepwise Arbitrary All combinations Relative risk Neural Network Weight elimination Automatic Relevance Determination “Relevance” Model SelectionFinding influential variables

  41. Small sets: Cross-validation • Several training and test set pairs are created so that the union of all test sets corresponds exactly to the original set • Results from the different models are pooled and overall performance is estimated • “Leave-n-out” • Jackknife

  42. ECG Interpretation

  43. Thyroid Diseases

  44. Time Series Y = X n+2 Output units (dependent variables) W eights Hidden units (estimated parameters) Input units (independent variables) X X n n+1

  45. Time Series

  46. Evaluation

  47. Evaluation: Area Under ROCs

  48. ROC Analysis: Variations Area under ROC ROC Slope and Intercept W ilcoxon statistic Confidence interval

More Related