Εισαγωγή στην Υπολογιστική Νοημοσύνη

1. Χρίστος Ν. Σχίζας Εισαγωγή στηνΥπολογιστικήΝοημοσύνη

2. Τεχνητή Νοημοσύνη (ΤΝ) (Artificial Intelligence - AI) • Τι είναι η νοημοσύνη; • Είναι πολύ δύσκολο να προσδιοριστεί. • Δεν υπάρχει καθολική συμφωνία για το τι είναι. • Δεν χρειάζεται ακριβής ορισμός της, όπως δεν χρειάζεται να ορίσουμε πολλές άλλες έννοιες για να τις αντιληφθούμε και να τις χρησιμοποιήσουμε.

3. Τι είναι «Νοημοσύνη»; • Ο Terman εισηγείται ότι είναι “η ικανότητα για αφαιρετική σκέψη”. • Οι περισσότεροι όμως ψυχολόγοι συμφωνούν ότι είναι “η ικανότητα για αποτελεσματική προσαρμογή προς το περιβάλλον που γίνεται με αλλαγή στον οργανισμό, ή με αλλαγή ή και δημιουργία νέου περιβάλλοντος”. • Με την όρο αποτελεσματική προσαρμογή εννοείται συνήθως η αλλαγή που δημιουργεί πλεονέκτημα, όπως παρουσιάζεται κυρίως μέσα από αντίληψη, μάθηση, μνήμη, λογική, ... ___________________________________________________________________________________________ * Terman L. (1916). The uses of intelligence tests. Ιn “The measurement of intelligence”. Boston, Houghton Mifflin.

4. Ορισμός της Νοημοσύνης • Επομένως, η νοημοσύνη δεν καθορίζεται από ένα μόνο χαρακτηριστικό, αλλά από σύνολο,που όλα μαζί την προσδιορίζουν. • Ένας πιο πρακτικός ορισμός θα μπορούσε να είναι: • “Η γενική ικανότητα που εκφράζεται μέσα από τις διαδικασίες υπολογισμών, συλλογισμών, λογικής, διακρίβωσης, μάθησης, χρήσης γλώσσας, αντίληψης του περιβάλλοντος σε διαφορετικούς βαθμούς λεπτομέρειας, εξοικείωσης σε νέο περιβάλλον, αυτοδιόρθωσης, και επινόησης”.

5. Νοημοσύνη • Βέβαια με τους προηγούμενους ορισμούς, δημιουργούνται άλλα ερωτήματα όπως για παράδειγμα, τι εννοείται με τις λέξεις υπολογισμός, λογική, διακρίβωση, μάθηση κλπ. • Με βάση τα πιο πάνω, θα μπορούσαμε να πούμε ότι οι άνθρωποι είναι τα μόνα νοήμονα όντα στο πλανήτη γη. • Οι άλλοι ζωντανοί οργανισμοί έχουν μειωμένη νοημοσύνη στο βαθμό που ικανοποιούν μόνο μερικώς τα πιο πάνω χαρακτηριστικά.

6. Νοημοσύνη • Η νοημοσύνη, όπως προσδιορίστηκε, είναι μια γενική (συλλογική) χαρακτηριστική ιδιότητα του ατόμου. Αυτή θα μπορούσε να συγκεκριμενοποιηθεί σε επί μέρους είδη νοημοσύνης. • Ο Gardner* του Πανεπιστημίου Χάρβαρντ, στη θεωρία του για πολλαπλή νοημοσύνη εισηγείται επτά διαφορετικά είδη νοημοσύνης (γλωσσική, λογική-μαθηματική, σωματική-κιναισθητική, οπτική-χωρική, μουσική, διαπροσωπική, αυτογνωσιακή). _________________________________________________________________________________ * Gardner H. (1983). Frames of Mind: A Theory of Multiple Intelligences. New York. Basic Books, 1983.

7. Βιολογική και Τεχνητή Νοημοσύνη • Ένα από τα πιο διαδεδομένα μοντέλα που χρησιμοποιούνται για να εξηγήσουν τις ανώτερες πνευματικές λειτουργίες (συμπεριλαμβανομένης της νοημοσύνης), είναι αυτό που θα ονομάζαμε «σύστημα κατανεμημένης επεξεργασίας»(distributedrepresentationandprocessing) ή «συνδετική υπόθεση» (connectionism) [(Rumelhart and McClelland, 1986); (ChurchlandandSejnowski, 1992)]. • Στο μοντέλο αυτό οι έννοιες δεν «υπάρχουν» σε κάποιο συγκεκριμένο μέρος του εγκεφάλου, αλλά είναι κατανεμημένες σε πολλούς παράλληλους επεξεργαστές.

8. Βιολογική και Τεχνητή Νοημοσύνη • Πιστεύεται δηλαδή, ότι οι ανώτερες λειτουργίες θα μπορούσαν να μοντελοποιηθούν και μελετηθούν με υπολογιστικά-συναρτησιακά συστήματα(functional-computationalintelligentsystems), μέσα από κατανεμημένες διαδικασίες. • Οι ανώτερες πνευματικές λειτουργίες θεωρούνται ότι είναι αναδυόμενες ιδιότητες(emerging properties), που πηγάζουν από σύνολο απλών επεξεργασιών, μέσα από ένα συστηματικό και δυναμικό πλέγμα αλληλοεπιδράσεων. • Οι έννοιες είναι παράλληλα κατανεμημένες σε ομάδες επεξεργαστών, σε στοιβάδες ή στρώματα(ή επίπεδα). Έτσι δημιουργείται μια οικονομία στη μνήμη και στην επεξεργασία, γιατί κάποιο στοιχείο μπορεί να συμβάλλει σε πολλές διαφορετικές έννοιες.

9. Βιολογική και Τεχνητή Νοημοσύνη • Λόγω της παραλληλικότητας, η επεξεργασία γίνεται πολύ γρήγορα, και η σταθερότητα (ευρωστία)(robustness) του συστήματος είναι μεγάλη. • Αυτό το μοντέλο είναι πιο συμβατό με τη διαπίστωση ότι είναι αδύνατο να δώσουμε ακριβείς ορισμούς αντικειμένων και ιδεών, όχι μόνο γιατί είναι αδύνατο να προσδιορίσουμε τα όρια, αλλά και διότι είναι μια ατέρμονη διαδικασία όπου το κάθε τι θα πρέπει να οριστεί με βάση άλλους όρους που ορίσθηκαν προηγουμένως κ.ο.κ. • Φαίνεται ότι οι ασαφείς αντιλήψεις είναι σημαντικές στην ανάπτυξη της νόησης.

10. Βιολογική και Τεχνητή Νοημοσύνη • Ένα πιο εξελιγμένο συνδετικό μοντέλο, είναι η μοντελοποίηση της αντίληψης ως δυναμικό σύστημα. • Σ’ αυτό, οι διαδικασίες προσομοιάζονται σαν ένα σύστημα από δυναμικά αλληλοεξαρτώμενους επεξεργαστές, που αλληλοεπηρεάζονται σε συνεχή χρόνο. • Σε μαθηματική προσομοίωση, συνήθως χρησιμοποιούνται διαφορικές εξισώσεις για τη μελέτη του συστήματος. • Έτσι, οι εκδηλώσεις συμπεριφοράς (και νοημοσύνης) θεωρούνται ότι προσομοιάζονται από τη χρονική διαδρομή (ίχνος) του πολυ-παραμετρικού δυναμικού συστήματος.

11. Βιολογική και Τεχνητή Νοημοσύνη • Τα προηγούμενα μοντέλα είναι πολύ διαφορετικά από το λεγόμενο «συμβολιστικό μοντέλο αντίληψης» ή τη «συμβολιστική υπόθεση»(physicalsystemssymbolhypothesis)των Newell και Simon,όπου η γνώση και η νοημοσύνη θεωρούνται ότι μπορούν να αναδυθούν με τρόπους και διαδικασίες που μοιάζουν με αυτές που προτείνονται για την ανάπτυξη της γλώσσας (language). • Άλλοι σημαντικότατοι ερευνητές που υποστήριξαν/ζουν αυτή τη θεωρία είναι οι Chomski, Minsky, Fodor και Pylyshyn). • Αυτό το μοντέλο θεωρείται ότι είναι πιο κοντά στη κλασσική τεχνητή νοημοσύνη.

12. Βιολογική και Τεχνητή Νοημοσύνη • Σύμφωνα με αυτή τη θεωρία, χρησιμοποιώντας μερικές βασικές έννοιες και βασικές λογικές επεξεργασίες, μέσα από ακριβείς κανόνες και κατάλληλους συνδυασμούς, γίνεται η σύνθεση πολύπλοκων εννοιών και έτσι εκδηλώνεται αναδυόμενη νοημοσύνη.

13. ΤΕΧΝΗΤΗΝΟΗΜΟΣΥΝΗ (TN) Ασθενής προσέγγιση Ισχυρή προσέγγιση Πιστεύεται ότι η ανθρώπινη γνώση/νόηση μπορεί να εκδηλωθεί αυτόματα σε υπολογιστικά συστήματα. Πιστεύεται ότι η ανθρώπινη γνώση/νόηση ή ειδικές εκφάνσεις αυτής μπορεί να προσομοιαστούν σε υπολογιστικά συστήματα. Κλασσική υπολογιστική (symbolic AI) Όπως εκφράζεται μέσα από συμβολιστικές οντότητες, οι οποίες μπορούν να κωδικοποιηθούν σε απλά δυαδικά συστήματα (και όχι μόνον). Μερικοί σημαντικοί εκφραστές είναι οι Dennet, Newell και Simon, Chomski, Minsky, Fodor και Pylyshyn Συνδετική υπολογιστική (connectionism) Όπως εκφράζεται μέσα από μη-συμβολιστικές μεθόδους π.χ. τα ΤΝΔ. Οι γνωστικές εκδηλώσεις παρουσιάζονται σαν μια δυναμικά αναδυόμενη συμπεριφορά, κατανεμημένη σε στρώματα συνδεδεμένων κυττάρων, που εξελίσσεται και παρουσιάζεται σε συνάρτηση με τις άμεσες ή/και έμμεσες εμπειρίες του ατόμου. Μερικοί σημαντικοί εκφραστές είναι οι Smolensky και Hameroff.

14. Τεχνητή Νοημοσύνη -Υπολογιστική Νοημοσύνη Ο όρος Τεχνητή Νοημοσύνη είναι πιο γενικός υπό την έννοια ότι υποδηλεί κάθε είδος νοημοσύνης που δεν είναι βιολογική. • Ο όρος Υπολογιστική Νοημοσύνη υποδηλεί κάθε είδος νοημοσύνης που μπορεί να εκδηλωθεί με υπολογιστικές διαδικασίες.

15. O Marks (1994)* για την σχέση της υπολογιστικής και τεχνητής νοημοσύνηςανάφερε: “ Παρόλο που ψάχνουν παρόμοιους στόχους, η Υπολογιστική Νοημοσύνη αναδύθηκε ως ένας ανεξάρτητος κλάδος του οποίου το ερευνητικό πεδίο είναι κάπως διαφορετικό από αυτό της Τεχνητής νοημοσύνης.” *Marks R. 1993 Intelligence: computational versus artificial. IEEE Transactions on Neural Networks

16. Υπολογιστική Νοημοσύνη Computational Intelligence: Concepts to Implementations by Eberhart and Shi

17. Βασικά χαρακτηριστικά Υπολογιστικής Νοημοσύνης • Υπολογιστική Νοημοσύνη χαρακτηρίζεται κυρίως από ορισμένες σημαντικές ιδιότητες όπως: • Προσαρμοστικότητα (adaptation ) • Αυτό-διοργάνωση (self-organization ) • Μάθηση • -Εξέλιξη

18. Προσαρμοστικότητα - Μάθηση Προσαρμοστικότητα • 1:Η πράξη ή διαδικασία της προσαρμογής : Η κατάσταση στην οποία το σύστημα προσαρμόζεται. • 2: Προσαρμογή σε περιβαλλοντολογικές συνθήκες: • a: Προσαρμογή ενός αισθητήριου οργάνου στην ένταση ή ποιότητα του ερεθίσματος. • b:Τροποποίηση ενός οργανισμού ή μερών του για να επιβίωση στις συνθήκες του περιβάλλοντος που βρίσκεται. • Προσαρμογή :Να διαμορφωθεί ανάλογα με την περίπτωση ή την συγκεκριμένη κατάσταση συνήθως με τροποποίηση • Διαμόρφωση: Αναγκαία προσαρμογή ούτως ώστε ο οργανισμός να επιβιώσει.

19. Προσαρμοστικότητα - Μάθηση Μάθηση:Γνώση ή ικανότητα που αποκτάται μέσω διδασκαλίας ή μελέτης syn: Γνώση Μαθαίνω:Η απόκτηση γνώσης ή η κατανόηση μέσω διδασκαλίας, μελέτης ή εμπειρίας. syn:Ανακαλύπτω Μάθηση είναι αυτό που κάνει ένα ολοκληρωμένο νοήμον σύστημα.

20. Ορισμοί Προσαρμοστικότητας. Adaptation is any process whereby a structure is progressively modified to give better performance in its environment. Holland 1992 Η διαδικασία προσαρμογής είναι συνήθως διαδικασία βελτίωσης του συστήματος.

21. Μεθοδολογίες προσαρμοστικότητας συστημάτων. • Προσαρμογή με επίβλεψη (supervised adaptation) (εκπαίδευση, μάθηση) • Προσαρμογήχωρίς επίβλεψη (unsupervised adaptation) • Ενισχυμένη- εξαναγκασμένη προσαρμογή (reinforcement adaptation)

22. Ορισμός Προσαρμογής με επίβλεψη (supervised adaptation) « Η διαδικασία προσαρμογής ενός συστήματος ούτως ώστε να προκαλέσει συγκεκριμένη έξοδο ανάλογα με την αντίδραση που θα προκαλέσει συγκεκριμένη είσοδος στο σύστημα. Προσαρμογή με «επίβλεψη» σημαίνει ότι η αναμενόμενη έξοδος που αντιστοιχεί στην ανάλογη είσοδο του συστήματος είναι γνωστή και ο αλγόριθμος μάθησης χρησιμοποιεί το σφάλμα μεταξύ της αναμενόμενης και πραγματικής έξοδος ούτως ώστε να εκπαιδεύσει το σύστημα.» The process of adjusting (adapting) a system so it produces specified outputs in response to specified inputs." "Supervised” means that the output is known for all inputs and the system training algorithm uses the error to guide the training. (Reed and Marks 1999)

23. Supervised Adaptation

24. Supervised Adaptation • Ο «δάσκαλος» δίνει παραδείγματα εισόδου – εξόδου στο σύστημα • Η προσαρμογή γίνεται σε κάθε βήμα του επαναλαμβανόμενου κύκλου της εκπαίδευσης. • Η αξιολόγηση (Fitness) είναι συνήθως αντιστρόφως ανάλογη μιας συνάρτησης αθροίσματος του σφάλματος • Παράδειγμα: Ο αλγόριθμος Back-propagation που χρησιμοποιείται για εκπαίδευση στα τεχνικά νευρωνικά δίκτυα.

25. Ορισμός: Ενισχυμένη-εξαναγκασμένη προσαρμογή (reinforcement adaptation) Ένα σήμα ενίσχυσης, βαθμολογεί την απόδοση του συστήματος ως καλή ή κακή. Ένας κριτής δίνει πληροφορίες προσαρμογής του συστήματος. Παράδειγμα: Όταν παίζουμε παιχνίδια.

26. Reinforcement Adaptation

27. Reinforcement Adaptation • Πιο κοντά συνδέεται με βιολογικά συστήματα. • Έχει τις ρίζες του σε δυναμικό προγραμματισμό(dynamic programming) • Συνήθως περιμένει μέχρι μια σειρά από δεδομένα εισόδου συμπληρωθούν και έπειτα αξιολογεί την απόδοση του συστήματος. • Ο «κριτής» του συστήματος βλέπει μόνο την έξοδο του συστήματος και όχι το ξεχωριστό σφάλμα. • Παράδειγμα: Particle swarm optimization

28. Ορισμόςμη- επιβλεπόμενης προσαρμογής (Unsupervised Adaptation): • Το σύστημα προσαρμόζεται ανάλογα με οργάνωση των δεδομένων σύμφωνα με συγκεκριμένους κανόνες σχεδιασμού του συστήματος. Δεν υπάρχουν στόχοι. • (Reed and Marks 1999) • Δεν υπάρχει συνάρτησης αξιολόγησης του συστήματος παρά μόνο όταν ο αλγόριθμος ολοκληρωθεί. • Παραδείγματα: SOFM and LVQ networks (clustering)

29. Unsupervised Adaptation

30. Τα τρία πεδία της προσαρμογής: • Πεδίο παραμέτρων εισόδου του συστήματος. • ( Ορίζεται από δυναμικό εύρος παραμέτρων εισόδου) • Πεδίο παραμέτρων εξόδου του συστήματος • ( Ορίζεται από δυναμικό εύρος παραμέτρων εξόδου) • Πεδίο αξιολόγησης • (Ορίζει το πόσο καλή μια λύση είναι και συνήθως κλιμακώνεται από 0 έως 1) Γενικώς η έξοδος του συστήματος και οι τιμές αξιολόγησης δεν είναι οι ίδιες.

31. Αυτό-Οργάνωση (Self-Organization) • Ορισμοί: • Η ακατάπαυστη προσπάθεια της ύλης να οργανωθεί σε μια πιο πολύπλοκη δομή. • Ορισμός Αυτό-οργάνωσης από Bonabeau: • “A set of dynamical mechanisms whereby structures appear at the global level of a system from interactions among its lower-level components. The rules specifying the interactions among the system’s constituent units are executed on the basis of purely local information, without reference to the global pattern, which is an emergent property of the system rather than a property imposed on the system by an external ordering influence.” • Παράδειγμα:Formation of ice crystals, salt crystals. Cellular automata. The human brain.

32. Εξέλιξη σύμφωνα με την «νέο-Δαρβίνεια» θεωρία • Ένα κράμα μεταξύ τις θεωρίας του Δαρβίνου και Μέντελ • Η σύνθεση των χρωματοσωμάτωνεξαρτάται από τους γονείς (animals and humans) • Η μετάλλαξη επεκτείνει το «πεδίο της εξέλιξης» • Επιβιώνει ο πιο ικανός ή ο πιο επιδέξιος

33. «Αδυναμίες» τις Δαρβίνειας θεωρίας • Σύμφωνα με πιο πρόσφατες μελέτες * υπάρχουν δυο σημαντικές ελλείψεις στην νέο-Δαρβίνεια θεωρία. • Η δημιουργία ζωής από «τύχη» ή από μετάλλαξη είναι πολύ απίθανο στο χρονικό πλαίσιο της γης. • Η εξέλιξη πολύπλοκων μορφών ζωής. Η εξέλιξη πολύπλοκων μορφών ζωής μόνο από μετάλλαξη είναι και πάλι πολύ απίθανο. *Kauffman, S. A. 1993. The Origins if Order. New York : Oxford university press

34. Η Εξέλιξη μέσα από μια καινούργια«όψη». • Πολύπλοκες μορφές ζωής μπορούν να παρουσιαστούν σε μια σχετικά μικρή χρονική περίοδο σε σχέση με τη Δαρβίνεια εξέλιξη. • Αυτό οφείλεται κυρίως στην αυτό-οργάνωση η οποία σε συνδυασμό με την φυσική επιλογή πιθανώς να «δημιουργούν» την εξέλιξη. • evolution = natural selection + self organization

35. Η υπολογιστική νοημοσύνη ιστορικά… • Η πρώτη χρήση του όρου “ computational intelligence” ήταν από τον James Bezdek (1992) • Πρώτο IEEE World Congress on Computational Intelligence στο Ορλάντο 1994 • Πρώτο κείμενο υπολογιστικής νοημοσύνης 1996 • Δεύτερο IEEE World Congress on CI in Anchorage 1998 • …World Congresses in Hawaii (2002), Vancouver (2006)…Hong Kong (2008)

36. Η υπολογιστική νοημοσύνη ιστορικά… • “Computational Intelligence” χρησιμοποιήθηκε στον τίτλο ενός επιστημονικού περιοδικού στον Καναδά κοντά στις αρχές τις δεκαετίας 80’ αλλά με διαφορετική έννοια από αυτή που χρησιμοποιείται τώρα. • Η πρώτη δημοσίευση που χρησιμοποιήθηκε ο όρος ήταν από τον Bezdek 1992 στο επιστημονικό περιοδικό: Int. Jour. Approximate Reasoning. • -Αρχικά η χρήση της υπολογιστικής νοημοσύνης ήταν σε εφαρμογές αναγνώρισης εικόνας pattern recognition)

37. Ορισμός του Bezdek (1994) για την Υπολογιστική Νοημοσύνη (ΥΝ). A system is computationally intelligent when it: Deals only with numerical (low-level) data,has a pattern recognition component,does not use knowledge in the AI sense; and additionally, when it (begins to) exhibit (i) computational adaptivity; (ii) computational fault tolerance; (iii) speed approaching human-like turnaround, and (iv) error rates that approximate human performance.

38. Από Bezdek:

39. Από Bezdek:

40. Ορισμός ΥΝ από Pedrycz Computational intelligence (CI) is a recently emerging area of fundamental and applied research exploiting a number of advanced information processing technologies. The main components of CI encompass neural networks, fuzzy set technology and evolutionary computation. In this triumvirate, each of them plays an important, well-defined, and unique role. (Pedrycz 1998)

41. Γενικός ορισμός ΥΝ σύμφωνα με τους συγγραφείς του βιβλίου. Υπολογιστική Νοημοσύνη αποτελείται από ιδιότητες και θεωρίες προσαρμογής και αυτό-οργάνωσης, καθώς επίσης από αλγόριθμους και υλοποιήσεις διαφόρων δράσεων που παρουσιάζουν λογική συμπεριφορά μέσα σε πολύπλοκο και εναλλασσόμενο περιβάλλον.

42. Σχέση μεταξύ συστατικών υπολογιστικών «έξυπνων» συστημάτων

43. Χαρακτηριστικά ΥΝ. Μερικά χαρακτηριστικά ενός υπολογιστικού συστήματος τα οποία δεν φαίνονται στο διάγραμμα. * Πολυπλοκότητα – γενικώς αυξάνεται από αριστερά στα δεξιά * Στοχαστικότητα / Χάος – πιθανό να παρουσιάζεται σε κάθε στοιχείο του διαγράμματος

44. Παγκόσμιο μοντέλο.

45. Απλή μορφή ΥΝ.

46. Συμπέρασμα… Computational Intelligence provides success stories that are often hard to justify with formal mathematical models (which are but a subset of all computational models, some of which are based on mathematics, and some of which are not). - Jim Bezdek

47. Μέθοδοι Μελέτης τηςΥπολογιστικής Νοημοσύνης • Τεχνητά νευρωνικά δίκτυα (Artificial neural networks) • Εμπειρογνώμονα συστήματα (Expertsystems) • (Rule-based, Case-based) • Τεχνητή ζωή (Artificial life) • Γενετικοί αλγόριθμοι (Genetic algorithms) • Ασαφής λογική (Fuzzy logic)