Interferenznetzwerke als Modell mentaler Präsentationen

1. Interferenznetzwerke als Modell mentaler Präsentationen Dr. Gerd Heinz Gesellschaft zur Förderung angewandter Informatik e.V 2. Sounddesignforum Berlin 3.+ 4.11.2010 GFaI Berlin-Adlershof http://www.sounddesignforum.de/ Sensor- und Motorhomunculus. Natural History Museum, London

2. Inhalt Grundlagen Synchrone Kausalität Zeitfunktion und Welle Interferenzintegral als Vereinigung von Hören und Sehen Selbstinterferenzintegral Projektion/Rekonstruktion Fremdinterferenzintegral Frequenzkarte Interaktion von Karten Mentale Modelle

3. Synchronous Causality* • To be in the same time (synchronous) • At the same place (locality) -> synchronous causality (syncausality) Examples • Chemical ingredients/reaction • Traffic accident (airplane-heli crash) • Informations and signals *causa (lat.) Ursache/reason

4. Synchrone Kausalität in der Signaltheorie Es existieren Wissensrichtungen, die identische Physik mit sehr unterschiedlichen Termini interpretieren: • Signal-processing: Filter theory (FIR, IIR) • Optical lense systems • Supersonic Arrays A, B, M – Methods • Beam forming (acoustics) • Global Positioning System (GPS) • RADAR, SONAR • Radio Telescopes • Superimposition of I² (images) - VLA • Superimposition of time functions – SKA • Artifical Neural Nets • Binäre Logik und Algebra • Integraltransformationen Existiert eine verallgemeinernde Signaltheorie? Ist diese geeignet, Nervennetze zu interpretieren? I²: Interference Integral

5. Jeffress rule interpreted by delays -> Interference network Hebbs rule interpreted by weights -> Artifical Neural Nets Mirrored maps Non-mirrored maps (We find mirrored maps everywhere in cortex) Weights contra Delays Network

6. Synkausalität bei Integral-Transformationen Integraltransformationen arbeiten auf max. zwei (Zeit-) Funktionen Was passiert, wenn wir n Zeitfunktionen nutzen? An average pyramidal-neuron (PN) has 7400 connections, cortex has 40.000.000.000 PN Quelle: Hz, Kap.07_funkt.sam

7. Assumptions about Time Functions • Information flow between any points has a non-infinite partial velocity or speed, it is always delayed delay = distance / partialvelocity t = r / v • Damping/attenuation along lines is mostly negligible • Geometrical wave length (wave peak to wave peak) geowavlen = pulspause * partialvelocity l = t v • Time series assumption with time parameter t and delay t f(t+t) f(t) f(t-t) +t +t delay delay t Verzögert um t verfrüht (negativ verzögert)

8. Man beachte Laufrichtung und Schweif! Zeitfunktion als Welle welle(vt-x) Analogie: welle(vt+x) welle(x-vt) welle(-x-vt) gauss(u) = exp(-(u)^2) welle(u) = gauss(u) - .3*gauss(u-2)

9. Waves on Nerves • Thumb Experiment (Griepentrog/Heinz 1992) • Waves can be inspected with NLG (EEG) • Wave front direction changes Result: Arrangement: Interpretation:

10. Wave Character of Time Functions in 2D/3D f(t) Form: f(vt - r) • If we run the time parameter t over a delaying field: • Time functions become waves"Waves on wires""Timefunction-waves" • Wave flow direction is orthogonal to wave front • All points on a wave have equal delay to the source point • Different waves can meet at certain locations (see movie) • Huygens wave-expansion principle is valid velocity vdelay t f(t-t) All points on circle have the same tto origin

11. Waves on a Nerve System • Interference Net Example • Exitement of chromatophor cells of squids (Tintenfische) • Details see www.gfai.de/~heinz/historic/biomodel/squids/squids.htm Wave deletion Wave front re-direction Packard, A.: Organization of cephalopod chromatophore systems: a neuromuscular image-generator. In: Abbott, N.J., Williamson, R., Maddock, L., Cephalopod Neurobiology, Oxford University Press, 1995, pp. 331-367

12. Interference Integral (I²) "to Hear is to See" "sound" // Scilab-fct-definition ('neuname','function') deff('y=gauss(u)','y=exp(-(u)^2)'); // mit negativem Schwanz deff('z=welle(w)','z=gauss(w)-.3*gauss(w-2)'); • Wave red f1 • Wave green f2 • Multiplication of wavesf2 * f1 • Interference integralI (f2 * f1) dx Download Scilab sources: www.gfai.de/~heinz/publications/animations "image" Scilab-Sources siehe http://www.gfai.de/~heinz/publications/animations/index.htm

13. Moving Interference Integral (I²) by Delay // Scilab-fct-definition ('neuname','function') deff('y=gauss(u)','y=exp(-(u)^2)'); // mit negativem Schwanz deff('z=welle(w)','z=gauss(w)-.3*gauss(w-2)'); • Wave red f1 • Delayed wave green f2 • Multiplication of wavesf2 * f1 • Interference integralI (f2 * f1) dx Download Scilab sources: www.gfai.de/~heinz/publications/animations

14. generator time functions image Example of a MovingI² in 2-dim. Space • one channel is delayed with dt

15. generator time functions image Example of a ZoomingI² in 2-dim. Space • Variation of background velocity v

16. Example Wave Field –> Interference Integral • Linear superimposition • Homogeneous velocity • No wave deletion • Reconstruction 30 channel simulation (G.Heinz/ S.Höfs 1995) Interference Integral (I²):

17. Gespiegelter Interferenzort Konishi, Mazakazu: Die Schallortung der Schleiereule. Spektrum der Wissenschaft, Juni 1993, S. 58 ff.; (Biologe, Caltech Pasadena) Jeffres L. A.: A place theory of sound localization. J. Comp. Physiol. Psychol. 41 [1948]: 35-39 Tyto alba interference projection (mirrored) right Schallraum _____ Nervennetz Ohr left drawing: d. doebler

18. Akustisches I² Wellenfeld -> • Rekonstruktruktion der Zeitfunktionen fi(t) für jedes Pixel i des Bildes (x*y) • Leitgeschwindigkeit 340 m/s • 32 Kanäle Interferenzintegral -> • Zeitliche Integration über die Zeitfunktion fi(t) jedes Pixels • Hohe Effektivwerte entstehen nur an Trefforten der Wellen (Gleichzeitigkeit), umgangssprachlich "Interferenzorten" Aufnahme 13.12.2000 gh

19. Abbildungsgleichung (Maske, Verzögerungsvektor) • Verzögerungsvektor (Maske) T codiert Ort bzw. Adresse • Sendemaske T, Empfangsmaske T* • Leitungsmaske L ist vernachlässigt T* T L Hier: Annahme A-A' = B-B' = C-C' = D-D' = 0 Sende- maske T Empfangs-maske T* t

20. Akustische Verzögerungszeitdifferenzen Pixel (xi,yi,zi) Vorlage ist virtuelles Bildfeld Mikrofonarray y Jeder Bildpunkt (Pixel) hat eine eigene Sendemaske T in Relation zu n Mikrofonen: x z Mikrofon Pixelkoordinaten werden über den Öffnungswinkel der Kamera und den Abstand des Bildfeldes berechnet

21. -ti4 -ti1 -ti3 -ti2 Interference Reconstruction negative delay compensation minus! +ti1 Time function of pixel i: pixel i Pixel i +ti2 +ti3 n channels + 1/n +ti4 plus! p(t) Integration e.g.: +ti1 +ti2 n: channel number k: channel index i: pixel index +ti3 +ti4 t0 t t0 t0 t0

22. f(t+T) t0 Emission am Mikrofon + Maske T des Pixels i + + 1/n Numerische Behandlung: Masken-Algorithmus • Interferenz-Rekonstruktion f(t+T) ~ Akustische Kamera • Man nehme die Maske -T jedes Pixels i und schiebe sie über die Zeitfunktionen der Kanäle • Es entsteht eine Zeitfunktion des Wellenfeldes (mit der Samplerate der Kanäle) • Integration: Effektivwertbildung über Rechenintervalle (z.B. 20 img/s ~ 50 ms) Recheninterval Bild: PSI-Tools Resultierende Zeitfunktion f(t+T) für Pixel i Origin: Heinz 1993

23. I² der Akustischen Kamera • Welterste Flugzeug-Schallbilder (2002) • Effektivwert, bewertet mit BP 500 Hz bis 5kHz, Sternarray, 30 Kanäle Man erkennt, daß auch große Laufzeiten (340 Meter ~ 1 Sekunde) perfekt kompensiert werden können, es kommt zu keiner Verschiebung zwischen Photo und Schallbild

24. Nomination of Acoustic Camera for German Future Award 2005 http://www.gfai.de/~heinz/publications/presse/index.htm http://www.deutscher-zukunftspreis.de

25. Interferenz-Projektion (natürliche Projektion, kausal) Secondary field Interference- projection Model t Primary field t t Delay Inversion Interferenz-Rekonstruktion (virtuell, nichtkausal) Model Die zwei Abbildungsmethoden "f(t -t)" Lens • Optical lens systems, eyes • Sonar, beam-forming • Projektion: vorwärtslaufende Zeit, doppelt gespiegeltes I² (Bild), Linse ~ Delay, Kompensation durch Linse,Total Delay t • Rekonstruktion: Zeitinversion, seitenrichtiges I² Bild, ungespiegelt, Kompensation mit Maske, Delay Null "f(t+t)" • Schmitz, Michel, Fink • Heinz: Interferenz-Rekonstruktion

26. -T*: real verzögernde Empfangsmaske - Siehe Zeitfunktionen Überbestimmtheit und Kanalzahl • Projektion • (Optik) • reale Delays • spiegelnd • überbestimmt • n = d+1 • "Beamforming" f(t-T*) +T: negierte Sendemaske • Rekonstruktion • (virtuell) • neg. Delays • nichtspiegelnd • 'Akustische Kamera' • n >> d f(t+T) Generatorfeld Source: G. Heinz, Bionet'96 n: Kanalzahl, d: räuml. Dimension

27. Mentale* Modelle Drawing from René Descartes' (1596-1650) in "meditations métaphysiques" explaining the function of the pineal gland (Zirbeldrüse) (Wikipedia) *mental: geistig

28. Nervenpulse • Neuronen können nur Spikes übertragen (unterschiedl. Wellenlänge; inhib./excit.) • Nach einem Spike sind sie 'müde' • Nach Refraktärzeit T können sie wieder feuern • Höhe des Eingangssignals beeinflußt T: Je höher die Erregung, desto schneller zeitlich sinkende Schwelle nicht erregbar

29. Neuronale Adresse Example • Circuit (a) contains delay mask M • Burst generation with low bias (b) • Code detection with high bias (c) • Elementary, neural basic function • Net circuit is a FIR (finite impulse response) filter • Data addressing possibility ->

30. Dermatom, Somatotopie • Selbstinterferenz-Abb. • Signale treffen sich an Orten identischer Verzögerung vom Quellort wieder • Spezifische Neuronen kommunizieren miteinander, als wären sie mit einem Draht verbunden • "Adressen" sind in Nervennetzen durch Delays kodiert "Delay codes location" Bild: Titelseite des BuchesHeinz, G.: 'Neuronale Interferenzen' (1993) (Nur erfolgreiche Crashs sind dargestellt) Source: Titelbild NI 1993

31. Überlagerung (Konjugation) • Generatorfelder GF • spiegelverkehrte Abbildung • homomorph, benachbarte Punkte im GF sind benachbart im DF • Detektorfeld DF ->

32. time function plot Homomorphy Generating fields (g+h) • self interference of waves (i, i, i) • source arrangement defines map • conjunctive, spatial maps • homomorph Detecting fields

33. Nachbarschaftshemmung • Wellen von einer Quelle kommend müssen gleichzeitig eintreffen • Selbstinterferenzbedingung (alle Pfade) t1 = t2 = … = tn • Geschwindigkeiten und Längen können verschieden sein, nicht aber Delays (!) • Benachbarte Neuronen können nicht miteinander

34. Fremdinterferenzintegrale • Siehe Youngs Doppelspalt-Experiment (1802) • funktioniert ohne Welle-Teilchendualismus • (Wer Dirac-Impulse mit Sinus (Fourier) interpoliert, erhält Materiewellen) Fremd-interferenz Selbst-interferenz

35. waves i with i with i … Fremdinterferenz-Abstand in 2D • Interferenz von Wellen mit Vorgängern und Nachfolgern der anderen Kanäle • Selbstähnlichkeit der Fremd-I² erscheint holographisch • Interpretation von Karl Lashleys Rattenexperimenten "In search of the engram" • Kartierung von Frequenzkarten 1/f ~ R, Zeitabständen R ~ vt etc. • Bei hoher Kanalzahl verwischen die Fremd-I² ineinander

36. i-1, i-2, i i, i, i Temporale Karten – Variation der Kanalzahl n • Eine Pulsfolge wird an n Stellen eingespeist • Fremdinterferenzabstand codiert Tempi, hohe Kanalzahl ist hinderlich Quelle: GFaI-JB 1994, S.70

37. t ~ 7,5 ms Zeitfunktionen t ~ 5 ms t ~ 4 ms t ~ 1,5 ms Fremdinterferenzüberlauf Spastik, Schmerz? • Schrittweise wird die Refraktärzeit t verringert • Interferenzintegrale "Bilder" werden entwickelt • von außen kommen scheinbar Störungen ins Bildfeld, je kürzer die Refraktärzeit wird • Dies sind Interferenzen mit anderen Eigenschaften • Dabei interferieren Vorgänger und Nachfolgerpulse miteinanderi-n, … i-1, i, i+1, i+2, … i+n • Selbstinterferenzbild wird mehr und mehr durch -> Fremdinterferenz überdeckt Integralbild Berechnungen und Details siehe http://www.gfai.de/~heinz/historic/pressinf/bilder_d.htm

38. Selbstinterferenz Fremdinterferenzen Selbst- und Fremdinterferenz Selbstinterferenz-Integrale • Somato-topische Mappen • Projektionen: Bilder, Filme • Quellortung (Eule, Delphin) • Optiken, Akustische Kamera • Ultraschall, GPS … • -> SEHEN Fremdinterferenz-Integrale • Raum-zeitliche Karten • Frequenzkartierung • Auditorische Karten • Code- und Verhaltenskarten • Holographische Speicherung • -> HÖREN untrennbar; beeinflussbar über Kanalzahl, Feuerrate und Wellenlänge

39. Sequenzdetektion/Generierung • Detektion: hohes Bias - Umkehrung der Sequenzgenerierung (schwarz: Inhibition, grau: Excitation) (NI93, Kap.08B, S.188) • Analogon: Digitale Filter (IIR, FIR) Zum Vergleich: (Diracsches) Faltungsintegral: s(t) * h(t) = g(t) s(t): Stoßfkt., h(t): Stoßantwort., g(t): Gewichtsfunktion

40. Heinz93 Source: Heinz, Neuronale Interferenzen 1993 Wave Model for Penfields Homunculus... • A hyperbola defines a fixed delay difference to two points F, F' • Different hyperbolas define different delay differences a/a', c/c' • Pulses meet at different locations, see drawing • (Self-I. location is defined by wave front direction)

41. observation Bi-directional: Singers Synchronization? • Using two fields and suggesting spiking and repetiting nerve cells, two fields interact mirrored (180° = vert.mirr./hor.mirr.) • Using micro-electrodes, Wolf Singer found 1986 a deep tone in cats cortex • It seems, he found an interferential wave projection • To "hold" a projection for some time (learn phase), we need this repetition!

42. Heinz 1993 Wave Model of Visual Cortex • Waves define the direction of self interference location • Supposed, nerve bundles have comparable delays • Self interference location appear, where wave direction and screen have identical orientation • Scale-normalization of images needs zooming and movement • Visual cortex as a normalized wave field screen?

43. Fremdinterferenz: Harmonische Reihen • Was bedeuten nun ganzzahlige Delays bei Welleninterferenzen? • Frequenzen invers zum Delay: f = 1/T • Es entsteht eine harmonische Folge1/1, 1/2, 1/3, … 1/n • gleiche Interferenzorte werden bei ganzzahligenVielfachen erreicht • Damit wirken harmonische Freq. "ähnlich" • Detektierbare Frequenzen sind aber auch: 2/3, 3/4, 5/6, 7/8, 7/3, 7/5 … • Interessant: alle Brüche von Primzahlen • Siehe Wikipedia: Harmonielehre, Kadenz, Quintenzirkel, Dreiklang, Tonika, Dur, Moll…

44. History of Interference Networks • Interference networks – pulses and floating delays • Lloyd A. Jeffress 1947 Place theory of sound localization • Karl Lashley 1930…50 In search of the engram • Shun Ichi Amari 1977 Cognition networks • Karl Pribram 197x Holomorphic memory, mass action • Mosche Abeles 198x Synfire chains • Wolf Singer 1986 Synchronization in cats cortex • Mark Konishi 1993 Schallortung der Schleiereule • Andrew Packard 1995 Waves on Squids • State machines – binaries and integer delays: f(t-1), f(t-2),…f(t-n) • Leibniz "Arithmétique Binaire" 1703 • Boole 1854, Augusta Ada 1858 • McCulloch/Pitts 1943 • Moore, Mealy, Medwedjew 195x • TTL 1961, Petri-Netze 1962 • Intel i4004 1975…

45. Vielen Dank für Ihre Aufmerksamkeit!Thanks to sponsors: This work was supported by the private Fam. Heinz-Foundation over 18 years with a total grant of approximately 50.000 € Dr. G. Heinz, GFaI Volmerstr.3 12489 Berlin Tel. +49 (30) 814563-490 www.gfai.de/~heinz heinz@gfai.de Details siehe Google: "Gerd Heinz", "Mathematik des Nervensystems"