1 / 46

Ichiro Tsuda, Research Institute for Electronic Science

On the Aspect of the Research Project “ The study on the neural dynamics for understanding communication in terms of complex hetero systems ”, supported by Grant-in-Aid for Scientific Research on Innovative Areas (2009-2013). “Announcement” by Leonardo da Vinci. Ichiro Tsuda,

nova
Download Presentation

Ichiro Tsuda, Research Institute for Electronic Science

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. On the Aspect of the Research Project “The study on the neural dynamics for understanding communication in terms of complex hetero systems”, supported by Grant-in-Aid for Scientific Research on Innovative Areas (2009-2013) “Announcement” by Leonardo da Vinci Ichiro Tsuda, Research Institute for Electronic Science Research Center for Integrative Mathematics, Hokkaido University 1

  2. A title of the project: The study on the neural dynamics for understanding communication in terms of complex hetero systems The purpose of this research project is to establish a new research area on the neural information science for communication by elucidating the neural mechanism of communication. Communication is a creative process in daily life The research is performed in collaboration with applied mathematicians in complex systems science and experimental researchers in neuroscience. The project includes the measurements of brain activity during communication with or without languages and analyses with a help of a theory in extended dynamical systems and of a probabilistic theory. The communication paradigm is extended to the interactions between human and human, human and animal, human and robot, human and materials, and even robot and robot. http://dynamic-brain.jp/en/index.html

  3. Background Studies Chaotic itinerancy principle I.Tsuda，Behavioral and Brain Sciences 24(2001)793-847; Behavioral and Brain Sciences 27(2004) 586-588. “Dynamical systems theory of successive association of memories, inference, and perception with chaotic itinerancy” ? or ? ・・・ C15H24, C7H14O2 Phyton chid,・・・・ Local EEG of olfactory bulb (W. J. Freeman) ◆ Experiment on olfactory perception (W.J. Freeman; L. Kay) ◆Similar internal dynamics of human perception of ambiguous figures (T. Murata; K. Kitajyo)

  4. Learning of inference Theory: I.Tsuda, M. Hatakeyama, M. Tsukada, and H. Saito Experiment: Pan, Sakagami, Sawa, Tsuda, and Tsukada Nature Neuroscience 11,703-712 (2008). Experimental verification on Monkey’s inference ability by successive association Predict Ａ→Ｃ from Ａ→Ｂ & Ｂ→Ｃ (東京新聞，H20.5.26) 4

  5. Cantor coding theory for episodic memory formation Theory: I. Tsuda, Y. Yakaguti, S. Kuroda； Experiment: Y. Fukushima, M. Tsukada, Y. Yamaguti, S. Kuroda, I. Tsuda Cogn. Neurodyn. (2007)1: 305-316. Prediction of the dynamic memory system of episodic time series was proved. Nonlinear dynamics theoryHierarchical processing of experience Memory system in the brain ・・・ experience Near past Far past 5

  6. A kind of “neural information science” is needed for the studies of communications Neural mechanism of interactions between hetero-individuals 6

  7. A. Mathematical Approaches Evolutionary dynamics, Dynamics by hetero-interactions genesis of meaning & rules Hybrid-harnessing systems symbol grounding, analog-digital matching Neural information sciences Genesis of meaning, symbols, and rules from dynamics: creation of new states, keeping old states ・・・・ Chaotic itinerancy Consistency (low dimension) Interference (high dim) New consistency (low dim) Behavioral model Cooperation and role sharing Model for intra-brain mechanism Cooperation and entrainment by means of mirror neuron systems 7

  8. EEG EEG ！ Entrainment Understanding of other’s behavior by means of mirror neuron systems Vocal/nonvocal communication B. Interactions of hetero-systems in the brain A model for intra-brain mechanism Cooperation and entrainment by means of mirror neuron systems 8

  9. C. Inter-brain interactions Dynamic generation of cooperation and role sharing 対象物・他者 物体との 相互作用 物体 物理法則 作用 モジュール群 intention 動き 機械との 相互作用 action ・・・ ・・・ ・・ decision ・・・ intention of others 観察 action ・・・ ・・ ・・ 他の行動主体 perception 環境の 知識 対象状態の認識 モジュール選択 自己 自己 機械的反射 行動主体との 相互作用 機械の 知識 物理法則 物理的運動予測 機械動作予測 自己 反射行動 選択 意図 観察 他者 モデル 他者意図 反射的運動計画 自己の行動計画 行動 環境の 知識 観察 観察 観察 行動 行動 自己意図と行動計画 観察 行動 行動 9

  10. Tsuda’s group Yutaka Yamaguchi: Hetero-interactions between systems. Yongtao Li: Learning in one system of memory patterns of the other system by means of nonequilibrium neural networks (IT 1987;1992). HiromichiTsukada: Associative memory in a realistic model. Satoru Tadokoro: Bayesian inference of chaotic itinerancy in successive retrieval of memories. Masahide Maeda: Hippocampal data analysis. Hiroshi Watanabe: Evolutionary dynamics; the origin of communication unit. Hunseok Kang: Copying and identifying process.

  11. Slow Dynamics Fast Dynamics 3. An order parameter emerges, thereby memory corresponding to s is recalled. 2. Sensori-motor system coupling 2. Prefrontal cortex; Cingulate cortex 2. 4’. 1. In memory traces 4. destabilization Limbic system (Hippocampus) Mediate Dynamics 1. Cantor coding 3. Quasi-attractors 4. Chaotic itinerancy 4’. Kapitza oscillator

  12. Toward the Neural Mechanisms of Successful Communication Paradoxical conditions • Inter-brains • Intra-brain regions B A Capability of exchanging and storing new (or novel) information Capability of maintaining old (or self) information short-term memories long-term memories

  13. The Discovery of Mirror Neurons in Macaque Monkey • What is a mirror neuron? A neuron that fires when an animal acts,and also fires when an animal observes the same action performed by others. • Mirror neurons have been observed in many animals including monkeyand birds. ・ Mirror systems for human Not only visual but also auditory cues Gross L, Evolution of Neonatal Imitation, PLoS, 2006

  14. Resonance between two brains (Visual Cues) Schippers et.al, PNAS, 2010

  15. Speaker–listener neural coupling underlies successful communication(Auditory Cues) Greg J. Stephens et al., PNAS, 2010

  16. When B performs a steady state, A learns using B. • When one memory of B has been performed by A, learning is stopped. • B learns from A with the same way mentioned above. • After one memory has been learned, the memory learning is stopped, but continue to learn other memories. Learning conditions A B Yongtao Li

  17. AB

  18. Top down – Bottom up communicationin the cortical network [1]-2 ⇒　藤井宏、塚田啓道 Top down information Layer Ⅱ/Ⅲ Top down：意味情報 Ⅰ Ⅱ Ⅲ LayerⅠ Ⅳ LayerⅡ/Ⅲ Ⅴ Gamma Oscillator Theta Oscillator Ⅵ Cortical Layer LayerⅣ Bottom up information Bottom up：感覚情報

  19. Neural network model θ γ Network model Top down information Bottom up information γ θ Pyramidal cell Inhibitory interneuron Equations of a single neuron Pinsky,P.F. & Rinzel,J.J.comput. Neurosci. 1, 39-60(1994)

  20. Similarity between evolutionary processes and learningprocesses: gene (genotype)synapse (synaptic states) phenotypeneural network states selection pressureselection of metric landscape neural manifold selection rules learning rules individual brain mutation synaptic & dendritic noise reproduction imitation, copy

  21. The evolution of mathematical functions How could a neuron be evolved?H. Watanabe, T. Ito, and I.T., 2009 Unidirectionally coupled map lattices (U-CML) are used. Selection pressure: maximum transmission of mutual information between input and each elementary individual map in the networks. Varieties of functions: constant functions, monotonous functions (incl. sigmoid functions), unimodal functions, and bimodal functions: a subset of polynomials.

  22. A neuron is excitable; some neurons become oscillatory. Figure from http://www.codeproject.com/KB/recipes/NeuralNetwork_1.aspx

  23. Example later earlier Stage of genetic algorithm

  24. Example later earlier Stage of genetic algorithm

  25. Example later earlier Stage of genetic algorithm

  26. 1. Identity map is generated when the coupling constant is strong Mutual information site iteration site iteration

  27. 2. Excitable map is generated when the coupling constant is intermediate Mutual information site iteration site iteration

  28. 3. Oscillatory map is generated when the coupling constatnt is weak Mutual information site iteration site iteration

  29. Chaotic inputs: • coupling constant • 1-1. large: a selected function goes to zero. • 1-2. intermediate: selected step functions, • by which pulse trains are propagated. • 1-3. small: selected step functions, • by which oscillatory behaviors are propagated. • + noise: step functions more selected. • 2. Periodic inputs: varieties of selected periodic functions • (synchronized with input), independent of • coupling constants.

  30. Summary (1) Communications in memory space are successful. (2) The descretized dynamical evolution shows some similarity to the natural selection, which implies that the copying-and-identifying possesses could be highly complex processes as transient motion, and a mirror neuron system may possess internal complexity of identifying processes. (3) A mathematical neuron (a threshold or a step function, or oscillatory) evolves under the restriction of maximal transmission of information, which implies that a unit of a system which can perform the decision-making has been constructed. cf) I. Tsuda, Number created by the interaction between consciousness and memory: A mathematical basis for preafference, Integrative Psychological and Behavioral Science42(2), 153-156(2008). Online publication: 25 May 2008; doi:10.1007/s12124-008-9062-y.

  31. A01:Dynamic brain mechanism and the roles of chaotic itinerancy (Ichiro Tsuda) 1 2 0 コミュニケーションにおける協調性の脳内メカニズムの基礎理論の構築をめざす コミュニケーション能力：相手の推論過程や感情を想像し共感する能力 with B01班, B04班 新皮質特に前頭前野 海馬 大脳辺縁系 論理条件、 階層 過去と現在の事象を 未来へ投影 with C02,C03, C04 班 トップダウン注意による 連続連想 マイネルト核 エピソード記憶 with B03班, C01班 連続連想による推論＆エピソード記憶 ⇒ 想像力 情報創成 古い表現を保ちながら 新しい表現を作る with B02班 カオス的遍歴 カントール集合 0→2→2→1→3→ 添付資料-6

  32. A02: The mathematical study of heterogenous patterns and its applications to life (Yasumasa Nishiura) 不安定状態ネットワークを介してのヘテロな動的システムの 相互作用ダイナミクスの数学原理 無限次元ダイナミクス 新たな骨格ダイナミック （ルール生成の数理的枠組） 縮約原理 偏微分方程式論，確率論，力学系 ヘテロ境界からの階層性の起源　　 抽象化･不変多様体の構成 位相的手法 ヘテロ動的パターンがもつ 内在的不安定性 競合と協調 　　　　外界との強い相互作用 無限次元ヘテロクリニック結合 不安定集合ネットワーク 分水嶺解ネットワーク 余次元３ダイナミクスによるＢ班, C班との共同作業 添付資料-7

  33. A03:Theory of learning, evolutionand genesis of meta-rule by means of multi-time scales dynamics (Kunihiko Kaneko) （1） 異なるレベルが整合した状態の形成(適応、記憶） 　　　新しい状況　整合性の破れ カオス的遍歴 可塑性 （2）進化・学習での力学系の形成構造変異への安定性 その破れ新システムの出現 (2) (1) 現象の謎 コミュニケーション神経情報学ダイナミクスの基盤 抽象化 意味付け 実験 理論 *モデル化：ヘテロ大自由度力学系(B, C02,C03) 時間尺度と有効自由度の変化（1) 評価関数による力学系の変化(2)  理論と実験をつなぐ(3) 理解の枠組み 実験方向の提示 (3) 添付資料-8

  34. B01:The understanding of cognition based on synchronization and desynchronization in the large scale networks in the brain (Yoko Yamaguchi) （１）文脈を利用した思考 海馬のエピソード記憶と皮質作業記憶の相互作用による意味情報の生成 課題中の経蓋磁気刺激により脳波リズム同期の生成崩壊を操作して回路ダイナミクスの因果性検証 （２）集団で生まれる協創的思考 サーバー／platform 　　データベース [モデル＆実験結果] 異なる領野の同期組み替えに基づく思考の視点転換 大域回路と神経回路モジュールを考慮したモデル計算で思考過程の脳活動予測 他の班員 (with A01,B02) (with A02, A03, C01, C02) 添付資料-9 「C03, C04の課題遂行中の脳活動の計測をB04と共同で行い、A03と理論で協働」を検討

  35. B02:Self-organization by the interactions between different types of inputs (Takeshi Aihara) 海馬 コミュニケーションにおける情動的情報の創成に関する脳内神経機構の解明のため、ボトムアップとトップダウンのヘテロな系の相互作用を 実験（相原・藤井）と理論（酒井）から明らかにする。 CA1 CA3 歯状回 Default network トップダウン 報酬・情動など（電気刺激） トップダウン 報酬・情動など (A01) ボトムアップ ボトムアップ 聴覚情報 場所に関する 空間情報 視覚情報 匂いなどに関する 非空間情報 (A01, B01) 海馬歯状回 　（細胞レベルの実験） 　　　　　聴覚皮質 　　（ネットワークレベルの実験） (C01, C02) 添付資料-10

  36. B03:The formation of prospective memory and its mechanism (Jiro Okuda) 記憶から意図へ～異なる時間・空間を繋ぐ脳認知情報処理メカニズム (A01, B02) 各種非侵襲脳計測手法を融合した 多次元的研究 過去の記憶 将来の計画 Default net (C04) 回想 予見 Memory-Prospection内側システム 空間 (log mm) (C03) 内側－外側機能系の相互連関 自発活動と誘発活動の協調・競合 (C04) 環境応答外側システム 時間 (log sec) (B01, B04) PET x fMRI x EEG x TMS  Time-Space Brain Connectivity コミュニケーション 添付資料-11 現在の活動

  37. B04:The principle of creativity of communication with entrainment in large-scale circuits of the brain (Hiroaki Mizuhara) ミラーニューロンシステムを起点とした神経振動子協調による 機能的ネットワークの動的形成 (A, B01) (1) 言語コミュニケーション γ (C04) 脳波 δ プロソディ表現の検出による 音声理解の促進 同時計測 θ (2) 非言語コミュニケーション 周波数階層カップリングによる 脳内回路のタイミング制御 (C02) (C01) ジェスチャの動作模倣に おける他者の行動予測 ミラーニューロンシステムによる 他者の動作予測 機能的MRI 添付資料-12

  38. C01:The mechanism of information acquisition via interactions with other individuals (Katsuki Nakamura) 対象物 三項関係 自己 他者 新たな情報の獲得と動作理解の関係 ヒト以外の霊長類にも重要 三項関係における動作の理解がコミュニケーションの発達に重要 ニホンザルのイモ洗い (C02) 動作模倣 の研究 (B01, B04, A01) オマキザルの道具使用 自閉性障害の子は 動作模倣が困難 チンパンジーのやしの種子割り 添付資料-13

  39. C02:The mechanism of self-organization of role-sharing and cooperation in social environments (Takashi Omori) 他者 自己 他者の モデル 環境の 知識 他者意図の推定 対象状態の認識 環境の 知識 他者の 働きかけ の観察 協調的行動計画 意図 観察 観察 行動 行動 観察 観察 働きかけ 働きかけ 対象物／他者／課題 • 作業仮説 • 脳は多数の機能モジュールの複合体であり，　　（機能部品組み合せ：FPCモデル）対象との相互作用に合わせてモジュール組合せを動的に探索する • 我々は自己についての知識を転用して他者の意図・目的を推定する • 自己と他者は相互に相手に合わせようと脳の処理過程をダイナミックに探索する (A02,B04, B01) 脳のダイナミクスを含む 社会場面の行動モデル構築 社会的行動のダイナミクスと 　　脳回路ダイナミクスの比較 結合されたモジュール群 intention module action モデル評価 　・人～人 　・人～ロボット 　・ロボット～ロボット (C03, C04) module Intention of others action perception ロボットとしての 実現と評価実験 RoboCup2008世界大会 @home部門優勝機体 機能モジュール選択 添付資料-14

  40. C03:The mechanism of genesis of meaning via the interactions between linguistic inferences and continuous dynamics (Takashi Hashimoto) 目的 コミュニケーション 表現・意味の ダイナミクス 動的・生成的なコミュニケーション を支える基盤メカニズムの数理的・システム論的理解 言語による新しい表現生成と， 身体環境相互作用による意味づけの連鎖 (B01, B03) 環境 意味づけループ 意味づけループ 認識 操作 脳身体（連続） システム 脳身体（連続） システム 神経回路網と文法推論のヘテロシステムを構築・解析 言語進化実験による意味生成プロセスの解析 言語（離散）システム 言語（離散）システム 言語的推論ループ コミュニケーション （記号表現の交換） 言語的推論ループ (A03) 組み合わせ的無限と連続的無限の 階層的ヘテロ複雑システム (A02, B04, C02) 添付資料-15

  41. C04:The mechanism of real-time motor commands by the interactions between neural modules and the environment (Yutaka Sakaguchi) 「間欠的制御」の定式化とその創成メカニズム ～ 運動の計算理論と非線形力学理論をつなぐ新たな運動制御研究～ • 間欠的制御の計算モデル構築と非線形力学に基づく検討 • 間欠的制御：時間分節化と前向き制御による実時間運動指令生成 • (2) 運動指令生成に関わる脳活動の計測と解析 • サル・ヒトの脳計測による間欠的制御の多面的な検証 • (3) 間欠的制御構造の自己創成モデルの構築 • 環境・身体・脳の相互作用が制御構造を生み出す機構の検討 (B02) (A01, B01. B03) (A03, B04, C02) 運動指令生成に関わる　脳活動の計測と解析 （分担者：宮下，成瀬） 間欠的制御とその自己創成メカニズム の計算モデルの構築 （代表者：阪口） 非線形力学理論に基づく 間欠的制御の検討 （分担者：石田） ・時間分節化と前向き制御の概念定式化　 ・計算モデルの構築と数値実験　　 ・時間分節化に相関する行動データ抽出 ・間欠的制御の合理性・必然性の検討 ・制御構造が創成するメタメカニズム ・サル脳活動の同時多点計測 ・運動生成に関わるヒトの脳 　活動の計測 ・運動系における脳波メカニ 　ズムの計算モデル構築 ・非線形力学理論に基づく　　 　間欠的制御構造の検討 ・運動生成に関わるサルの　 　神経活動の解析 ・行動実験による検証 添付資料-16

  42. The evolution by “copy-and-identify” process. copy external supply identification decay coupling strength could be minus as well as positive. Mirror neuronsin the brain (Giacomo Rizzolatti et al. 1996) We assume . H. Kang

  43. Embedded bifurcations H. Kang and I. Tsuda, Chaos 19, 033132(2009)1-12. Brusselator (vector fields) (1) Discrete Brusselator (direction fields) (2)

  44. can be viewed as a random logistic map. • We can also prove that • is the same order of discretization step . • (2) is a strictly monotone increase in the neighborhood of the bifurcations.

  45. Bifurcation diagram A single dynamical orbit

More Related