대진고등학교 2 학년 오현석 김민영 윤석권

1. 소형화된 인공두뇌의 제작과 생물학적 이용에 관한 탐구 대진고등학교 2학년 오현석 김민영 윤석권

2. 인공두뇌란 무엇인가? • 동물이나 인간의 두뇌와 유사한 인지능력을 가진 소프트웨어나 하드웨어를 개발하는 것 • 인공지능의 한 분야인 인공신경망(neural network) 기법을 이용해 소프트웨어와 하드웨어로서 인간 두뇌의 신경조직과 뉴런에서 이루어지는 학습과 정보처리 과정을 흉내 내는 것. 즉 신경망 모델의 제작 ---- 우리 연구의 목적

3. 신경망 모델이란 무엇인가? 신경망의 기본 소자는 뉴런이다. 뉴런은 입력된 외부 자극을 합하여 그 결과에 따라 반응하는 단순한 기능을 가진다. NET 와 OUT 은 각각 입력된 외부 자극의 가중합과 뉴런의 출력을 의미하며 f(x)는 뉴런의 반응 여부를 결정하는 역할을 하며, 활성화 함수라고 한다. 생물학적 신경망은 여러 뉴런들이 거미줄처럼 복잡하게 연결되어 서로 상호 작용을 하고 있으므로 신경망은 방향성 그래프를 이용하여 모델링할 수 있으며, 이를 인공 신경망 모델 또는 신경망 모델이라 한다. 옆의 그림과 같이신경망 모델의 방향성 그래프에 있어서 노드는 뉴런을 나타내며, 링크는 뉴런간의 시냅스 연결강도를 나타낸다.

4. 신경망 모델의 종류 지도학습 (Supervised Learning) • 맥컬럭-피츠 모델 (McCulloch-Pitts Model) • 헵의 학습 규칙 (Hebbian learning rule) • 퍼셉트론(Perceptron) • 아달라인(Adaline) • 다층 퍼셉트론(Multilayer Perceptron) • 역전파(Back-propagation)  • 시뮬레이티드어닐링(Simulated Annealing) • 볼쯔만 머신 (Boltzmann Machine)    자율학습 (Unsupervised Learning) • 반대방향 전파 네트워크 (Counterpropagation Network) • 양방향 연상메모리 (Bidirectional Associative Memory) • 자기조직화 맵(Self-Organizing Map) • 적응공명이론 (Adaptive Resonance Theory) • 코그니트론(Cognitron) • 홉필드 네트워크 (Hopfield Network)

5. 지도학습과 자율학습 • 자갈과 모래를 분류 (classification) 하는 것이 지도학습 • 아무런 정보없이 분류하는 것이 자율학습 기계학습은 크게 지도학습과 자율학습으로 나뉜다 지도학습 학습전과 학습후의 모습에서 뉴런간 연결부위가 점선에서 실선으로 바뀐 것 … 연결강도가 강화된 것을 의미하며 그것이 바로 학습 … 연결강도(또는 가중치) 가 업데이트되어 강화되는 것이 학습

6. 신경망 모델 : MLP 다층퍼셉트론(Multilayer perceptron, MLP) 은 입력층, 은닉층, 출력층으로 구성된다. 대개 역전파(Back-propagation) 학습 알고리즘을 사용하여 학습시킨다. 가장 대표적인 지도학습 모델이다. 즉 구분하려고 하는 것이 모래와 자갈이라는 것이 주어지고 입력층에 속성을 입력하여 최종적으로 그것이 모래 또는 자갈이라는 것을 구별 하는 것이 출력이 된다. 아래 오른쪽 MLP 모형 그림은 토종개 식별 프로그램을 위해서 만들어진 모형이다

7. 신경망 모델 : Hopfield network Hopfield network 는 John Hopfield가 인간의 연상메모리 능력을 모델로 만들어서 어떤 데이터가 조금 결여있을 때 연상 능력을 발휘하여 부족한 데이터를 채우는 용도로 활용되는 모델을 개발하였다. 예를들면 일부가 손상된 사진을 가지고 원형을 회복하는 것과 같은 것이다 연상메모리(associative memory): 원숭이 x구멍 … 백두산 : fully connected model

8. 신경망 모델 : SOM 자기조직화맵(Self organizing map, SOM)은 자율학습을 대표하는 모델이다. 입력층과출력층으로 구성되며 출력층의2차원 공간에 있는 뉴런에는 영어 문자가 모두 있다. 핀란드의 Kohonen은 어떤 음성으로 발음하면 마치 자동으로 키보드의 특정 문자가 눌려지듯이, 출력층 위에 있는 뉴런이 활성화되어 음성인식이 가능하다는 것을 증명하였다.

9. Back-propagation 학습 알고리즘 시작 가중치와 카운터를 초기화 학습 반복 역전파(Back-propagation) 알고리즘은 다층 퍼셉트론(MLP)에 사용되는 알고리즘으로서 출력값과 기대값을 비교하여 차이(오차)를 줄여나가는 방향으로 연결강도를 조절하고, 상위층에서역전파하여하위층으로 오차가 전달되어 다시 자기층의 연결강도(가중치)를 조정해 나가는 방식이다. 이렇듯 연결강도를 업데이트(weight update) 하는 것이 학습이다. 최종적으로 오차가 허용되는 최대오차(Emax) 보다 작아지면 종료한다. 오른쪽의 순서도는 역전파 알고리즘을 표현한 것이다. 출력치를 계산 학습율와Emax을 설정한다. 출력 오차를 계산 카운터를 증가시키고 3단계로 간다. 오차 신호를 계산 종료 조건 테스트 K ←k+1

10. 소프트웨어 : Hopfield network 오른쪽의 어플릿 프로그램에는 저장된 데이터 패턴 ‘ 4 ’ 가 입력되어 있다. 손상된 데이터를 복원하여 보니 그 데이터가 4 와 유사하다는 것을 발견하였다. 인간의 연상메모리를 흉내내는홉필드 네트워크는 손상된 데이터를 보고 인간이 원래의 모습을 짐작하여 알아내듯이 손상된 영상에서 본래의 모습을 유추해 낸다. 친한 친구가 마스크를 쓰고 나타나더라고 조금만 유심히 보면 연상메모리를 사용하여 누군지 알아내는 것과 같은 이치다.

11. 소프트웨어 : SOM Kohonen은 컴퓨터가 음성인식이 가능하게 하는 신경망 모델 자기조직화 지도(SOM) 을 발명하였다. 아래 SOM 어플릿 프로그램에서 임의의 데이터가 무작위로 있는 좌표에서 신경망 모델을 학습시켜서 유사한 색깔로 구분가능하게 되었다. 앞으로 어떤 명령어가 컴퓨터에 입력되어도 컴퓨터는 영어문자를 빠르게 식별하여 능히 인간의 음성을 인식하여 알아듣게 될것이다. 어떤 음성이라도 알아 낼수 있다는 의미에서 SOM 은 자율학습 모델에 속한다.

12. 토종개 식별 프로그램 이름 모를 토종개가 있는데 전문가의 도움을 받지않고 진돗개, 풍산개, 삽살개, 제주개 중에서 어떤 개에 속하는 지를 진단하기 위해 MLP 신경망 모델과 Back-propagation 학습 알고리즘을 이용한다고 가정해보자. 25여개의 특징과 그에 상응하는 토종개의 이름을 반복 학습 시켜서 새로운 토종개가 주어졌을때 적절하게 식별(classification) 하는 것을 목표로 한다

13. 토종개 식별 프로그램 토종개 전문가에게 25 가지의 특징에 대해 Yes 또는 No 의 답을 구하는 설문지를 작성하여 학습자료로서 이용한다. 은닉층의 뉴런수의 결정은 중요하다. 출력층은yes or no 2개이다. M 개의 선형분리 가능한 영역의 문제를 해결하기 위한 은닉층의 뉴런 수 P는 P = log2M 이다. 여기서 M=4 이므로 P=2, 즉 2개의 은닉층 뉴런을 만든다. 입력층의뉴런수25, 은닉층2, 출력층2 이므로 전체 가중치의 수는 (25+1)x2+(2+1)x2=58개다. 뉴런의 수가 많아지면 가중치 개수가 급격히 증가되어 학습이 느려진다. 최종적으로 오른쪽과 같은 MLP 모델을 가지게 된다.

14. 인공두뇌의 이용 인공두뇌를 만들려는 지금까지의 시도 중에서 가장 실현 가능한 것은 인공신경망이다. 인공두뇌의 능력에는 미치지 못하지만 지금까지 살펴본 대표적인 신경망 모델인 MLP, Hopfield, SOM 은 기계학습, 패턴인식, 데이터마이닝 등등의 분야에서 새로운 신경망 기법으로 다양하게 활용되고 있다. 지식이나 데이터를 컴퓨터 특유의 계산력으로 분류(classification)하는데 주로 사용된다. 여러분야에서 활용되고 있지만 여기서는 주로 뇌질환, BMI, 지능로봇 분야에서 생물학적으로 활용되는 사례를 살펴본다.

15. 생물학적 이용 : 뇌질환 Blue Brain project … "두뇌 시뮬레이션의 목표는 우리가 어떻게 생각하고, 기억하고, 배우는지를 정확히 알고, 그럼으로써 뇌질환을 치료하는 새로운 치료법을 발견하고, 두뇌 연구에서 알아낸 것을 바탕으로 새로운 컴퓨터 기술을 찾는 것이다”  Reverse engineering 인공두뇌를 만들려는 과정에서 뇌질환의 새로운 치료법을발견 할수있다… 인간의 두뇌를 분해하여 그대로 본뜬다는 의미에서 대표적인 역설계라고할수 있다.

16. 생물학적 이용 : BMI 두뇌-기계 상호작용(Brain Machine Interface, BMI) : 컴퓨터와 인간의 신경을 직접 연결하여 인간의 의지대로 컴퓨터를 작동 Kevin Warwick은 자신의 팔에 이식장치를 심어 컴퓨터와 연결하여 자기의 생각을 컴퓨터에 명령 …. 부인의 팔에도 똑같은 칩을 삽입하여 컴퓨터를 매개로 하여 자신과 부인이 서로의 마음을 읽음

17. 생물학적 이용 : 지능로봇 인공두뇌를 만드는 신경망 기법(MLP, Hopfield, SOM 등등)은 최신 과학기술에서 다양하게 사용된다. 로봇을 예로 들어보자. 인공두뇌는 단순히 두뇌만을 흉내낸다고 할 수 있지만. 로봇은 인간의 모든 기관을 흉내내는 것이다. 로봇을 만들기 위하여 아래 그림과 같이 여러 가지 기술이 사용된다. 그러한 기술에서 신경망 기법이 사용되는 것을 기관별로 보면 다음과 같다 • 두뇌 : 인공두뇌, 인공지능, 인공생명, 기계학습, 패턴인식, 데이타마이닝 • 눈 : 컴퓨터비전, 문자인식 • 입 : 음성합성, 기계 번역 • 귀 : 음성인식, 자연어처리 • 코 : 인공코 • 몸 : 로봇, 제어, 생체인식, 머니퓰레이터

18. 결과고찰 : 신경망 모델의 장단점 Back-propagation 알고리즘은 오차 신호가 역방향으로 전파되므로 연상과 추론이 가능한 인간의 두뇌와 유사한 수행을 한다고 볼수 있다. 비교적 구현이 쉽고 학습이 가능하다. 시스템의 구성요소가 일부 소실되어도 전체적으로는 거의 정상에 가까운 기능을 할 수 있다. 입력신호에 오류가 존재하더라도 이를 제거하거나 여과하여 정확한 결론을 도출할 수 있다. 반면에 다음의 단점을 가지고 있다. 오류가 기울기를 따라가는(gradient descent) 방법의 하나로서 local minimum 에 봉착할 수 있다. 학습과정이 수렴되기 까지 많은 양의 학습 데이터를 필요로 한다 Hopfield 는 완전 연결되어 있는 연상메모리의 특징으로 가장 일반적인 장점은 그것의 병렬처리 구조에 있다. 그러므로 하드웨어 수행이 매우 빠르지만 네트워크의 크기나 속도 및 응용 분야에 따라 달라진다. 반면에 네트워크가 안정된 상태에서 얻는 값이 근사값이 아니라 최적값 인지를 구분할 수 없다. SOM은 구조상 수행이 상당히 빠른 모델이다. 또한 SOM 은 연속적인 학습이 가능하다. SOM 은 자기조직화를 통한 정확한 통계적 모델이다. 반면에 SOM 은 대부분의 자율학습 모델이 그렇듯이 실세계 문제에 적용하기는 그리 쉽지가 않다.

19. 결과 고찰 : 기존 프로그램과 신경망의 비교

20. 결론– 인공두뇌의 한계 MIT 로봇공학자 Rodney Brooks에 따르면, 인공지능의 도전 과제는, 로봇들에게 10세 수준의 사회적 소양과 6세 수준의 손재주, 4세 수준의 언어 기술, 그리고 2세 수준의 시각적 물체인식 능력을 부여하는 것이다. 영화에서 볼 수 있는 로봇하고는 엄청나게 차이가 있다. 봉 세우기(Inverted Pendulum)가기계에게는 너무나 어렵다. 만일 기계가 봉세우기가 가능하다면 두발로 서서 다니는 로봇의 제작이 가능하게 된다. 실제로  두발로 걷는 로봇은 계단이 서너개만 되어도 올라가지 못하고 어쩔줄을몰라한다. 이런 여러가지 이유로 실제로 사용가능한 하드웨어 로서의 인공두뇌의 제작이 얼마나 어려운지 알수있다

21. 결론 – 인공두뇌의 가능성 신경망 모델의 연구에도 불구하고 인공두뇌라고 할 만큼 인간의 능력에 근접한 성능을 보이지는 못하고 있다. 그렇다고 해서 신경망 연구가 무시되어서는 안되는 이유가 있다. MLP, Hopfield network, SOM 등의 신경망 기법들은 다양한 영역에서 활발하게 사용되고 있다. 지문인식, 화상인식, 영상인식과 같은 영역은 물론이고 기계학습, 데이터마이닝, 자연어처리, 음성인식 등등의 다양한 영역에서 특유의 성질을 활용한 신경망 기법으로서 광범위하게 사용되고 있다. 마치 영화속의 로봇과 같이 인공두뇌로서 활용되지 못한다고 해서 전혀 실망할 필요는 없다. 지금과 같이 계속적인 새로운 신경망 모델의 개발과 하드웨어의 발전이 이루어진다면 언젠가는 인공두뇌에 근접해 있는 신경망 모델이 되어있을 것이다. 신경망의 특징 : 학습 (learning), 일반화 (generalization), 추상화 (abstraction) , 연관 (association), 분류 (classification), 강건성(robustness), 오류 허용성(fault tolerance), 모순 처리 능력 (capability of handling contradictions), 병렬분산처리 (parallel distributed), 근사 추론 (approximation)

22. 감사합니다.