Umělé neuronové sítě a jejich aplikace ve zdravotnictví

1. Umělé neuronové sítě a jejich aplikace ve zdravotnictví Jansová Helena

2. Biologické neuronové sítě - přirozená inteligence • Podstatou umělých neuronových sítí je modelování struktury a činnosti biologických neuronových sítí. Biologické neuronové sítě tvoří základ informačních systémů všech živých organismů. • V současné době neexistuje jednoznačná a plně vyčerpávající definice přirozené inteligence. Můžeme definovat některé její vlastnosti jako soubor specifických předpokladů jednotlivce, umožňujících mu úspěšně se vyrovnat s novými životními podmínkami a řešit situace, v nichž nelze použít návykového chování. • Přirozenou inteligenci lze popsat některými znaky, jako je např. rozumovost, duševní schopnost, vyspělost, chápavost, vzdělanost, moudrost, duševní nadání atd. • Warwick: inteligence je lidská vlastnost, kterou lze těžko definovat a ještě hůře měřit.

3. Biologické neuronové sítě - princip • Základním, jak strukturálním, tak i funkčním stavebním elementem biologického informačního systému je nervová buňka – neuron. • Mozková kůra obsahuje 13 až 15 miliard neuronů, z nichž každý může být propojen až s 5000 jinými neurony • Každý neuron se skládá z těla - somy, vstupních výběžků - dendridů, výstupního vlákna - axonu, které je na konci rozvětveno. • Propojení je realizováno tak, že terminály axonu se stýkají s výběžky - trny dendridů jiných neuronů. K přenosu informace slouží mezineuronové rozhraní nazývané synapse, které mohou být buďto excitační, rozšířující vzruch, nebo inhibiční, vzruch tlumící. • Pokud je neuron na vstupech podrážděn a toto podráždění přesáhne určitou hraniční mez nazývanou práh, sám generuje impuls a tím je zajištěno šíření informace.

4. Umělé neuronové sítě – základní princip Jednovrstvý perceptron • Perceptron je základní stavební jednotkou neuronových sítí, jehož vstupní údaje jsou zpracovávány podle následujícího vztahu: kde • xi jsou vstupy neuronu, celkový počet neuronů je N • w ijsou synaptické váhy • f je nelineární přenosová funkce neuronu, tzv. aktivační funkce (převádí vnitřní potenciál neuronu do definovaného oboru výstupních hodnot, bývá neklesající;nejčastěji se používají funkce: signum, sigmoida, semilineární funkce a lineární funkce.) • Q je práh. Určuje hodnotu, kterou je nutno překročit, aby byl aktivován výstup.

5. Umělé neuronové sítě – základní princip Jednovrstvý perceptron Struktura jednovrstvého perceptronu

6. Umělé neuronové sítě – základní princip Pracovní fáze umělé neuronové sítě Učení. V této fázi dochází ke změnám v neuronové síti, síť se adaptuje na řešení daného problému. Realizuje se nastavováním vah mezi uzly.Učení s učitelem. Při tomto typu učení existuje vnější kritérium určující, který výstup je správný a v síti se nastavují váhy podle zpětné vazby. Počítá se rozdíl mezi žádaným a skutečným výstupem. Tento rozdíl je nutné co nejvíce snížit, což má za úkolující algoritmus.Učení bez učitele. Do této metody nevstupuje žádné vnější kritérium správnosti a celé učení je založeno pouze na informacích, které samotná síť během celého procesu učení získala.Vybavování. V této fázi se zpracovávají vstupní data. Na základě vstupu dat vznikne ve vstupní vrstvě nerovnovážný stav. V neuronech se zapamatované hodnoty začnou působením ostatních neuronů přes spoje měnit a mění se až do doby než nastane opět rovnovážný stav. Na jejich výstupech je pak požadovaná odezva sítě na tento vstup.

7. Umělé neuronové sítě - historie • Otázky typa jak vlastně lidé myslí, co je podstatou myšlení apod. se objevovaly již od pradávna. Příkladem toho mohou být úvahy některých antických filozofů. • Průkopníky v oblasti UNS byli mj. Američané McCulloch a jeho student Pitts, kteří vytvořili v roce 1943 matematický model neuronu. • V roce 1949 navrhl Hebb učicí pravidlo, které bylo založeno na modifikaci synaptických vah mezi neurony během učicího procesu. • V roce 1958 Rosenblatt vynalezl tzv. perceptron, který je zobecněním McCullochova a Pittsova modelu neuronu pro reálný číselný obor parametrů. Později sestrojil síť perceptronů a pro tento model neuronu navrhl také učicí algoritmus. • Krátce po objevení perceptronu,v roce 1959 odvodili a popsali Windrow a Hoff model neuronu ADALINE (Adaptive Linear Neuron). ADALINE je model neuronu s několika vstupy a doplňkovým jednotkovým signálem. Spojením jednotlivých ADALINEvzniká umělá neuronová síť s názvem MADALINE (Many Adaptive Linear Neuron)

8. Umělé neuronové sítě - historie • V této době se zdálo, že se umělým neuronovým sítím otevírá velmi slušná budoucnost. Nicméně i přes nesporné úspěchy dosaženév tomto období se neuronovým sítím postavily do cesty dva zřejmé problémy. Za prvé, většinou se přistupovalo k neuronovým sítím z experimentálního hlediska a zanedbával se jejich analytický výzkum. Za druhé, obecné nadšení z prvotních úspěchů vedlo k tomu, že někteří vědečtí pracovníci publikovali zcela neopodstatná tvrzení. Např., že za několik málo let bude sestrojen umělý mozek. O tom nelze vážně hovořit ani v dnešní době, natož v 60. letech minulého století. Tyto skutečnosti měly za následek ztrátu důvěry seriózních vědců a inženýrů k umělým neuronovým sítím. • Nešťastná byla též kampaň vedená Minským a Papertem, kteří využili svého vlivu, aby diskreditovali výzkum umělých neuronových sítí ve prospěch převodu finančních zdrojů z této oblasti do jiné oblasti výzkumu umělé inteligence. Pro svou argumentaci využili známého faktu, že jeden perceptron nemůže realizovat jednoduchou logickou funkci, tzv. vylučovací disjunkci (XOR). Toto tvrzení je sice správné, ale platí pro jeden perceptron.

9. Umělé neuronové sítě - historie Jednoduchá síť, složená ze tří perceptronů, tuto logickou funkci už simulovat umí. Nicméně v té době ještě nebyl znám algoritmus učení pro vícevrstvý perceptron. Uvedení autoři z toho vyvodili závěr, že takový algoritmus učení vzhledem ke složitosti, kterou vícevrstvá síť řeší, snad ani není možný. Toto tvrzení bylo všeobecně přejato a považováno za matematicky dokázané. Umělé neuronové sítě pak na více než 20 let upadly prakticky v zapomnění. Práce na výzkumu v této oblasti již nebyly dále dotovány, což mělo za následek to, že výzkumné práce a projekty se téměř zastavily. • K opětovnému nástupu neuronových sítí dochází v letech 1982–4, kdy Američan Hopfield navrhnul nový model neuronové sítě tzv. Hopfieldovu síť. Jedná se o plně propojenou symetrickou síť, tedy propojení „každý s každým, kromě sebe sama“. • Další velmi důležitý objev byl zaznamenán v roce 1986, kdy se nezávisle na sobě podařilo dvěma vědcům, Rumelhartovi a LeCunovi, odvodit a popsat nový algoritmus učení vrstevnatých neuronových sítí. Jednalo se o algoritmus zpětného šíření chyby, tzv. Backpropagation Algorithm, kterým bylo možno řešit problém, jenž se Minskému a Papertovi v 60. letech jevil jako nepřekonatelná překážka pro využití a další rozvoj umělých neuronových sítí. Tento algoritmus je dosud nejpoužívanější metodou učení neuronových sítí.

10. Umělé neuronové sítě - historie • V druhé polovině 80. let přichází Fin Kohonen s dalším velmi důležitým objevem, s tzv. samoorganizující se neuronovou sítí. Samoorganizující se neronové sítě jsou takové, které ke svému učení nepotřebují učitele. Příkladem z této kategorie neuronových sítí může být např. Kohenenova síť, resp. Kohenenova mapa. • V roce 1987 se v San Diegu konala první větší konference specializovaná na neuronové sítě. Tato konference měla přibližně 1700 účastníků. Ve stejném roce byla založena mezinárodní společnost pro výzkum neuronových sítí INNS (International Neural Network Society). V roce 1988 INNS začala vydávat svůj časopis Neural Networks. V následujících letech vznikly další specializované časopisy. Např. v Praze vychází od roku 1991 mezinárodní časopis Neural Network World. V této době se při univerzitách zakládají nové výzkumné ústavy zabývající se neuronovými sítěmi. • Tento trend ve své podstatě přetrvává až do dnešní doby. Dnes se výzkum orientuje na vývoj nových, rychlejších učicích algoritmů a především na rozvoj aplikací v praxi. Výzkum již není soustředěn jen do největších a ekonomicky nejbohatších zemí, jako jsou USA a Japonsko, ale provozuje se prakticky po celém světě.

11. Umělé neuronové sítě - aplikace Výhody umělých neuronových sítí • Schopnost učit se. To znamená získávat znalosti učením pomocí množiny předkládaných vzorů bez nutnosti znalosti algoritmu řešení • Schopnost zobecňovat a schoponost abstrakce • není možné matematicky popsat všechny vztahy a souvislosti, které ovlivňují sledovaný proces • exaktní matematický model je tak složitý, že případná algoritmizace úlohy je takřka nemožná. Požadavky na umělé neuronové sítě • Od umělé inteligence a tedy i od umělých neuronových sítí požadujeme umět uložit znalosti (vědomosti ), aplikovat znalosti pro řešení daného problému (uvažování) a získat v průběhu experimentu nové znalosti (učení). Neuronové sítě mají své opodstatněné použití v případech, kdy při řešení daného problému:

12. Umělé neuronové sítě - aplikace • Modelování a řízení nelineárních systémů • Predikce a případné následné rozhodování(energetika – spotřeba elektrické energie, ekonomie, finančnictví - vývoj cen a akcií na burze, doprava, meteorologie - předpověď počasí, ekologie, lékařství, vojenství, chemie, strojírenství, vodní hospodářství ) • Rozpoznávání a případná rekonstrukce obrazců(rozpoznávání tištěných číslic a písmen, rozpoznávání ručně psaného textu, např. ručně psaných poštovních směrovacích čísel nebo ověřování pravosti podpisů, rozpoznání a analýzu otisků prstů v kriminalistice) • Problematika analýzy signálů (analýza signálu EKG a EEG ve zdravotnictví, analýza a syntéza přirozené řeči pro přenos informace v komunikaci mezi lidmi, analýzy radarových signálů v letectví). • Komprese, expanze, kódování a dekódování signálu (přenos televizního nebo telekomunikačního signálu). • Řízení složitých zařízení v dynamicky se měnících podmínkách (regulace toku látek ve složitém technologickémprocesu chemického průmyslu, autopilot, řízení zpětného chodu dlouhých trajektů). • Transformace signálů (převod psaného textu na mluvený signál).

13. Artificial Neural Networks in Medicine World Map • USA • Canada • Austria • Finland • Germany • Hungary • The Netherlands • Sweden • UK

14. Artificial neural networks in Healthcare 1. Clinical diagnosis Screening of Pap(cervical) smears • Papnet is a commercial neural network-based computer program for assisted screening of Pap(cervical) smears. A Pap smear test examines cells taken from the uterine cervix for signs ofprecancerous and cancerous changes. • Since a patient with aserious abnormality can have fewer than a dozen abnormal cells among the 30,000 - 50,000 normalcells on her Pap smear, it is very difficult to detect all cases of early cancer by this "needle-in-ahaystack„search. • Relying on manual inspection alone makesit inevitable that some abnormal Pap smears will be missed, no matter how careful the laboratory is.In fact, even the best laboratories can miss from 10% - 30% abnormal cases “Papnet-assistedreviews of [cervical] smears result in a more accurate screening process than the current practice leading to an earlier and more effective detection of pre-cancerous and cancerous cells in thecervix”.

15. Artificial neural networks in Healthcare Papnet displaying images from a cervical smear.

16. Artificial neural networks in Healthcare Detection of acute myocardial infarction • The performance of the neural networks was then compared withthat of a widely used ECG interpretation program and that of an experienced cardiologist(tested by a research group at University Hospital, Sweden). • Neural networks were 15.5% more sensitive than the interpretation program and 10.5% more sensitive than the cardiologist in diagnosing any abnormalities. But the cardiologist was slightly better at recognising ECGs with very clear-cut acute myocardial infarction changes. Prediction of metastases in breastcancer patients • They used EMN to construct discrete models that predict the occurrence of axilliary lymph node metastases in breast cancer patients, based on characteristics ofthe primary tumour alone.

17. Artificial neural networks in Healthcare The clinical and physiological features used in the analysis are: • age ofthe patient at the time of diagnosis of the primary tumour ; assessment of the size of the tumour nuclei; assessment of the variability of theshape and size of the tumour nuclei; tumour grading; gross size of the primary tumour; andpresence/absence of carcinoma in peritumoural vessel. • Results indicated that EMN is an effectiveway of constructing discrete models from small data sets. Prediction of breast cancer survivals • Burke et al compared the prediction accuracy of artificial neural networks and other statisticalmodels for breast cancer survival. The neural network was a multilayer perceptron trained with thebackpropagation learning algorithm. Compared with the TNM staging system (tumour size, numberof nodes with metastatic disease, and distant metastases), artificial neural networks proved to bemore accurate in predicting 5 year survival of 25 cases used in this study.

18. Artificial neural networks in Healthcare Diagnosis of Down’s Syndrome in unborn babies • 8 data variables (age of themother; gestation in weeks; and 6 serum markers) from 459 patients (410 control and 49 Down’sSyndrome) were used as inputs. • 84% correct classification rates surpassed the 60-70%classification rate of current statistical method. However, it was at the expense of a high falsepositive detection rate of 35.5%, which compared with 6-7% of mathematical methods, suggestthat, in practical terms, the cost-benefit derived from using neural networks in this particular application is not acceptable.

19. Artificial neural networks in Healthcare 2. Image analysis and interpretation Recognicion region of interest of the thorax • Miller, et al trained different neural networks (NNs) to recognise regions of interest (ROIs)corresponding to specific organs within electrical impedance tomography images (EIT) of thethorax. • The network allows automatic selection of optimal pixels based on the number of images,over a sample period, in which each pixel is classified as belonging to a particular organ. • Initialresults using simulated EIT data indicate the possible use of neural networks for characterization ofsuch images. Blood cell classification from microscope images. • 82 objects extracted from 133 digitised images were isolated using classical image enhancementalgorithms. A single layer perceptron trained with the backpropagation learning algorithm was used. • Theoutput produced a binary output, indicating whether the input corresponded to a normal or apathologic cell network correctly classified 65 out of 82 objects.

20. Artificial neural networks in Healthcare Focusing, segmentation and classification lung-parenchyma lesions in standard chest radiographies • A Laplacian-of-Gaussian kernel filter is applied to the X-Ray imagesto remove low frequency components, while preserving detail contrast. An input mask of 19x19units serves as input to the classification module, which consists of a feedforward network. • Theoutput of the network identifies regions of interest (ROIs) in the image, which later are analysed byother modules in the system. Segmentation and classification multi-spectral MRI images of normal andpathological human brain • Results indicate that sharp and compact segmentation of MRI imagescan be obtained with neural networks with a small architecture.

21. Artificial neural networks in Healthcare Patternrecognition in mammograms • Features extracted from mammograms byexperienced radiologists were used. A pyramidal neural network detects malignant tumours or clusteredcalcifications in pre-processed mammograms. • Results indicate that abnormal patterns observed inmammograms can be mapped into a unique data set. 3. Signal analysis and interpretation Detection four ECG waveforms • Kohonen neural network to detect four ECG waveforms. The network wastrained with data from the MIT/BIH Arrhythmia Database. The database contains 48 half –hourECG recordings.

22. Artificial neural networks in Healthcare Recognition of evoked response waveforms • A multilayer perceptron was trained to differentiate between Contingent Negative Variation (CNV)evoked response waveforms of patients with Huntington’s disease, Parkinson’s disease and schizophrenia (Jervis:94). • Data from 47 patients (20 schizophrenic, 16 Parkinson’s disease and 11Hungtinton’s disease) and 47 control subjects was used in the study. Seventeen CNV features wereused as inputs to the network. • Results are promising with sensitivities greater than 0.9 being considered as clinically useful. However, results could be improved given more data. Classification ofphosphorus (31P) magnetic resonance spectra (MRS) from normal andcancerous breast tissues • Knowledge-based neural network (KBANN) • Data from 26 cases was used as input to the network. A priori knowledge of metabolic features of normal and cancerous breast tissues was incorporated into the structure of the neural network to

23. Artificial neural networks in Healthcare overcome the scarcity of available data. • Classification rates of 62.4% for “knowledge-free” neuralnetworks and 87.36% for KBANNs showed how KBANNs outperformed conventional neuralnetworks in the classification of 31P MRS. This indicates that the combination of symbolic and connectionist techniques is more robust than a connectionist technique alone. 4. Drug development • National Cancer Institute, USA implemented a neural network for drug development. The network predicts a drug’s mechanism of action from its pattern of activity against a panel of 60 malignant cell lines. • The network correctly classified 91.5% of presented anticancer agents (drugs) according to their mechanism of action. Compared with 85.8% correct classification rate of linear discriminant analysis and standard statistical techniques, neural networks clearly show their suitability to classify complex data.

24. Elektronické zdroje: [1] http://www.phil.gu.se/ann/annworld.html [2]http://www.openclinical.org/neuralnetworksinhealthcare.html [3] http://www.sweb.cz/jaroslav.teda/neu.htm [4] http://www.programujte.com/rservice.php?akce=save&cisloclank u=2005090201-Inteligentni-ekonomicke-systemy-%5B-I-%5D [5] http://cmp.felk.cvut.cz/cmp/courses/recognition/zapis/