ELEMENTY TEORII INFORMACJI I STEROWANIA

1. ELEMENTY TEORIIINFORMACJI I STEROWANIA Warszawa, 26 listopada 2007

2. INFORMATYTKA • W świecie istnieją dwa główne obiegi: • Energii • Informacji • Dziedziną, która łączy ze sobą w sieć przyczynowo-skutkową elementy świata przyrodniczego, jest biocybernetyka. Nauka ta ukształtowała się w drugiej połowie XX wieku i zajmuje się badaniem procesów sterowania, regulacji i przetwarzania informacji w maszynach i żywych organizmach (Norbert Wiener, 1948)

3. Teoria informacji • Teoria informacji zajmuje się analizą procesów wytwarzania, przenoszenia, odbioru i przetwarzania informacji. Nie uwzględnia się zazwyczaj struktury obiektu ani postaci energii biorącej udział w procesach. • Przesyłanie informacji wymaga ustalenia zrozumiałego zarówno przez nadajnik, jak i odbiornik zasobu znaków (symboli), co do których są one zgodne (kodowanie). Mogą to być słowa, litery obrazy, kształty lub też dźwięki. • Przesyłanie informacji przebiega kanałem przesyłowym, którym może być powietrze, próżnia, przewód sieci informatycznej, instalacja pneumatyczna, hydrauliczna albo energetyczna oraz wiele innych mediów przenoszących informacje

4. Łącze informacyjne Zakłócenia Odbiornik (dekodowanie) Nadajnik (kodowanie) Przeznaczenie informacji Kanał Źródło Sygnały Sygnały Informacja Informacja

5. Informatyka • Informatyka to dyscyplina nauk technicznych zajmująca się zagadnieniami pobierania, przechowywania, przesyłania, przetwarzania i interpretacji informacji. • W organizmach zwierząt i u człowieka znane są dwa szczególnie ważne kanały przesyłowe informacji: system nerwowy i krwioobieg.

6. Łącza informacyjne w organizmie • Jako nadajnik mogą służyć na przykład mózg i receptory oraz gruczoły wydzielania wewnętrznego. • Odbiornikami mogą być elementy wykonawcze, mózg lub receptory. • Na przykład: • receptory - mózg • mózg – mięśnie • Gruczoły wydzielania wewnętrznego - narządy

7. Miara informacji • Z punktu widzenia techniki najbardziej odpornym na zakłócenia i prostym w przetwarzaniu jest system binarny (dwójkowy). • Potwierdza to przyroda, stosując podobny system w układzie nerwowym, zasada wszystko albo nic. • W systemie tym możliwe jest również prowadzenie rachunku logicznego – algebry Boole’a: prawda (tak) – 1, fałsz (nie) – 0.

8. Bit • Informacja polegająca na wyborze jednego ze stanów: • 1 lub 0 • tak lub nie • H lub L • Ma ilość informacji równą 1 bitowi • bit skrót od binary digit

9. Miara informacji • Informacja w sensie potocznym rozumiana jest jako znajomość pewnego stanu otaczającego świata. • Informację definiuje się jako zdarzenie wybrania elementu ze zbioru wszystkich możliwych elementów.

10. Negentropia • Zdarzenie wybrania elementu ze zbioru wszystkich możliwych elementów zachodzi z pewnym prawdopodobieństwem. • Biorąc pod uwagę to prawdopodobieństwo oraz liczbę elementów zbioru n możliwych zdarzeń, określa się miarę informacji I (zwaną negentropią): • pi – prawdopodobieństwo wystąpienia i – tego elementu zbioru

11. Negentropia • Jednostką negentropii jest 1 bit • 1 bit to wybór spośród dwóch jednakowych zdarzeń czyli wybór jednego z dwóch równie prawdopodobnych zdarzeń jest jednostką informacji.

12. Negentropia • Wartość negentropii wzrasta wraz ze zwiększeniem liczby stanów, które mogą wystąpić oraz ze zwiększeniem nieprzewidywalności stanu aktualnego. • Negentropia wielu niezależnych zbiorów stanów jest równa sumie ich negentropii. • Negentropia informacji niezmiennej (występuje 1 stan) wynosi 0.

13. Negentropia • Negentropia dla p1 = p2 = 0,5 wynosi I = 1 bit • Negentropia,p1 = 0,01 p2 = 0.99, I = 0.0807 bita • Dla równolicznych zbiorów negentropia przyjmuje największą wartość gdy prawdopodobieństwa wystąpienia każdego z elementów są równe: • I = log2(n)

14. Przepustowość informacji • Przepustowość informacji to stosunek przekazywanych ilości informacji do czasu: bod – skrót nazwiska Boudot

15. Gęstość informacji (powierzchniowa) • Gęstość informacji to stosunek ilości informacji do powierzchni:

16. Pojemność informacyjna łącza informacyjnego • Pojemność informacyjna łącza informacyjnego to stosunek maksymalnej ilości przekazywanych informacji do czasu: 0<L≤C

17. Przepustowość informacji żywych organizmów • Ilość informacji odbieranych, wysyłanych lub przetwarzanych przez żywe organizmy może być tylko szacunkowa. • Ilość informacji, które człowiek może przyjąć wszystkimi zmysłami ocenia się na około 109 bodów. • Ilość informacji, które człowiek może wysłać ocenia się na około 107 bodów.

18. Przepustowość informacji • Świadomie przetworzyć można co najwyżej 100 bodów na miliard odbieranych, z czego 10 bodów można zapamiętać na krótko, a tylko 1 bod trwale.

19. Przepustowość informacyjna receptorów [bod] • Wzrok – 1010 • Słuch - 5·104 • Ucisk – 105 • Temperatura – 103 • Węch – 102 • Smak - 10

20. Lejek informacyjny • Ograniczenia przepustowości informacji mają miejsce we wszystkich zmysłach. • Ograniczenie przepustowości nazywane jest lejkiem informacyjnym. Słuch Wzrok Węch Smak Dotyk Świadomość Selekcja 107 [bod] 102 [bod] Otoczenie 109 [bod]

21. System dziesiętny • C110n+C210n-1+C310n-2+…… • 1234=1·103+2·102+3·101+4·100

22. System dwójkowy (binarny) • bit – liczba binarna (binary digit) • bajt – jednostka miary informacji równa 8 bitom (ang. byte) • bajt to 28=256 informacji • Zapis binarny: • b·2n+b·2n-1+b·2n-2+………. • b=0 lub b=1

23. Bajt • Ośmiocyfrowa liczba binarna jest podstawą zapisu różnych wielkości w pamięci komputera. • 00000000 0 • 00000001 1 • 00000010 2 • 11111111 256 • kilo – 103 210 = 1024 • Mega – 106 220 = 10487576 • Giga – 1020 230 = 1073741824