Теория информации: сигналы, данные, информация

1. Теория информации: сигналы, данные, информация

2. Информатика («Сomputerscience») = Information + automatique информация + автоматика Инфоpматика как НАУКА изучает процессы передачи и обработки информации.

3. Практическое использование результатов информатики как фундаментальной науки (смысловое ударение на слове automatique) воплощается в информатике как в отрасли производства, яркими представителями которой, например, являются два гиганта и вечных конкурента IBM и Apple.

4. Информатика как учебная ДИСЦИПЛИНА, основана на использовании компьютера, изучает способы создания, поиска, преобразования, передачи и использования информации в различных сферах человеческой деятельности.

5. Прародительницами информатики считаются математика, кибернетика, электроника, логика и лингвистика

6. Отцы-основатели информатики

7. Математик, изменивший ход войны…

8. Трёхроторная военная немецкая шифровальная машина Энигма и иБомба Тьюринга

9. 4 декабря в России отмечается День информатики В этот день Государственный комитет Совета министров СССР по внедрению передовой техники в народное хозяйство зарегистрировал за номером 10475 изобретение И.С.Бруком цифровой электронной вычислительной машины.

10. Состав информатики. Информатику обычно представляют состоящей из трёх, неразрывно связанных частей (трех «китов»): Hardware + Software + Brainware ИНФОРМАТИКА

11. Инфоpматика — научная дисциплина с широчайшим диапазоном применения • pазpаботка вычислительных систем и пpогpаммного обеспечения, • теория информации, • методы искусственного интеллекта, • методы машинной графики, анимации, средства мультимедиа; • средства телекоммуникации, в том числе, глобальные компьютерные сети, объединяющие все человечество в единое информационное сообщество.

12. Различные уровни представлений об информации Понятие «информация» (от латинского слова «informatio» — сведения, данные, знания) рассматривается в качестве важнейшей сущности мира, являющейся отражением реального мира и охватывающую всю жизнь, Вселенную и всё, что есть в жизни.

13. Информация и теория «всего»: . • Джон Арчибальд Уилер (1911 - 2008) — американский физик-теоретик и фантазия на тему черных дыр.

14. В теории информации под информацией понимают динамический объект, образующийся в момент взаимодействия объективных данных и адекватных им субъективных методов • В практической информатике термин информация – это сведения, которые необходимо обработать с помощью компьютера.

15. Информация и данные 777—333—555 : Спросить Ивана Ивановича о…

16. Информационные процессы -действия, выполняемые с информацией

17. Сообщения – это совокупность знаков или сигналов, отображающих ту или иную информацию. • Сигнал– это изменяющийся во времени процесс, то такой процесс может содержать различные характеристики (например, при передаче электрических сигналов могут изменяться электрическое напряжение или сила тока). Та из характеристик, которая используется для представления сообщений, называется параметром сигнала.

18. Аналоговый и цифровой звуковой сигнал (изменяющийся во времени процесс)

19. Линией связи называется физическая среда, используемая для передачи сигналов • Передаваемая информация добирается от источника до приёмника с помощью сигнала (кода) по каналу связи – некоторой совокупности технических устройств, обеспечивающих передачу сигнала от источника к приёмнику. • Количество информации, передаваемое по каналу связи за единицу времени, есть скорость передачи информации, или скорость информационного потока. • Скорость информационного потока выражается в битах в секунду Бит в секунду (англ. bitspersecond, bps) — базовая единица измерения скорости передачи информации, используемая на физическом уровне сетевой модели OSI или TCP/IP. • На более высоких уровнях сетевых моделей, как правило, используется более крупная единица — байт в секунду (Б/c или Bps, от англ. bytespersecond) равная 8 бит/c. Пропускная способность канала связи это максимальная скорость передачи информации по каналу связи.

20. Классификация информации По способу восприятия информации Визуальная Аудиальная Обонятельная Осязательная Вкусовая 9% 90% 1%

21. Классификация информации Информация По форме представления Числовая Графическая Текстовая Звуковая Комбинированная

22. Показатели качества информации: структурированность, смысл, ценность. • ЦЕННОСТЬ ИНФОРМАЦИИ ВЫРАЖАЕТСЯ В СЛЕДУЮЩИХ ПОНЯТИЯХ: • Объективность — не зависит от чьего-либо мнения. • Полнота — достаточна для понимания и принятия решений. • Достоверность — отражает истинное положение дел • Доступность информации — возможно ли получить ту или иную информацию. • Ценность (полезность, значимость) — обеспечивает решение поставленной задачи, нужна для того, чтобы принимать правильные решения. • Эмоциональность — вызывает различные эмоции у людей.

23. Объективность информации

24. Парад на Красной площади в 1955 году

26. Несколько подходов к измерению количества информации: • I. Семантический (смысловой, субъективный) • II. Объёмный • III. Синтаксический (объективный)

27. I. Семантический (смысловой, субъективный) • В одном мгновенье видеть вечность, • Огромный мир - в зерне песка, • В единой горсти –бесконечность • И небо - в чашечке цветка. • Уильям Блейк

28. Количество информации. Семантический (смысловой) подход к измерению информации Е Если Полученные сведения, совершенно не понятны и не знакомы субъекту (отсутствуют в его тезаурусе), количество полученной информации равно нулю:I Новая, но не понятная: «На каком же это языке читается лекция?»

29. Количество информации. Семантический (смысловой) подход к измерению информации Еслипользователь все знает, и поступающая информация ему не нужна, I = 0. «Сколько можно твердить одно и то же!»

30. Количество информации. Семантический (смысловой) подход к измерению информации Максимальное количество семантической информации потребитель получает, когда поступающая информация понятна пользователю и несёт ранее не известные сведения, I= Imax. От простого к сложному: базовые знания + новое знание

31. II. Объёмный подход • Объём информации в сообщении определяется количеством символов в сообщении. Так количество информации в двоичном коде равно общему количеству 0 и 1. • Пример: Количество информации, которое содержит число 10010100010001110100 – 20 бит. • Но одно и тоже число может быть записано различными способами! • 100101000100011101002=60734810 ,

32. III. Энтропийный подход • Количество информации – это числовая характеристика сигнала, характеризующая неопределенность, которая исчезает после получения сообщения в виде данного сигнала. • В информации меру неопределенности (неосведомленности) принято называть энтропией (Н). Получениеинформации (ее увеличение) одновременно означает увеличение знания, что, в свою очередь, означает уменьшение незнания или информационной неопределенности.

33. I=ΔH=HДОПОЛУЧЕНИЯ СООБЩЕНИЯ –HПОСЛЕ ПОЛУЧЕНИЯ СООБЩЕНИЯ. • При этом HПОСЛЕ ПОЛУЧЕНИЯ СООБЩЕНИЯ=0 (неопределённости уже нет).

34. В теории информации понятие энтропии помогает ввести единицу измерения информации Эта единица носит название «бит». Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации Бит(binarydigit –двоичная цифра)

35. ФОРМУЛА ХАРТЛИ

36. 2I = N

37. Формула Хартли: Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных вариантов сообщения , определяется формуле, предложенной Р.Хартли I= log2N; I = M*log2N, где M- количество символов в сообщении. • Ральф ВинтонЛайон Хартли (1888 - 1970). Американский учёный-электронщик.

38. Пример 1.В алфавитеоднабуква: А. Сообщениесодержитодинсимвол. Числовариантов N = 1, I = log21= 0 бит.

39. Пример2.В алфавитедвебуквы: • А и Б. Сообщениесодержитодинсимвол. Числовариантов N =2, • I = log22= 1 бит.

40. Пример3.Подбрасываемаяодинразмонетакаксообщение: в алфавитедвебуквы: орел и решка. • Сообщениесодержитодинсимвол. • I = 1 бит.

41. Пример 4. Подбрасываемый один раз кубик как сообщение: в алфавите шесть букв: 1, 2, 3, 4, 5, 6. Сообщение содержит один символ. • I = log26= 2.6 бит.

42. . Свойство аддитивности информации. • Пусть в алфавите две буквы: А и Б. Первое и второе сообщения содержат по одному символу. Тогда в первом и во втором сообщениях – по одному биту информации: I1 = log22= 1 бит; • I2 = log22= 1 бит. В двух сообщениях вместе – 2 бита. С другой стороны, количество информации в сообщении, состоящем из двух символов (АА, АБ, БА, ББ – 4 варианта), • IΣ = log24= 2 бита: I1 +I2 = IΣ

43. Формулы Шеннона Светлейший князь Александр Чернышев (1786-1857)

44. Количество информации для неравновероятных событий • 50 заданий: 1 покушение, 5 вербовок высокопоставленных чиновников, 44 похищения документов. • Вероятности получения этих разных заданий составляют соответственно 1/50, 5/50 и 44/50 (неравновероятные события). • С точки зрения на информацию как на снятую неопределенность количества информации в сообщении, полученном разведчиком, зависит от вероятности получения данного сообщения. разведчик (система) может оказаться с разной вероятностью в различных состояниях (операциях). • Вероятность - возможность осуществления события, • 0≤P ≤1.

47. Формулы Шеннона: КОЛИЧЕСТВО ИНФОРМАЦИИ ДЛЯ НЕРАВНОВЕРОЯТНЫХ СОБЫТИЙ Информация I1 о том, что (система) будет находиться в состоянии X1 равна: I1 = log2(1/P1); Iср= ΔH= - . Это формулы К. Шеннона, предложенные им 1948 году.

48. Пример «Будни резидента» • I1= log2(1/0.88) = 0,18 бит • I2= log2(1/0.1) = 3,3 бит • I3 = log2(1/0.02) = 5,6 бит !!!

49. Связь между формулами Хартли и Шеннона - I(2) = log21/(1/6))= 2.6 бит. Подбрасываемый один раз кубик как сообщение: в алфавите шесть букв: 1, 2, 3, 4, 5, 6. Сообщение содержит один символ. I = log26= 2.6 бит.

50. Количество информации Можно использовать логарифмы с другими основаниями: I = log21= 0 бит = ln 1 = 0 нат = lg 1 = 0 дит I = log22= 1 бит = ln 2 = 0.7 нат = lg 2 = 0.3 дит I = log24= 2 бита = ln 4 = 1.4 нат = lg 4 = 0.6 дит I = log26= 2.6 бита = ln 6 = 1.8 нат = lg 6 = 0.8 дит • 1 дит = 3.3 бит