ТЕМА 5. Стадия проектирования и реализации ИС.

1. ТЕМА 5.Стадия проектирования и реализации ИС. Лекция 21. Способы организации информационной базы.

2. Информационная база Информационная база (ИБ) — это совокупность данных, организованная определенным способом и хранимая в памяти вычислительной системы в виде файлов, с помощью которых удовлетворяются информационные потребности аппарата управления и функциональных подсистем ИС.

3. Классификация файлов ИБ • По смысловому содержанию • По этапам обработки • По роли в машинной обработке и технологии использования • По назначению (по типу функциональных подсистем) • По типу носителя • По типу логической организации (линейная, иерархическая, реляционная структура записи)

4. По этапу обработки По технологии использования Основные

5. Виды массивов по этапам обработки

6. Виды массивов по технологии использования

7. Требования к внутримашинному ИО • Полнота, целостность, согласованность и непротиворечивость хранимой информации. • Минимизация времени выборки данных при решении задач управления. • Независимость структуры массивов от программных средств их организации. • Динамичность структуры ИБ. • Релевантность ИБ. • Удобство языкового интерфейса. • Разграничение прав доступа пользователей.

8. Способы организации информационной базы Информационная база Совокупность локальных файлов Интегрированная база данных Поддерживается функциональными пакетами прикладных программ Основывается на использовании универсальных программных средств загрузки, хранения, поиска и ведения данных (СУБД).

9. Особенности пофайловой организации ИО • Специализация структуры данных под решаемые задачи высокая скорость обработки данных. • Не предусматривается установления связи между файлами, исключается работа в диалоге. • Применяется при решении узкоспециализированных задач с небольшим объемом данных, хранящихся в обособленных файлах.

10. Стандартные операции с файлами Файл представляет собой линейную последовательность записей, над которой можно выполнить следующие стандартные операции: • создать файл (требуемого типа и размера); • открыть ранее созданный файл; • прочитать из файла некоторую запись (текущую, следующую, предыдущую); • записать в файл на место текущей записи новую запись; • добавить новую запись в конец файла.

11. Недостатки пофайловой организации внутримашинного ИО Зависимость программ от данных (структура записи файла известна только программе, которая с ним работает) Сложность авторизации(принят децентрализованный принцип управления доступом, когда администрирование режимом доступа к каждому файлу осуществляется его владельцем) Сложность реализации многопользовательского доступа (эффективный многопользовательский доступ возможен только в режиме чтения файлов)

12. Организация ИО в виде БД • База данных – это интегрированная совокупность файлов, обеспечивающая хранение информационных ресурсов, удобное взаимодействие между ними и быстрый доступ к данным. • Преимущества: • обеспечение совместимости данных; • уменьшение синтаксической и семантической избыточности; • соответствие данных реальному состоянию объекта управления; • обеспечение многопользовательского доступа к данным. • Проблемы: • необходимость усиления контроля ввода данных; • необходимость разграничения прав доступа пользователей; • необходимость обеспечения защиты данных.

13. Виды БД • По используемой модели данных: • Иерархические; • Сетевые; • Реляционные; • Объектно-ориентированные. • По организации хранения данных и технологии их обработки: • Централизованные; • Распределенные.

14. Критерий выбора способа организации ИБ Достижение минимальных трудовых и стоимостных затрат на: • проектирование структуры ИБ, • проектирование программного обеспечения системы ведения файлов, • перепроектирование ИБ при возникновении новых задач.

15. Требования к организации БД логическая и физическая независимость данных; контролируемая избыточность данных; стандартизация данных за счет использования классификаторов; наличие словаря данных; специализация интерфейса для администратора БД и пользователей системы; контроль целостности данных; защита данных от несанкционированного доступа; наличие вспомогательных программных средств (утилит) проектирования и эксплуатации БД.

16. Виды БД по технологии хранения и обработки данных

17. Принципы организации централизованной БД обеспечение логической организации данных с помощью построения глобальной модели данных; представление информационных потребностей для каждой задачи в виде подмоделей данных; выделение специального языка описания данных для получения схем и подсхем; описание процедур обработки данных с использованием языка манипулирования данными; разделение доступа к полям данных; защита данных через пароль; обеспечение доступности данных одновременно для нескольких пользователей.

18. Принципы организации распределенной БД учет территориального расположения подразделений ЭИС; обеспечение независимости данных от их территориального расположения; оптимальное размещение БД между клиентами и серверами; сокращение стоимости информационного обслуживания клиентов; обеспечение решения сложных межведомственных задач; надежность хранения обработки данных; использование СУБД, ориентированных на работу в сети; возможность параллельного обращения к данным из различных узлов обработки данных.

19. Условия централизации и децентрализации данных • Данные централизуются, если: • данные непрерывно обновляются, а территориально разобщенные пользователи должны получать всякий раз последнее состояние данных; • поиск производится во всей совокупности данных; • над данными осуществляются операции со вторичными ключами. • Данные могут быть децентрализованными, если они используются локально в точке их происхождения. • При низкой скорости обновления допустимо хранение нескольких копий данных.

20. Классификация систем по способам распределения и обработки данных Централизованная обработка Распределенная обработка Распределенная обработка

21. Централизованные данные Централизованные данные, централизованная обработка Централизованные данные, распределенная обработка

22. Независимые данные Иерархические данные Зависимые данные Эталонная копия данных

23. Расщепленные данные Структура данных и программы их обработки в подсистемах одни и те же. Содержание различно.

24. Разделенные данные Структура данных, их содержание и программы обработки в подсистемах различны.

25. Реплицированные данные Копии одних и тех же данных. Структура данных и программы обработки идентичны.

26. Комбинированные формы распределения данных

27. Концепция информационных хранилищ Информация • Информационное хранилище позволяет обеспечить: • хранение разнородных данных из различных источников в течение больших периодов времени; • быстрый доступ к данным и поиск релевантной запросу информации. Знания Данные

28. Причины появления информационных хранилищ • Осознание руководством предприятий того, что в данных содержатся скрытые закономерности (знания), характеризующие процесс управления в целом, способные повысить его эффективность; • снижение стоимости средств хранения информации, дающее возможность хранить данные, накопленные за длительные интервалы времени; • снижение стоимости элементной базы сложных архитектур; • переход от массового обслуживания к индивидуальному (учет разнообразных требований заказчика).

29. Проблемы интеграции данных • Источники могут использовать различные модели данных и предоставлять различные интерфейсы для доступа к своим данным. • Данные источника могут быть неструктурированными. • Источники могут быть автономными.

30. Решение задачи интеграции данных

31. Хранилище данных — это «предметно-ориентированная, интегрированная, содержащая исторические данные, неразрушаемая совокупность данных, предназначенная для поддержки принятия управленческих решений» (Уильям Инмон, 1992). • Хранилище данных (Content Repository) – программная подсистема ИС, сочетающая в себе функции системы управления версиями, поисковой машины и СУБД. • Хранилище данных (Data Warehouse) – очень большая предметно-ориентированная корпоративная база данных, специально разработанная и предназначенная для подготовки отчетов, анализа бизнес-процессов с целью поддержки принятия решений в организации. • Хранилище данных– это автоматизированная информационно-технологическая система организации, которая собирает данные из существующих баз и внешних источников, формирует, хранит и эксплуатирует информацию в виде наборов данных.

32. Структура хранилища данных

33. Концепция хранилищ данных • Интеграция ранее разъединенных детализированных данных в едином хранилище. • Тематическое и временное структурирование, согласование и предварительная обработка. • Разделение хранящихся данных по их назначению – для операционной обработки и для использования в задачах анализа. Цель использования ХД – подготовка данных к последующему анализу. OLTP (On-line Transaction Processing) – задачи оперативной обработки данных; OLAP (On-line Analytical Processing) – задачи аналитической обработки данных

34. Свойства данных • Предметная ориентированность • Интегрированность • Неизменяемость и целостность • Хронологическая структурированность

35. Категории данных

36. Операции над данными • Сбор данных (пополнение хранилища данных) • очистка – устранение ненужной информации; • агрегирование – вычисление сумм, средних; • трансформация – преобразование типов данных, реорганизация структур хранения; • объединение из внешних и внутренних источников – приведение к единым форматам; • синхронизация – соответствие одному моменту времени. • Поддержка целостности и непротиворечивости данных • использование репозитория (словаря-справочника) • проверка данных на соответствие их структуре и назначению • Организация доступа к данным

37. Требования к хранилищам данных • Высокая скорость загрузки данных. • производительность процесса загрузки не должна накладывать ограничения на размер хранилища • Обеспечение полнофункциональной технологии загрузки • преобразование данных • фильтрация данных • переформатирование данных • проверка целостности данных • организация физического хранения данных • индексирование данных • обновление метаданных • Высокое качество хранилища данных • Мера качества хранилища – объективность исходных данных и степень разнообразия возможных запросов • Поддержка различных видов данных

38. Требования к хранилищам данных • Высокая скорость обработки запросов • зависит от сложности запроса, а не от объема хранилища • Масштабируемость. • поддержка СУБД параллельной обработки запросов • сохранение работоспособности в случае локальных аварий • обслуживание любого числа пользователей без потери производительности • Широкие возможности администрирования • контроль за приближением к ресурсным ограничениям • анализ затрат ресурсов • установка приоритетов для различных категорий пользователей и операций • осуществление настройки системы на максимальную производительность.

39. Транзакционные и аналитические системы Транзакционные системыориентированы на операционную, или транзакционную обработку данных (автоматизированные информационные системы, осуществляющие учет и хранение оперативной информации по бизнес-процессам предприятия); Аналитические системы ориентированы на анализ данных (системы поддержки принятия решений DSS - Decision Support System).

41. Характер использования системы

42. OLTP – Online Transaction Processing OLAP – Online Analytical Processing ETL – Extract, Transformation and Load (система извлечения, преобразования и загрузки данных ) Взаимное сочетание транзакционной, аналитической систем и хранилища данных зависит от специфики деятельности организации, количества и характера информации.

43. Варианты использования ХД Вариант 1 Независимые источники данных ТС 1 ТС 2 ТС 3 ХД АС АС – аналитическая система ТС – транзакционная система ХД – хранилище данных

44. Варианты использования ХД Вариант 1 Вариант 2 Независимые источники данных Источник данных ТС 1 ТС 2 ТС 3 ТС ХД ХД АС АС АС – аналитическая система ТС – транзакционная система ХД – хранилище данных

45. Варианты использования ХД Вариант 1 Вариант 2 Вариант 3 Независимые источники данных Источник Источник данных данных ТС 1 ТС 2 ТС 3 ТС ТС ХД ХД Архивные БД АС ХД АС АС АС – аналитическая система ТС – транзакционная система ХД – хранилище данных

46. Витрины данных Витрина данных (DataMart) – это тематическая база данных, содержащая информацию, относящуюся к отдельным аспектам деятельности организации. Витрина данныхявляется частью хранилища данных, специфицированной для использования конкретным подразделением или определенной группой пользователей.

47. Независимые витрины данных

49. Многоуровневое решение ХД

50. Концептуальная модель информационного хранилища