Доктор технических наук, профессор Павлов Алексей Николаевич

1. РОССИЙСКАЯ АКАДЕМИЯ ГОСУДАРСТВЕННОЙ СЛУЖБЫ ПРИ ПРЕЗИДЕНТЕ РОССИЙСКОЙ ФЕДЕРАЦИИ Тема 4. Технология коллективной подготовки и принятия управленческих решений на основе экспертных методов Дисциплина: «Информационные технологии в государственном и муниципальном управлении» Доктор технических наук, профессор Павлов Алексей Николаевич 01.12.2014

2. Причины использования мнений экспертов Использование мнений экспертов для подготовки и выработки управленческого решения обусловлено несколькими обстоятельствами. • Рассматриваемые проблемы, альтернативы возможных решений, прогнозы на будущее, не всегда сопровождаются полной и достоверной информацией. • При выборе окончательного решения, из предложенных альтернатив, необходимо учитывать мнение большинства специалистов, которые обладают опытом работы в предметной области, к которой относится рассматриваемая проблема. • Качество принимаемого решения во многом зависит от факторов внешней среды, которые не всегда возможно учесть при построении математической модели. • В условиях неопределенности (отсутствие достаточной информации), ответственное лицо за подготовку и принятие управленческого решения стремится снизить риск, за счет получения дополнительной информации от экспертов. В случаях, когда имеется возможность количественной оценки значений целевой функции и задача хорошо формализуема – привлекать экспертов нецелесообразно.

3. Условия проведения экспертизы • Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий: • экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы; • в работе экспертной комиссии не должно быть факторов, которые могли бы влиять на искренность суждений экспертов (мнения экспертов должны быть независимыми); • вопросы, поставленные перед экспертами, не должны допускать различного толкования; • эксперты должны быть компетентны в решаемых вопросах; • количество экспертов должно быть оптимальным; • ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

4. Цели проведения экспертизы Оценка текущей ситуации или событий, которые происходят с процессом или объектом Прогнозирование развития процессов или поведения системы на будущее Разработка вариантов решения проблемы Сбор предложений о поведении объекта или развития процесса в будущем Выбор подходящего решения из нескольких Обсуждение вариантов возможного поведения системы или изменения процесса Формирование требований или параметров для описания процесса, объекта Упорядочивание объектов по определенным критериям Направления работы с экспертами

5. Этапы процесса проведения экспертизы Проведение экспертизы Использование результатов Подготовка • Постановка задачи • Подбор экспертов • Выбор метода • Обучение работе • Назначение сроков • Разъяснение цели • Контроль работы • Сбор материалов • Обработка данных • Анализ результатов • Публикация результатов • Подготовка предложений Процесс организации экспертизы условно разделяется на три фазы (подготовка, проведение, использование), продолжительность каждой фазы зависит от степени подготовленности экспертов, выбранной методики проведения экспертизы и назначения материалов для дальнейшей работы Использование Проведение Подготовка t

6. Календарный график выполнения работ организатором проведения экспертного оценивания 5 Готовое предложение 1 Задание на проведение опроса экспертов 6 3 4 2 7 Функции организатора процесса 1. Представление проблемы и формулировка задачи, которую решают эксперты 2. Выбор методики проведения экспертизы и формулировка правил ее проведения 3. Формирование группы экспертов, которые являются компетентными специалистами в представленной проблеме 4. Оповещение экспертов о целях проведения экспертизы, сроках, правил и условий их участия 5. Подготовка и распространение анкет среди экспертов 6. Сбор и обработка материалов, представленные экспертами 7. Анализ результатов и выработка предложений по использованию

7. Распределение затрат времени организатора проведения экспертного оценивания Затраты времени, которые можно сократить за счет внедрения CASE-средств и сетевых технологий для проведения экспертного оценивания Практика использования программных средств для поддержки работы специалистов в режиме удаленного доступа с экспертными системами показывает: 1. Специалисты быстро адаптируются к условиям самостоятельной работы в сети. 2. У руководителя проведения экспертизы снижаются затраты времени на организационные мероприятия.

8. Подбор экспертов • Случайный выбор • Выбор по категориям • Подбор противоположностей • Выбор по методу самооценки • Выбор методом оценки группой • Выбор на основе имеющихся сведений по предыдущей работе Эксперт – лицо, обладающее специальными знаниями в определенной предметной области, опытом работы, независимостью суждений при выработке рекомендаций или оценке сложившейся ситуации.

9. Главные черты идеального эксперта • Креативность – способность решать творческие задачи, метод решения которых пока неизвестен • Эвристичность – способность видеть или создавать неочевидные проблемы • Интуиция – способность делать заключение об исследуемом объекте без осознания пути движения мысли к этому заключению • Предикативность – способность предвидеть или предугадывать будущее состояние исследуемого объекта • Независимость – способность противопоставлять предубеждениям и массовым мнениям свое собственное • Всесторонность – способность видеть проблему с различных точек зрения

10. 0,12 0,65 0,23 Направления при организации проведения экспертного оценивания 2. Рассматривают несколько альтернатив 1. Рассматривается один объект Необходимо выбрать или указать главенствующие показатели, которые относятся к факторам, описывающие исследуемый объект Необходимо оценить вероятность риска принятия альтернативы или вероятность наступления события в будущем Наименование объекта Наименования факторов, которые характеризуют объект Показатели Объекты, альтернативы, варианты решения проблемы Коллективная оценка экспертов или данные, полученные от респондентов Эксперты выбирают, предлагают наиболее подходящие показатели для каждого фактора

11. Последовательность организации проведения экспертного оценивания Варианты рассмотрения вопросов, проблем Цели и результаты 1. Вопросы рассматриваются последовательно Выбор объектов на основании большинства голосов Количественная или качественная оценка объектов 2. Объекты рассматриваются одновременно % • Группировка объектов К1 {А1, А3}; К2 {А2, А4} • Отсеивание объектов П {А2, А4} • Ранжирование объектов I – A4; II – A2; • III – A1; IV – A3 А1 А2 А3 А4

12. Объект Упорядочивание Оценка состояния Выбор варианта Конструирование Проектирование Направления проведения экспертиз Рассматриваются множество объектов с однотипными параметрами Рассматривается один объект и множество его признаков Независимые параметры Воздействия Внутренние и внешние, которые бывают: случайными, повторяющимися и вызванные при определенных обстоятельствах.

13. Ожидаемые результаты при работе с экспертами

14. Обсуждение Голосование Сбор предложений Генерация идей По этапам (отдельно каждый вопрос) В конце работы по итогам совещания Сбор и анализ предложений Совещание в формате «Круглый стол» Совещание в виде конференции Дискуссия в формате «Мозговой штурм» • Распределение предпочтений. • Выбор наиболее приемлемого варианта. • Согласование направлений действий. • Распределение обязанностей. • Набор альтернатив. • Направления выхода из критической ситуации. • Прогноз развития события. Организация обсуждений с экспертами

15. Совокупное мнение экспертов 1) удовлетворяет порогу значимости 2) Не удовлетворяет порогу значимости Принять результаты экспертного опроса • Изъять некоторые мнения экспертов • Повторить процедуру Принять результаты экспертного опроса Коэффициент корреляции по совокупности всех оценок одного эксперта либо ниже среднего значения, либо находится в пределах допустимого Эксперт 1 Эксперт2 …………. Эксперт j …………. Эксперт m Принять результаты экспертного опроса Коэффициент отношения согласованности оценок эксперта либо превышает 10% барьер, либо нет Предложить эксперту повторно заполнить анкету для голосования Предложить эксперту проверить оценки и откорректировать Анализ согласованности мнений экспертов Глобальная проверка согласованности всей совокупности мнений экспертов Вычисление коэффициента конкордации и его статистическая оценка Появляется возможность определить группу экспертов, чьи мнения отличаются от мнений других Местная проверка согласованности мнения эксперта со всеми остальными Вычисление парных коэффициентов корреляции и их статистическая оценка Позволяет выявить, в чем проявляется несогласие эксперта по отношению к группе экспертов Индивидуальная проверка правильности использования шкалы оценок одним экспертом Вычисление коэффициента согласованности и его статистическая оценка Позволяет выявить ошибки эксперта при заполнении анкет при использовании определенной шкалы оценок В соответствии с установленными правилами проводит оценивание объектов (факторов) и передает заполненную анкету для анализа организатору экспертного оценивания

16. A1 A2 A3 A4 Шкалы измерений относительной важности объектов Эксперту необходимо руководствоваться предложенной шкалой для оценки рассматриваемого объекта

17. Определение согласованности мнений экспертов При подборе экспертов большое внимание уделяется согласованности их мнений. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации. где S – сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов, n – число экспертов, m – число объектов экспертизы.

18. Оценка согласованности мнений экспертов Распределение для 3-х оцениваемых объектов W*=0,3758 При значении Wr > W*гипотеза о согласованном мнении принимается Распределение для 7-ми оцениваемых объектов W*=0,2528

19. Метод ранжирования (методология) • Непосредственное оценивание • Использование промежуточной шкалы для оценивания объектов Проекты и их описание Эксперты исследуют характеристики проектов. Выставляют интегральную оценку по каждому проекту, используя порядковую шкалу измерения. 1 2 3 Шкала порядков Оценки заменяются рангами (порядковыми номерами). Ранги суммируются, что дает возможность выявить общее мнение экспертов. Ранговая шкала 3 1 2 Распределение мест проектов

20. Обработка результатов ранжирования объектов При равенстве баллов, ставят среднее значение места (ранга) 10 10 40 45 15 35 20 35 50 5

21. Рассматриваемая проблема Объект исследования Параметры объекта (факторы) Наименования показателей факторов Значения показателей Идеология создания анкеты для опроса экспертов Модель опросного листа представляется в виде иерархической структуры, что позволяет формировать простые и сложные анкеты для решения разнообразных задач. U F1 Fi Fn P21 P31 P1i P2i P1n Pkn P11 . . . Z11 Z21 Z31 Z1i Z1i Z1i Zkn

22. Работа по подготовке анкеты 1. Постановка задачи Организатор 2. Модель анкеты Объект При использовании одного фактора, модель анкеты содержит три уровня Фактор Наименование

23. Проект производства нового вида продукции Финансирование работ Собственная разработка Лицензия фирмы Собственные средства Зарубежный аналог Промышленная Инвестор со стороны Использ. в быту Кредит в банке Пример разработки сложной анкеты Назначение продукции Базовая модель изделия

24. Работа эксперта со сложной анкетой Эксперту предлагается последовательно рассмотреть параметры каждого фактора на отдельной анкете и сделать свой выбор.

25. Модель объекта, представленная j-ым экспертом Модель признака (показателя) P21для фактора F1 Представление данных в таблице объект-признак Эксперты

26. A1 A2 A3 A3 A2 K1 K2 K3 K4 A1 Проблемы многокритериального выбора Цель:выбрать наилучший вариант из предложенных с учетом набора критериев, по которым оцениваются альтернативы

27. Цель Кластеры Акторы Критерии Альтернативы Метод анализа иерархий Одним из популярных методов анализа сложных социально-политических и экономических проблем, достаточно широко применяющийся в настоящее время, является, так называемый, метод анализа иерархий (МАИ - Analytic Hierarchy Process). Указанный метод, разработан видным американским специалистом по теории принятия решений Томасом Саати. В основе метода пред-ложено использовать парное сравнение объектов, которые располагаются на нескольких уровнях иерархической струк-туры модели исследова-ния. Парные сравнения позволяют выявить рейтинг каждого объекта в количественном выражении. Метод позволяет провести анализ проблемы. При этом проблема принятия решения представляется в виде иерархически упорядоченных уровней. Метод позволяет оценить противоречивость данных и минимизировать ее. Метод позволяет провести синтез проблемы принятия решения. После того, как проведен анализ проблемы и собраны данные по всем кластерам, по специальному алгоритму рассчитывается итоговый рейтинг - набор приоритетов альтернативных решений.

28. Набор объектов, которые удовлетворяют всем поставленным условиям Граница отбора объектов, которые удовлетворяют одному условию (ограничению) Объекты, которые удовлетворяют всем 3-м условиям Объекты, которые удовлетворяют только 2-м условиям Объекты, которые удовлетворяют всего 1-му условию Необходимость ввода ограничений при решении практических задач с экспертами Параметры больше определенной величины Меньше какого-то значения Задан интервал

29. Шкала относительной важности для измерения значимости объектов друг относительно друга

30. Осуществляется парное сравнение объектов (альтернатив) по каждому критерию Вычисляется глобальное значение значимости каждой альтернативы Осуществляется парное сравнение критериев 1 шаг 2 шаг 3 шаг Парные сравнения объектов и вычисление вектора приоритетов (главных компонент)

31. Подготовка к работе Контроль за процессом Участие в работе Рабочее место организатора Web-сервер организации Рабочее место пользователя Режим реального времени предусматривает работу пользователей с интерактивными приложениями, которые хранятся на Web-сервере. Перед началом выполнения работ в сети, необходимо провести подготовительные операции, которые осуществляет организатор (администратор). Организация работы с Web-приложениями в сети Все компьютеры в сети имеют собственные IP-адреса, работают по протоколу HTTP.

32. Благодарю за внимание Желаю успехов По всем вопросам, связанных с содержимым представленного материала, Вы можете обратиться к автору Павлову Алексею Николаевичу. Тел.: 436-04-26, Электронная почта: pavan@ur.rags.ru, Москва, РАГС, кафедра «Информационные технологии в управлении», ком. 2123 (2-ой уч. корпус).