Краткое содержание Джим Ру (основывается на совместной работе с Майклом Бэмбергером)

1. Международная сеть «Оценка программ»Заседание для профессионального развития «RealWorld Evaluation»Проведение оценки в условиях бюджетных, временных и информационных ограничений(ранее этот подход называли «Shoestring Evaluation»)Kиев, Украина, 22 сентября, 2004 г. Краткое содержание Джим Ру (основывается на совместной работе с Майклом Бэмбергером)

2. Сценарии оценки «RealWorld» Сценарий №1. Команда по оценке начинает работу, когда проект практически завершён.Нет исходных данных. Существуют бюджетные ограничения и сжатые сроки для завершения оценки. Ключевые заинтересованные лица не хотят видеть негативную информацию в результатах!

3. Сценарии «RealWorld evaluation» Содержание сценария №1: По политическим, техническим и бюджетным мотивам: • Не было проведено исходное исследование • Реализаторы проекта не собирали адекватную информацию об участниках проекта в начале и вовремя реализации проекта. • Затруднительно собрать информацию о сравниваемых контрольных группах.

4. Сценарии «RealWorld evaluation» Сценарий № 2: Группа по оценке начала работу на ранней стадии реализации проекта, но из-за бюджетных, политических и методологических ограничений не возможно собрать исходную информацию о контрольных группах, а иногда даже и о участниках проекта.

5. Сценарии «RealWorld evaluation» Содержание сценария №2: • Не собирались (или по меньшей мере неадекватны) исходные материалы, а также нет информации о контрольных группах • Спешка • Бюджетные ограничения

6. Потребность в подходе «RealWorld Evaluation»: • В результате таких ограничений, зачастую приходится жертвовать многими основными принципами моделей оценки воздействия (сравнительная модель, в которой используется тестирование до начала и в конце проекта;контрольные группы; инструментальное развитие и тестирование; избрание случайной выборки; контролирование предубеждений исследователей путём тщательной документации оценочных методологий,т.д.).

7. Подход «RealWorld Evaluation»: • Подход «RealWorld Evaluation» разработан, чтобы помочь экспертам по оценке, проводить её настолько методологически обосновано насколько возможно, когда приходится работать в условиях бюджетных и временных ограничений, когда существует ограниченный доступ к информации и происходит давление предоставить только определённые результаты.

8. Подход «RealWorld Evaluation» Интегрированный подход, чтобы обеспечить допустимые стандарты методологической неподвижности, в условиях практических бюджетных, временных, информационных и политических ограничений. См. раздаточный материал под названием “RealWorld Evaluation» в двух словах

9. Этапы подхода «RealWorld Evaluation» Этап №1: Планирование и определение масштабов оценки Этап №2: Обратите внимание на бюджетные ограничения Этап №3: Обратите внимание на временные ограничения Этап №4: Обратите внимание на информационные ограничения Этап №5: Обратите внимание на политические ограничения Этап №6: Оцените сильные стороны и недостатки оценочной модели Этап №7: Обратите внимание на недостатки и укрепите оценочную модель

10. Подход «RealWorld Evaluation» • Был разработан, чтобы помогать тем, кто проводит оценку, и клиентам • менеджерам, донорским организациям и внешним консультантам • Работа в прогрессе • Первоначально был разработан для развивающихся стран, но может быть применим в индустриальных странах.

11. Особые проблемы связанные с оценкой в развивающихся странах • Информационные ограничения • Недостаточные местные ресурсы для оценки • Бюджетные ограничения • Организационные и политические ограничения • Отсутствие культуры проведения оценки • Многие оценки разработаны внешними донорскими организациями для собственного использования • и они не принимают во внимание приоритеты заинтересованных людей из данной страны.

12. Особые проблемы связанные с оценкой в развивающихся странах Несмотря на эти проблемы, существует растущая потребность в методологически обоснованных оценках, которые определяют влияние, стабильность развития и возможность повторного применения проектов и программ по развитию …………………….

13. Особые проблемы связанные с оценкой в развивающихся странах К сожалению, эксперт по оценке зачастую будет вынужден проводить оценку в условиях: • Бюджетных ограничений • Временных ограничений • Информационных ограничений И / или • Политических ограничений

14. Большинство методов «RealWorld» не новы – новый только интегрированный подход • Большинство методов сбора и анализа подхода «RealWorld» будут известны большей части экспертов по оценке • Новым является интегрированный подход, который сочетает широкий спектр методов, чтобы произвести оценку наилучшего качества в условиях практических ограничений.

15. Сценарии «RealWorld evaluation»: (click) • Адекватный бюджет, но нехватка информации • Исследование выборки неэквивалентной контрольной группы через некоторое время после завершения проекта с применением многомерного анализа. • Ограниченный бюджет, но достаточное количество времени • Национальные команды по оценке могут не иметь возможности пригласить иностранных экспертов или провести исследование большой выборки – но у них может быть достаточно времени, чтобы использовать качественные методы и небольшие периодичные исследования. • Адекватный бюджет, но нехватка времени • Это ситуация происходит довольно часто, когда нанимают внешних экспертов по оценке, и они вынуждены работать при сжатых конечных сроках.

16. Кто и когда использует «RealWorld Evaluation»? • Два основных пользователя: • Те, кто проводят оценку • Менеджеры, донорские организации и внешние консультанты • Проведение оценки может начаться: • В начале реализации проекта • После того, как проект начал работать на полную мощность • Во время или в конце реализации проекта

17. TheReal-World Evaluation Approach • 1-ый этап: Планирование и определение объёма оценки • A. Определение информационных потребностей клиента и понимание политического контекста • B. Определение теоритической модели программы • C. Определение бюджетных, временных, информационных и политических ограничений, на которые следует обратить внимание при помощи «Real-World Evaluation» (далее RWE) • D. Отбор модели, которая наиболее соответствует потребностям клиента в рамках ограничений RWE 2-ой этап Обратите внимание на бюджетные ограничения A. Измените оценочную модель B. Рационализируйте информационные потребности C. Ищите надёжную вторичную информацию D. Проверьте составление выборки E. Экономные способы сбора информации 3-ий этап Обратите внимание на временные ограничения Все способы из 2-ого этапа плюс: F. Поручить подготовительные исследования G. Нанять больше людей H. Убедиться, что формат проектных записей содержит критическую информацию для анализа влияния проекта I. Современные способы сбора информации и технологии анализа 4-ый этап Обратите внимание на информационные ограничения F.Восстановление исходной информации G.Воссоздание контрольных групп H.Работа с неэквивалентными контрольными группами I.Сбор информации на деликатные темы или от труднодоступных групп. J. Различные методы 5-ый этап Обратите внимание на на политические воздействия A. Приспособление давления со стороны донорских организаций или клиентов к оценочной модели B. Обратите внимание на методологические предпочтения stakeholder C. Признание влияния профессиональных исследовательских парадигм 6-ой этап Оценка сильных сторон и недостатков оценочное модели A. Выявить что угрожает достоверности квази-экспериментальных моделей B. Оценить адекватность количественных моделей C. Всеобъемлющий перечень многометодных моделей 7-ой этап Обратите внимание на выявленные недостатки и укрепите оценочную модель A.Объективность/подтверждаемость B.Надёжность/зависимость C.Внутренняя общезначимость/правдоподобие/подлинность D.Внешняя общезначимость/переносимость/применимость Утилизация/применение/ориентация действий

18. Этап №1: Планирование и определение объёма оценки • Определение информационных потребностей клиента • Определение теоретической модели программы • Определение ограничений, на которые следует обратить внимание во время «RealWorld Evaluation»

19. A. Определение информационных потребностей клиента Типичные вопросы, на которые клиенты хотят знать ответы: • Достигает ли проект поставленных целей? • Все ли целевые группы людей получают пользу? • Стабильно ли развивается проект? • Какие контекстуальные факторы определяют уровень успеха или неудачи?

20. A. Определение информационных потребностей клиента Полное понимание информационных потребностей клиента зачастую может уменьшить род собираемой информации и степень детализации Хотя, подобное понимание может также увеличить количество необходимой информации!

21. B. Определение теоретической модели программы Все программы основаны на ряде предположений (гипотез) о том, как проектные интервенции должны привести к желаемым результатам. • Иногда это чётко описано в проектных документах. • Иногда это только подразумевается и должно быть определено экспертом, который проводит оценку.

22. B. Определение теоретической модели программы • Определение и тестирование критических предположений являются неотъемлемым (но зачастую игнорируемым) элементом теоретических моделей программ • На следующем слайде пример того как можно оценить воздействие микрокредитов на предоставление расширенных социальных и экономических прав женщинам

23. Критические предположения, связанные с необходимостью реализации программы предоставления микро-кредитов не зависимо от пола • В целом • Экономическое развитие женщин, затруднено из-за отсутствия доступа к кредиту • Потребность • Женщинам необходима кредитная и техническая помощь • Процесс • Способы реализации должны быть адаптированы согласно культурным ограничениям в отношении женщин

24. Критические предположения, связанные с необходимостью реализации программы предоставления микро-кредитов не зависимо от пола • Результаты • Если кредиты будут доступными, у женщин будет желание и возможность получить кредиты и техническую помощь • Краткосрочные результаты • Если женщины получат кредит, они начнут деятельность, которая будет приносить им доход • Женщины смогут контролировать использование кредита • Средне/долгосрочные результаты • Улучшиться экономическое и социальное благополучие женщин и их семей • Расширенные экономические и социальные права женщин • Стабильное развитие • Воздействие будет продолжаться ещё длительное время

25. C. Определение подходящей (и допустимой) модели оценки • На основе информационных потребностей, необходимого уровня строгости и того, что возможно в условиях ограничений, эксперт по оценке определяют необходимую и возможную модель.

26. Давайте не на долго обратим внимание на модель оценки (краткое описание) • 1: Рассмотрите различные модели по оценке (экспериментальные/исследовательские) • 2: Разработайте критерии для подходящих условий оценки проекта, в рамках модели оценивания (запланированная или не запланированная). • 3: Используйте дерево решений, чтобы определить, что необходимо (или допустимо) включить в условия оценки. • 4: Перспектива модели оценки на протяжении всей реализации проекта.

27. шкала основных индикаторов воздействия Введение в различные модели оценки Пояснения к потребности в квази-экспериментальных периодических моделях оценки Участники проекта Группа сравнения Оценка после окончания проекта исходные материалы конец оценки проекта

28. Хорошо, давайте сделаем перерыв, чтобы определить каждый из основных типов моделей оценки (исследования) … … по очереди … начнём с самых сильных моделей.

29. Модель #1: Периодичная Квази-экспериментальная P1 X P2 X P3 P4 C1 C2 C3 C4 Участники проекта Группы сравнения исходные материалы середина конец оценки проекта Оценка после окончания проекта

30. Модель #2: Квази-экспериментальная (до начала+в конце – проектная иконтрольная группы) P1 X P2 C1 C2 Участники проекта Группа сравнения Исходные материалы Оценка в конце проекта

31. Модель #3: Сокращённая Периодичная X P1 X P2 C1 C2 Участники проекта Группа сравнения середина Оценка в конце проекта

32. Модель #4: до начала+в конце – проектная группа; в конце-только контрольная P1 X P2 C Участники проекта Группа сравнения Исходные материалы Оценка в конце проекта

33. Модель #5: До начала+в конце - проектная; нет контрольной P1 X P2 Участники проекта Исходные материалы Оценка в конце проекта

34. Модель #6: Только в конце – проектная и контрольная группы X P2 C Участники проекта Группа сравнения Оценка в конце проекта

35. Модель #7: В конце только участники проекта X P Участники проекта Оценка в конце проекта

36. Теперь давайте рассмотрим группу вопросов, которые могут помочь нам подготовить на заказ условия проведения оценки.

37. Вопрос: Была ли оценка заранее спланирована? Напр. была ли включена модель оценки в план проекта M&Eс самого начала? Да Нет Используйте заранее составленный план в качестве инструкций по оценке проекта. Это должно включать в себя оценку уместности плана, но также следует признать и использовать его. Это будет разовая оценка (напр. модель №5 или №7). Это ограничивает строгость модели оценки, но даже в таких условиях существуют вещи, которые можно сделать.

38. Вопрос: Есть ли исходная информация (проводилось ли тестирование до начала проекта)? Да Нет Хорошо! Это делает возможным использовать модель «до и после» (Модель №4 или №6), если оценка в конце проекта соизмерима с исходными материалами. Очень плохо. Вам придется заняться ретроспективным угадыванием (группа сравнения только в конце) (Модель №5) или справляться с ограничением «одного кадра».

39. Вопрос: Использовалась ли контрольная группа в исходном материале? Да Нет Хорошо. Советую модель #1 или #2 (квази-экспериментальная) ЕСЛИ есть группа сравнения для тестирования в конце проекта (см. следующий вопрос). Очень плохо. Всё ещё можно использовать Модель #3 или #4, надеясь что группа сравнения в конце проекта была похожей на участников в начале проекта.

40. Вопрос: Возможно ли использовать контрольную группу при оценке в конце проекта? Да Нет Если так, можно использовать Модель #3, #4 или #5. Сделать всё возможное, чтобы проверить сходство между группой сравнения и участниками в начале. Рассмотрите возможность использования вторичной информации, которая может дать понятие об основных тенденциях среди населения, чтобы сравнить с группой участников.

41. Вопрос: Была ли собрана надёжная информация о индикаторах эффекта и/или воздействия во время реализации проекта? Да Нет Очень полезно! Квази-экспериментальная периодическая модель (#1) может быть возможна, включая изучение тенденций на протяжении некоторого времени. Тестирование до начала + в конце проекта (Модель №2) не так уж плохо. Вы также можете поискать вторичную информацию, которая показывает тенденции.

42. Другие вопросы, которые помогут подготовить на заказ условия проведения оценки: • Кто попросил провести оценку? (Кто является основными заинтересованными лицами)? • На какие основные вопросы необходимо ответить? • Оценка будет формативной или подводящей итог? • На основе результатов оценки будет ли основана следующая фаза или создан другой проект?

43. Другие вопросы, которые помогут подготовить на заказ условия проведения оценки: • Какие будут приняты решения в ответ на результаты оценки? • Какой уровень строгости является подходящим? • Каков охват/масштаб оценки? • Сколько времени потребуется/будет в распоряжении? • Какие финансовые ресурсы необходимы/имеются в наличии?

44. Другие вопросы, которые помогут подготовить на заказ условия проведения оценки: • Оценка должна в основном базироваться на количественных или качественных методах? • Следует ли применять методы с вовлечением участников? • Следует ли проводить опрос среди семей? • Кого следует опросить? • Кто должен быть вовлечён в планирование / проведение оценки?

45. Модель оценки (исследования)? Доступные ресурсы? Ключевые вопросы? Время, имеющееся в наличии? Что оценивать? Навыки, имеющееся в наличии? Качественный? С вовлечением участников? Количественный? Добывающий? Масштаб? Подходящий уровень строгости? Для кого оценка? Это Вам помогло или ещё больше всё запутало? Кто сказал что проведение оценки (как и жизнь) будет лёгким делом?!!

46. До того, как мы вернёмся к этапам«RealWorld», давайте получим представление о том, как может выглядеть оценка на протяжении всей реализации проекта

47. Высокий уровень точности 4 3 2 Низкий уровень точности Время реализации проета Определение подходящего уровня точности для действий в плане оценки, которая проводитсяна протяжениивсей реализациипроекта Одинаковый уровень строгости Окончательная оценка Исходное исследование Оценка в середине проекта Определение потребностей Специальные исследования Годовая самооценка

48. Так, где же мы сейчас? О да, мы готовы ко второму этапу подхода «RealWorld Evaluation». Давайте продолжим …

49. Этап №2: Обратить внимание на бюджетные ограничения • Упростить модель оценки • Уточнить информационные потребности клиента • Найти надёжную вторичную информацию • Проверить размер выборки • Уменьшить затраты на сбор и анализ информации

50. 2A: Упростить модель оценки • Для количественных оценок можно применить одну из семи наиболее распространённых моделей оценки (следует принять во внимание соотношение выгод и потерь при использовании более простой модели). • Для качественных оценок варианты будут меняться в зависимости от типа модели.