Роль доноров в развитии потенциала некоммерческих организаций в области оценки: международный опыт

1. Роль доноров в развитии потенциала некоммерческих организаций в области оценки: международный опыт ДарьяШамрова Менеджер программ, E&P shamrovadp@uralsib.ru 19.02.2013 Круглый стол «Влияние и роль донорский организаций в оценке социальных программ. Общие подходы к оценке социальных результатов проектов и программ в сфере детства». Форум доноров.

2. Содержание 1 Что думают НКО о месте оценки в их деятельности? 4 2 Для чего используются результаты оценки донорами и НКО? 5 Какие существуют барьеры в развитии потенциала НКО в оценке? 3 6 4 Как донор может помочь НКО развивать потенциал в оценке? 7 Что можно сделать, чтобы повысить эффективность взаимодействия доноров и НКО в области оценивания результатов деятельности? 9 5 6 Опыт зарубежных партнерских инициатив в сфере оценки социальных результатов программ , ориентированных на работу с детьми и семьей 10 7 Опыт Evolution & Philanthropy в развитии потенциала НКО в оценке в РФ 18

3. Обзор исследований Пространство для развития. Как фонды поддерживают измерение результативности в НКО • Организатор проведения: Центр эффективной филантропии • Год: 2012 • Метод: опрос • Участники: 300 НКО США Состояние оценки в 2012 году: практики оценки и ее потенциала в некоммерческом секторе • Организатор проведения: Innovation Network • Год: 2012 • Метод: опрос • Участники: 546 НКО США. 84% - управляющий персонал НКО, 59% - организации, работающие на местном уровне, 15% - на уровне штата, 12% - на уровне государства, 8% - региональные НКО, 6% - международные организации; 60% организаций 20 лет и старше Состояние развития потенциала оценки в Украине: спрос, предложение и институционализация • Организатор проведения: Украинской Ассоциацией оценки • Год 2012 • Метод: качественное исследование с использованием метода интервью. • Участники: Было опрошено 10 доноров (100% выборки – крупные международные доноры)

4. Оценка занимает предпоследнее место в ряду приоритетов НКО ИССЛЕДОВАНИЯ 8.46 ФИНАНСОВЫЙ МЕНЕДЖМЕНТ 3.79 ОЦЕНКА 6.17 ФАНДРАЙЗИНГ 3.44 ВЫСОКИЕ ПРИОРИТЕТ 3 2 4 5 9 1 8 6 7 10 НИЗКИЙ ПРИОРИТЕТ КОММУНИКАЦИИ 4.67 ОРГАНЫ УПРАВЛЕНИЯ 5.80 СТРАТЕГИЧЕСКОЕ ПЛАНИРОВАНИЕ 5.02 ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ 5.74 РАЗВИТИЕ ПЕРСОНАЛА 5.25 ЧЕЛОВЕЧЕСКИЕ РЕСУРСЫ 5.40 Состояние оценки в 2012 году: практики оценки и ее потенциала в некоммерческом секторе ( State of Evaluation 2012: Evaluation Practice and Capacity in the Nonprofit Sector. A research Study by Innovation Network, Inc.)

5. В целях оценки и в использовании ее результатов НКО и донорами, в основном, сходятся, хотя есть и различия НКО Доноры Как используются результаты оценки донорами и НКО? Для чего доноры и НКО проводят оценку? Состояние оценки в 2012 году: практики оценки и ее потенциала в некоммерческом секторе ( State of Evaluation 2012: Evaluation Practice and Capacity in the Nonprofit Sector. A research Study by Innovation Network, Inc.)

6. Недостаток времени у сотрудников – самый значительный барьер в развитии потенциала оценки у НКО Состояние оценки в 2012 году: практики оценки и ее потенциала в некоммерческом секторе ( State of Evaluation 2012: Evaluation Practice and Capacity in the Nonprofit Sector. A research Study by Innovation Network, Inc.)

7. 3 способа помочь Вашим грантополучателям развивать потенциал в оценке 1) финансовая помощь; 2) нефинансовая помощь; 3) переориентация запроса на оценку в соответствии с потребностями НКО Что обсуждают доноры и НКО в дискуссиях по оценке (по шкале от 1 до 7 ) «Донорам стоит изначально закладывать средства в гранте на оценку результатов проектов, а не надеяться на то, что это может быть сделано без затрат. Более того, если программа долгосрочная было бы полезно инвестировать в инструменты для измерения ее результатов» Большинство НКО (53%) считают, что доноры ориентируются на собственные информационные потребности при запросе на оценку, нежели на потребности НКО, которым они выделяют гранты. • 82 % НКО считают обсуждение результатов оценки с донорами полезными • 75% НКО регулярно обсуждают результаты оценки с донорами • 37% НКО сичтают, что доноры воспринимают неудачи как возможности для совершенствования Те НКО, что стоят на такой позиции, гораздо ниже оценивают полезность оценки Пространство для развития. Как фонды поддерживают измерение результативности в НКО (Room for Improvement. Foundation’s Support of Nonprofit Performance Assessment by Andrea Brock, Ellie Buteau and An-Li Herring. Center for Effective Philanthropy, 2012), Состояние оценки в 2012 году: практики оценки и ее потенциала в некоммерческом секторе ( State of Evaluation 2012: Evaluation Practice and Capacity in the Nonprofit Sector. A research Study by Innovation Network, Inc.)

8. Ситуация в области оценки в Украине: роль донора . • Результаты исследования: • Каждый донор предлагает собственный стандарты проведения оценки и мониторинга (см. Приложение). • Бюджет доноров на мониторинг и оценку варьируется от 5-10 % • Доноры не имеют отдельных департаментов по оценке в Украине, поэтому обязанности по МиО ложатся на программных менеджеров, у которых зачастую не достает квалификации и нет ресурсов найти помощь для получения необходимой информации. Используются в основном внешние команды оценщиков. • Доноры зачастую готовы инвестировать в развитие потенциала НКО по проведению оценки – в основном в тренинги для персонала. • Проблемы сосредоточены в согласовании интерпретации полученных данных и в использовании результатов оценки • Два пути как донор может продвигать результаты оценки: составление плана действий на основе результатов оценки и организация обсуждений результатов в профессиональном сообществе • Рекомендации донорам: • Развивать потенциал в оценке грантополучателей в области оценки через формальные и неформальные тренинги и обмен опытом, и другие инструменты профессионального развития • Поддерживать спрос НКО и государственного сектора на оценку через формирование Фонд поддержки оценки • Целенаправленно работать с НКО по изменению отношения к оценке как «требованию донора» • Продвигать партнерские инициативы по межсекторному взаимодействию в области МиО как к ключевому фактору развития эффективной системы МиО Состояние развития потенциала оценки в Украине: спрос, предложение и институционализация (State of Evaluation Capacity Development in Ukraine: Demand, Supply, Institutionalisation” by Ukranian Evaluation Association, Kiev, 2012)

9. Что можно сделать, чтобы повысить эффективность взаимодействия доноров и НКО в области оценивания результатов деятельности? Общее понимание того, что есть оценка результативности НКО Однородные стандарты запрашиваемой донором информации о достижении результата Понятные и донорам, и НКО, цели оценки результативности НКО Продвижение использование результатов оценки для принятия решений (в том числе и для Советов Директоров) Донор: НКО должны больше и лучше работать, чтобы оценить свою результативность НКО: Мы и так прилагаем большие усилия и всячески привержены оценке нашей результативности Донор НКО Пространство для развития. Как фонды поддерживают измерение результативности в НКО (Room for Improvement. Foundation’s Support of Nonprofit Performance Assessment by Andrea Brock, Ellie Buteau and An-Li Herring. Center for Effective Philanthropy, 2012)

10. США, Австралия и Ирландия – центры партнерства в области оценки программ в сфере защиты детства

11. Партнерства в сфере оценки программ в области защиты детства и зачем нужны партнерские инициативы по оценке Партнёрства в сфере оценки программ в области защиты детства – это инициативы, основанные на вовлечении различных стейкхолдеров в выработку единых позиций в вопросах оценки программ по защите детства Зачем нужны такие инициативы? • Для планирования социальных результатов • Для улучшения социальных результатов для детей, подростков и их семей через: • Создание общего языка между заинтересованными в оценке программ сторонами • Согласование программных областей (социальных результатов), которые требуют фокуса в оценке • Картирование услуг, анализ недостатка в услугах и планирование исходя из полученных данных • Выработка планов по решению приоритетных проблем • Предоставление тех услуг, которые действительно необходимы детям • Эффективная аллокация ресурсов и сокращение случаев дублирования услуг • Создание партнерств между детьми и подростками, местным сообществом и НКО • Возможность выразить мнение для детей и их семей;

12. Общее и различное в партнерских инициативах Согласование общих областей для оценки

13. Сравнение фокусов внимания оценки программ в сфере защиты детства Все партнерские инициативы так или иначе фокусируются на 3 правах ребенка: право ребенка быть здоровым и жить в безопасности, право на семью и право на образование

14. Информационная база индикаторов и инструментов для их измерения по различным темам Основатели инициативы: The Urban Institute and the Center for What Works, а также Child Trends и Social Solution. 3 основные информационные услуги: База инструментов измерения результатов программ по двум фокусным темам: образование и социальная помощь детям и молодежи База индикаторовпо темам организация местного сообщества, образование и развитие познания у детей, психологической и эмоциональное развитие, социальное и поведенческое развитие детей и др. Рекомендации по улучшению качества программ на основе полученных данных по тем же темам. Доступ к информационным базам по ссылке: www.performwell.org(ресурс находится в стадии создания и тестирования) Perform Well (USA): база индикаторов и инструментов

15. Promising Practice Network: фокус на доказанной результативности программ • Promising Practices (PP) – информационный портал, содержащий информацию о результатах программ в сфере защиты семьи и детства. • Аудитория: законодатели и лица, принимающие решения на различных уровнях власти • Партнерство, созданное 14 донорами среди которых Annie E. Casey Foundation, The California Wellness Foundation, The David and Lucile Packard Foundation, Grantmakers for Children, Youth & Families (GCYF) и др. с привлечением НКО, государственных социальных учреждений. Администрирует НКО (Think-tank) • Создана в 1998 году • Позиционируется как ресурс «одного окна» для предоставления объективной информации о доказательном основании программ по защите детства • Здоровье и безопасность • Хорошее физическое здоровье ребенка • Ребенок не употребляет алкоголь, табак и наркотики • Ребенок не вовлечен в половую жизни и не ведет половую жизни с высокими рисками для здоровья • Ребенок не вовлечен в жестокое поведение и не имеет серьезных проблем с поведением • Ребенок не подвержен физическому, психологическому и эмоциональному насилию • Ребенок психически здоров • Младенцы рождаются с весом более 5,5 фунтов. Готовность к школе Дети в возрасте 0 – 5 физически и психически развиты по возрасту • Сильная семья • Семья наращивает экономическую автономию • Отец постоянно вовлечен в воспитание детей • У детей есть постоянное жилье • Успех в школе • Ученики выполняют программу положенную их возрастной группе школьников • Ученики успешно выпускаются из средних школ

16. Интегрированное планирование социальных результатов для детей и семей • Главная задача инициативы – определить центральное место ребенка во всем, что делают социальные работники, менеджеры социальных программ, законодатели. • Партнеры: Партнерство НКО Ирландии (CAWT), донор в лице EU Fund, и государственные структуры • Главный вопрос – Что мы хотим для наших детей? • В фокусе внимания не услуги для детей, а результаты, которые необходимо достичь ради детей! Соблюдение принципов Декларации прав ребенка: • Принцип недискриминации • Принцип фокусировки на интересах ребенка • Принцип уважения мнения ребенка и его права на участие • Принцип права ребенка на жизнь и развитие Разработанные инициативой инструменты: • Проверочные листы (чек-листы) на соответствие принципов из Декларации прав ребенка и организации процесса оценки социальных результатов в интересах детей. • Чек-листы для верификации чувствительности индикаторов к реализации Декларации прав ребенка • Чек-листы того, что необходимо иметь для реализации идеи интегрированного планирования на практике • Чек-листы для обеспечения интеграции по оценке совместных социальных результатов • Чек-листы для реализации права ребенка на участие в оценке

17. Рамка согласованных социальных результатов для детских центров Южной Австралии Рамка согласованных социальных результатов – инструмент разработанный группой партнеров из 40 детских центров Южной Австралии в партнерстве с государством. Основная идея инициативы: усиление социального эффекта программ в области защиты детства через совместное планирование социальных результатов таких программ. http://www.decd.sa.gov.au/docs/documents/1/OutcomesFrameworkChildren.pdf

18. МИССИЯ И ВИДЕНИЕ EVOLUTION AND PHILANTHROPY МИССИЯ Содействие эффективному развитию некоммерческого сектора и благотворительности через формирование среды, способствующей распространению международного опыта и обмену знаниями. Как мы можем дать возможность благополучателям предоставлять обратную связь и быть услышанными? Благополучатели Оценка эффективности Фандрайзинг Прозрачность и отчетность Как мы можем упростить и удешевить для НКО процедуру привлечения средств и демонстрации высокой эффективности? Как мы можем упростить донорам процедуру поиска эффективных НКО для пожертвования? Evolution & Philanthropy Доноры 18 * - Market For Good, 2011

19. Как Evolution & Philanthropy способствует развитию потенциала в области оценки? Продукты, созданные в рамках операционной деятельности Evolution & Philanthropy • 6 тематических обзоров по оценке из Дайджеста публикаций международного филантропического сообщества и рекомендации по использованию материалов • Обзор систем зарубежного бенчмаркинга для некоммерческих организаций • 28 переводов зарубежных материалов, которые доступны в библиотеке сети IPEN http://www.eval-net.org/?id=63, а также на сайте Партнерской инициативы «Общие подходы к оценке социальных результатов программ в сфере защиты детства» http://socialimp.wordpress.com/category/%D0%B1%D0%B8%D0%B1%D0%BB%D0%B8%D0%BE%D1%82%D0%B5%D0%BA%D0%B0/ Продукты, созданные в рамках партнерских инициатив • Стандарты оценки деятельности для некоммерческих партнеров • Методическое пособие по использованию «теории изменений» при планировании программ БДФ «Виктория» (основа для планирования дизайна программ); • Подходы к определению показателей верхнего уровня (включая, библиотеку показателей, используемых ведущими западными Фондами и НКО) • Концепцию оценки социально-экономической эффективности программ (с практической апробацией на примере программы ДФ «Виктория»); • Руководство по измерению результативности деятельности (планирование и мониторинг результатов). В рамках грантовой деятельности поддержано два проекта по оценке программ Детские деревни – SOS (2011 год)и Фонда профилактики социального сиротства (2013 год), а также проведена внешняя оценка проекта «Курсы по фандрайзингу для религиозных организаций» (2012 год)

20. Контактная информация shamrovadp@uralsib.ru Дарья Шамрова Менеджер программ Присоединяйтесь к нашей странице! http://www.facebook.com/EvolutionAndPhilanthropy Доступ по запросу к Библиотеке E&P по адресу shamrovadp@uralsib.ru

21. 7 марта 24.00 по московскому времени пройдет вебинар «Как и почему лидеры, ориентированные на достижение миссии, управляют результативностью своей организации». Язык вебинара – английский. Регистрация по ссылке: http://www.performwell.org/index.php/webinars/254-lives-on-the-line Спасибо за внимание!

22. Приложение 1. Стандарты оценки, разработанные международными донорами • EU (Evaluating EU Activities a Practical Guide for the Commission Services), • Europe Aid (Project Evaluations Guidelines for the Evaluation Team), • USAID (Evaluation Guidelines for Foreign Assistance), • World Bank (Monitoring and Evaluation: Some Tools, Methods and Approaches), • UN (Standards and Norms for Evaluation in the UN System), • UNDP (Handbook on Planning, Monitoring and Evaluating for Development Results and Evaluation Policy), • UNAIDS (A Guide to Monitoring and Evaluation), • UNICEF (Guide for Monitoring and Evaluation), • Global Fund (Monitoring and Evaluation Guidelines and Tools), • IOM (Evaluation Guidelines), • CIDA (Evaluation Guide), • SDC (Evaluation policy of the Swiss Agency for Development and Cooperation) • Sida (Evaluation Manual "Looking Back, Moving Forward).

23. Обзор используемых исследований • Интегрированное планирование социальных результатов для семей и детей в Ирландии (Framework for Integrated planning for outcomes for children and families) http://www.childandfamilyresearch.ie/sites/www.childandfamilyresearch.ie/files/framework_for_intergrated_families.pdf • Подход к классификации социальных результатов для детских центров Южной Австралииhttp://www.decd.sa.gov.au/docs/documents/1/OutcomesFrameworkChildren.pdf • Обзор зарубежный партнерских инициатив по оценке программ в сфере детства, Д. Шамрова, Evolution & Philanthropy, декабрь 2012 https://docs.google.com/file/d/0BycjywBshsRLWkliS0cxTXpURW8/edit?usp=sharing • Партнерская инициатива по разработке унифицированного инструментария для оценки социальных результатов для детей и семей Perform Well http://www.performwell.org/ • Пространство для развития. Как фонды поддерживают измерение результативности в НКО (Room for Improvement. Foundation’s Support of Nonprofit Performance Assessment by Andrea Brock, Ellie Buteauand An-Li Herring. Center for Effective Philanthropy, 2012) http://www.effectivephilanthropy.org/assets/pdfs/Room%20for%20Improvement.pdf • Состояние оценки в 2012 году: практики оценки и ее потенциала в некоммерческом секторе ( State of Evaluation 2012: Evaluation Practice and Capacity in the Nonprofit Sector. A research Study by Innovation Network, Inc.)http://www.innonet.org/client_docs/innonet-state-of-evaluation-2012.pdf • Состояние развития потенциала оценки в Украине: спрос, предложение и институционализация (State of Evaluation Capacity Development in Ukraine: Demand, Supply, Institutionalisation” by Ukranian Evaluation Association, Kiev, 2012)http://www.slideshare.net/umedia/ukrainian-association-of-evaluation-baseline-quality-study-report-eng • Подход к оценке эффективности программ Promising Practices Network http://www.promisingpractices.net/program.asp?programid=16