Проблемы использования количественных методов в задачах измерения состояния гражданского общества

1. Проблемы использования количественных методовв задачах измерения состояния гражданского общества Ф.Т.Алескеров (ГУ ВШЭ) В.Л.Римский (Фонд ИНДЕМ)

2. Понятие социального измерения • Кратко и несколько огрублённо можно сказать, что измерение в самом общем виде – это сравнение с эталоном. • Сам этот эталон выбирается из каких-то содержательных соображений, он может меняться в процессе развития науки. • Методы сравнений тоже могут и постоянно развиваются. • Поэтому измерения никогда не дают и не могут давать абсолютных результатов, в частности, это относится к социальным измерениям, к которым можно отнести измерения социальных процессов и явлений.

3. История социальных измерений • Переписи крестьян проводились 4000 лет назад в Древнем Египте и Древнем Китае. Но науки в них не было. • Задача измерений в социальной сфере стала особенно актуальной в XVIII – XIX веках, когда развитые государства Европы стремились мобилизовать свои ресурсы в мировой конкуренции, а частный бизнес постепенно начинал заниматься крупными коммерческими и финансовыми проектами целых стран, регионов и даже всего мира.

4. Ведущие идеи социальных измерений • В 1654 году во Франции математик и философ Блез Паскаль, отвечая на вопросы де Мере о вероятности выигрыша в азартной игре, высказал идеи, которые после их развития И. Бернулли, позволили сформулировать в начале XVIII века «закон больших чисел». Впоследствии было открыто несколько других формулировок этого закона, все они дали теоретические основании использованию в практике репрезентативных выборок. • В 1660 году в Англии началось Дж. Граунта и У. Петти в области, которая была названа «политическая арифметика», а позже – «социография». • Клод Анри де Сен-Симон (1760-1825)был первым философом, который начал разрабатывать концепцию позитивной социальной науки, названной им «социальной физикой». • Соединение этих идей позволило в конце XIX – первой трети XX веков выполнять социальные измерения в форме переписей, массовых и экспертных опросов.

5. Традиция социологических опросов • Разработка методики опросов началась с конца XVIII века, но развивалась медленно в силу существенных теоретических и практических проблем. • Практическое использование опросов населения началось впервые в США в начале XIX века. • Долгое время существовало недоверие к выводам, полученным на основе выборочной совокупности. • Вызывало недоверие утверждение социологов, будто по высказываниям небольшого числа опрошенных можно с уверенностью судить о мнении всего населения. • Только в начале XX века была найдена связь между математикой, лежащей в основе «закона больших чисел», и массовыми опросами, получено математически точное обоснование достоверности выводов, получаемых по репрезентативной выборке, для генеральной совокупности.

6. Значимость социальных измерений гражданского общества • Поскольку социальные измерения проводятся методом сравнения с эталонами, они тем более затруднены, чем менее определённым является согласие научного и экспертного сообщества по поводу того, что считать эталоном. • В сфере проблем гражданского общества пока существует разнообразие эталонов и нормативных моделей, что создаёт определённые трудности и несравнимость результатов социальных измерений. Но сам процесс внедрения социальных измерений в сферу изучения гражданского общества способствует достижению согласия в том, какие современные модели гражданского общества можно считать эталонами. • Социальные измерения в этой сфере позволяют устанавливать, насколько гражданское общество той или иной страны отличается от того или иного эталона, какие факторы могли бы способствовать сближению происходящих в нём процессов и явлений с эталонами и т.п. • Поэтому социальные измерения гражданского общества имеют высокую значимость для содействия его развитию в желаемых направлениях. При этом сами социальные измерения такие направления определить не могут, это следует осуществлять другими методами, чаще всего, связанными с политическими приоритетами и решениями.

7. Значимость социальных измерений гражданского общества • Социальные измерения в сфере гражданского общества позволяют обеспечить более ясное и верное понимание социальной ситуации и тенденций её развития. • Любая попытка изменить в желательном направлении развитие гражданского общества имеет большую вероятность успеха, если она основана на точной, а не на ошибочной информации, на данных, которые позволяют выдвигать и проверять гипотезы, прогнозировать последствия принимаемых решений. • Например, определение реального уровня гражданской активности позволяет повысить эффективность воздействий на её проявления. В одних случаях нужно делать приоритетным мотивирование проявлений активности, в других – направлять эту активность в желательные проекты и программы, в третьих – ограничивать проявления активности и т.п. • Все эти воздействия осуществляются разными методами, которые чаще всего несовместимы между собой. • Чем точнее будет определён уровень гражданской активности, причём желательно отдельно в разных сферах её проявлений, тем более эффективным может быть сознательное и целенаправленное развитие гражданского общества.

8. Проблемы социальных измерений • Несмотря на высокую значимость социальных измерений для современных гуманитарных исследований, их применение имеет много разнообразных проблем. • Некоторые из этих проблем удаётся решить теоретически, но в современных условиях чаще всего, решениями таких проблем являются соглашения между исследователями по приоритетам применения тех или иных методик и методов.

9. Этапы выполнения социальных измерений • Формулирование цели и задач социального измерения. • Выбор модели социального измерения. • Разработка методик сбора данных и их обработки. • Сбор данных. • Обработка собранных данных и получение результата социального измерения.

10. Структура социальной информации • Под информационной совокупностью понимается группа или объединение данных, характеризующих объект, явление или процесс. • В структуре информационной совокупности можно выделить: • реквизиты; • показатели; • документы.

11. Реквизиты • Элементарными неделимыми единицами социальной информации являются реквизиты, выражающие определенные свойства объекта, явления или процесса. • Реквизиты подразделяются на реквизиты-признаки (качественные свойства описываемого объекта) и реквизиты-основания (количественные характеристики объекта).

12. Показатели • Отдельно взятые реквизиты-признаки и реквизиты-основания имеют ограниченную применимость в анализе социальных явлений и процессов. • Чтобы углубить такой анализ их нужно применять в сочетании друг с другом. • Совокупность логически связанных реквизитов-признаков и реквизитов-оснований, имеющая социальный смысл, образует показатель. • Например, показателями являются численность НКО, доля граждан, принимающих участие в некоммерческой деятельности в стране, себестоимость выполняемой какой-то НКО работы, цена того или иного продукта этой работы, средний уровень заработной платы в некоммерческом секторе, рождаемость, смертность и т.п.

13. Документы • Документом называется совокупность взаимосвязанных показателей, представленная в определённой форме. • Эту форму может определять орган государственной или муниципальной власти, объединение некоммерческих или общественных организаций, отдельные такие организации, отдельные исследователи или активисты гражданских организаций. • Документы, используемые в процессе управления, планирования, учета и контроля деятельности, могут включать один или несколько показателей с обязательным указанием лица, ответственного за содержащуюся в них информацию. • Такими документами, например, являются ведомости на расчёт и выдачу заработной платы, платёжные ведомости, бухгалтерские балансы, финансовые отчёты спонсорам, прогнозы спроса на те или иные услуги НКО, прогнозы потребностей организаций гражданского общества в финансовой поддержке, отчёты об уровне развития гражданского общества в стране или в каком-то регионе и т.п.

14. Типы показателей и особенности их измерений • Показатели для проведения социальных измерений должны отбираться или выбираться в соответствии с какими-то моделями и концепциями социальных процессов и явлений.

15. Типы показателей • Номинальные показатели. Это фактически только классы или группы данных, которые имеют существенные отличия по одному признаку.Примеры: пол индивида, сфера деятельности организации, юридический тип организации и т.п. • Классы между собой несравнимы. • Порядковые или ранговые показатели.Примеры: оценки на экзамене, рейтинги банков, телепрограмм, политиков и т.п. • Для порядковых показателей невозможно установить, насколько сильно отличаются объекты, принадлежащие соседним классам, т.е. каково расстояние между соседними рангами. • Интервальные показатели.Примеры: численность организации, размеры доходов, расходов и т.п. • Только с интервальными показателями можно производить арифметические операции, они приводят к результатам, располагающимся на тех же интервальных шкалах.

16. Предостережения • Для анализа данных наибольшие объёмы информации дают именно интервальные показатели, только их можно анализировать любыми методам современной прикладной статистики. Но эти показатели труднее всего получать при сборе данных. • Поэтому исследователи часто вынуждены ограничиваться порядковыми или даже номинальными показателями. • С такими показателями можно выполнять весьма ограниченные наборы действий при анализе. • Не следует производить арифметические операции с порядковыми и тем более с номинальными показателями. • Малоосмысленны такие показатели, как средний балл студенческой группы по тому или иному предмету, средний результат региона по ЕГЭ, средний балл школьного аттестата и т.п. • Такого рода средние исходят из представлений о том, что расстояния между соседними рангами одинаковы, что, как уже указывалось выше, не всегда справедливо.

17. Источники информации и данных для социальных измерений • изучение документов; • сбор отчётности, изучение статистических показателей деятельности граждан, их объединений, организаций гражданского общества, органов власти и других; • проведение переписей граждан и организаций; • проведение социологических исследований, в первую очередь, методом анкетирования; • изучение отдельных типичных случаев (case studies); • опросы экспертов.

18. Требования к социальным измерениям • Репрезентативность или представительность исходных данных. Отбор данных должен быть таким, чтобы выводы проведённого измерения можно было распространить практически на все объекты измерения. • Надёжность измерения. Надёжность - это устойчивость результатов измерения, возможность получения тех же самых или очень близких результатов при повторении процедур измерения. • Валидность измерения: обоснованность методик и результатов измерения, правильность и точность, как собранной информации, данных, так и его результатов измерения; возможность распространения выявленных по результатам измерения закономерностей на объекты, не входившие в состав объектов этого измерения. Валидность – это характеристика качества методик, данных и результатов измерения.

19. Требования взаимосвязаны • Требования к социальным измерениям взаимосвязаны и взаимозависимы, и должны соблюдаться в системе. • Каждое требование имеет свою специфику, препятствующую обычно достижению высоких показателей по каждому из них одновременно. • В частности, стремление к высокой репрезентативности может препятствовать обеспечению валидности, научной обоснованности результатов. • Стремление к достижению высокой надёжности может препятствовать проявлению творчества измерителя, например, в форме отказа от использования новых методов измерений. • Стандартные схемы проведения социальных измерений не всегда оказываются адекватными его объектам, каждый из которых имеет свою специфику.

20. Задача агрегирования • ГО можно понимать как некоторую систему, которая характеризуется набором частных показателей, а измерить степень развитости ГО означает построить некоторый агрегированный показатель на основе этих частных. • Традиционный способ – построить среднее арифметическое оценок по предварительным показателям. • Пример: измерение длины. Измеряем длину объекта много раз и усредняем измеренные значения. Из теории вероятностей известно, что так полученная величина стремится к истинной длине объекта. • В рассматриваемом случае все намного сложнее.

21. Проблемы усреднения - 1 • В рейтинге может победить «посредственный» регион

22. Проблемы усреднения - 2 • Компенсационный характер результирующей оценки качества • Пример: Восприятие телевизионной программы = качество изображения + качество звука

23. Проблемы усреднения - 3 • проблема соизмерения

24. Смотрите, какая неустойчивость! • Исключим регион 3 • Преобразованные оценки

25. Почему же используется среднее арифметическое? • Пример из жизни: трудно объяснить начальству более сложную процедуру • Два других примера: атомный реактор и самолет

26. Проблемы усреднения - 4 • Грубость, робастность измерения Насколько значение частного показателя 0,85 для региона 1 действительно лучше, чем, скажем, значение показателя 0,82 для региона 2? Тот же вопрос относится и к результирующему показателю. • Так возникает проблема грубости измерения и задача построения адекватных шкал.

27. Различные модели агрегирования

28. Построение ранжирований • Мы обсудим только два направления построения ранжирований а) интервальное ранжирование б) пороговое ранжирование

29. Об интервальных оценках вариантов Пример:

30. Об интервальных оценках вариантов Доминирование: вариант а доминирует вариант b, если интервал, соответствующий а лежитцеликом правее, чем интервал,соответствующий b

31. Обобщение правила Борда на случай интервальных оценок - число вариантов, которых доминирует x Результирующая оценка для варианта х:

32. Показатель 1 Показатель 2 Показатель 3 Показатель 4 А [90, 100] А [100, 100] Б [80, 80] С [70, 90] Б [80, 90] С [60, 70] Д [70, 80] Б [60, 80] С [50, 50] Б [30, 50] С [50, 70] Д [50, 50] Д [20,40] Д [20, 40] А [20, 30] А [20, 30] Обобщение правила Борда на случай интервальных оценок Пример: оценка регионов по 4 группам показателей

33. Обобщение правила Борда на случай интервальных оценок Продолжение примера Результирующие оценки для всех регионов: s(А)=2+3+0+0=5; s(Б)=2+0+2+2=6; s(C)=1+2+1+2=6; s(Д)=0+0+1+1=2. Результирующие ранжирование • С-Б • А • Д

34. Пороговое агрегирование • nкритериев, m альтернатив • Каждая альтернатива оценивается в трехградационной шкале (хорошо, средне, плохо – 3,2,1), т.е.x=(x1,x2,…,xn) • Строится результирующее ранжирование

35. Аксиомы 1. Принцип Парето: 2. Парная взаимозаменяемость: 3. Принцип некомпенсируемости: 4. Аксиома редукции:

36. Основной результат • Единственной процедурой, удовлетворяющей этим аксиомам, является процедура порогового агрегирования, т.е., вектор с большим количеством единиц оценивается, как более худший, чем вектор, с меньшим количеством единиц. Если число единиц совпадает, то сравнивается число «двоек»

37. Развитость гражданского общества • Известная методика – CIVICUS • Однако, одна из самых важных проблем в этой методологии – суммирование оценок • Поэтому была разработана новая методика внутристрановой развитости гражданского общества, которая использовала оценки по четырем блокам параметров (как в CIVICUS): - Структура - Среда - Ценности - Воздействие

38. Структура • 1. Занимались ли Вы за последние 10 лет деятельностью на добровольной основе? • Участвовали ли Вы когда-нибудь в мероприятиях, проводимых общественными организациями?

39. Среда • Подсистема «Среда» изучалась с помощью четырех показателей (вопросов): 1. Ограничиваются ли Ваши гражданские или политические права и свободы? 2. Как Вы считаете, коррумпирован ли чиновничий аппарат в Вашем городе? 3. Давали ли Вы (или Вам) когда-нибудь взятку? 4. Считаете ли Вы, что число предприятий сферы услуг в Вашем городе достаточно для Ваших потребностей?

40. Ценности • Подсистема «Ценности» изучалась с помощью трех показателей (вопросов): 1.Встречали ли Вы проявления национальной или религиозной дискриминации? 2. Как Вы относитесь к членам общественных организаций? 3. Доверите ли Вы решение Ваших проблем общественным организациям в социальной сфере? 4. Какова будет Ваша реакция, если к вам подойдет незнакомый человек с просьбой о помощи? (если это не сопряжено с угрозой для вас).

41. Воздействие • Подсистема «Воздействие» изучалась с помощью четырех показателей (вопросов): • Виден ли результат работы общественных организаций в вашем городе? • Насколько активно и успешно удается общественным организациям информировать и просвещать граждан в важных общественных вопросах? 3. За последние 12 месяцев, в случаях когда вы обращались за помощью в государственные или общественные организации, кто предоставил более качественную помощь? 4. Известны ли Вам лидеры общественных организаций, являющихся общественно значимыми фигурами в Вашем городе?

42. Оценка развитости гражданского общества в г. Ростов Великий, февраль 2005 Опрос 232 респондента Идеальная и реальная оценки Площадь идеальной фигуры =18 Для Ростова В. она равна 3.12, т.е. 17,3%

43. 50% 50% 100% 0 100 0 100 Поляризации мнений нет Поляризация Структура предпочтений социума может определять направления развития организаций гражданского общества Поляризация максимальна

44. Для определения этого показателя найдем «центр масс» с системы точек pi , i = 1,…,n, относящихся к позициям партий.Будем считать при этом, что в каждой точке piсосредоточена «масса» vi. Тогда Теперь показатель поляризованности общества рассчитывается по формуле: Показатель поляризованности общества

45. Предпочтения в пространстве • Предпочтения могут иметь несколько компонент • Такие предпочтения может иметь общество • Такие предпочтения могут иметь организации гражданского общества

46. Траектория фракции КПРФ

47. Траектория фракции Единство

48. Траектория фракции Яблоко

49. Траектория фракций Яблоко и КПРФ

50. Влияние • Степень монополизации организаций гражданского общества • Монопольная структура • Дисперсная структура