п., может быть выявлена путем анализа 200—300 документов. Кроме того, исследователь получает представление о количественных и содержательных приоритетах по направлениям исследования объекта (например, в социологических исследованиях в области антиобщественных явлений стабильное первенство занимает анализ правовых и морально-этических аспектов нарушения норм общежития, и сравнительно незначительное внимание уделяется анализу мотивации антиобщественных действий).
Представляется полезным сравнить разработанную систему данных с результатами уже проведенных аналогичных исследований. Это дает возможность более объективно оценить достоверность полученных вами данных. При этом важно помнить, что система не исчерпывает всего многообразия показателей исследуемого объекта, однако обладает относительной полнотой с точки зрения практической направленности социологических исследований, осуществляемых в этой области. Основная ее функция – служить информационной основой для построения системы показателей исследуемого объекта.
3. Экспертные оценки значимости показателей
Одна из важных методологических проблем построения системы показателей – определение критериев отбора показателей. Среди различных подходов к этой проблеме по значению выделяются логический и исторический. Первый связан с анализом формальной структуры исследуемого объекта, второй – с конкретно-историческим контекстом функционирования объекта. Последний обладает тем преимуществом, что позволяет выдвинуть гипотезу методологического характера о том, что эффективным критерием отбора социально значимых показателей может служить степень отражения им наиболее актуальных социальных проблем и наиболее важных социальных целей общества. До проведения социальных исследований проблемно-целевых аспектов изучаемого объекта наиболее подходящим способом проверки данной гипотезы представляется использование методов экспертных оценок. При этом социальные проблемы следует рассматривать в единстве с социальными целями.
Наиболее важные этапы поискового и нормативного прогнозов – построение соответственно «дерева проблем» и «дерева целей». «Дерево целей» не должно строиться чисто умозрительно-дедуктивно, в отрыве от реально существующих проблем, оно не должно строиться и чисто эмпирически-индуктивно, в отрыве от определенного, теоретически разработанного социального идеала. Односторонний подход таит в себе опасность ошибок при постановке целей. Кроме того, при построении «дерева проблем» не следует игнорировать теоретически разработанные цели во избежание разрыва между теорией и практикой. В идеале нижний (наиболее детальный) уровень «дерева целей» должен совпадать с нижним уровнем «дерева проблем», Иначе говоря, ближайшие практические цели должны сводиться к решению наиболее актуальных социальных проблем, но иметь четко ориентированную долгосрочную перспективу.
С учетом этих особенностей взаимосвязи между «деревом целей» и «деревом проблем» к экспертизе приходится предъявлять довольно строгие требования. Эксперты должны быть специалистами по конкретным социальным проблемам и вместе с тем иметь представление о всей проблематике исследуемого социального явления, о тенденциях развития его каждого конкретного аспекта. Предъявлять такого рода требования к какой-то одной группе экспертов в условиях недостаточно разработанной пока проблематики большинства социальных явлений и процессов было бы нереальным. Поэтому для участия в опросе полезно привлекать различные группы экспертов. Совокупность этих групп призвана обеспечить большую степень репрезентативности выборки респондентов в целом.
Для обеспечения надежности результатов желательно использовать несколько (две-три) методик опроса экспертов. Опросы должны иметь определенную логическую последовательность.
Разовый заочный опрос экспертов
Участие экспертов в определении проблем и целей исследуемого объекта является весьма эффективным приемом. Специалисты по экспертизе считают, что по существу ни один иной метод прогнозирования не является столь эффективным. Это объясняется не столько достоинствами самого метода, сколько ограничениями, возникающими при использовании более точных и сложных методов, прежде всего недостаточностью исходной информации и необходимостью трудоемких подготовительных процедур. Что же касается экспертных оценок, то они достаточно экономичны и эффективны при сравнительно незначительной потере точности.
В методическом отношении цель разовой заочной экспертизы сводится к выработке элементов типовой методики заочного экспертного опроса, способной обеспечить эффективное использование экспертов при построении систем социальных показателей.
В содержательном отношении целью такого опроса является определение степени социальной значимости перспективных проблем (и соответствующих им показателей) исследуемого объекта.
Успех экспертизы во многом определяется составом и компетентностью опрашиваемой группы. Выбор экспертов, а также членов параллельной контрольной группы – один из важных вопросов этого этапа исследования. Полезно составить группу экспертов из специалистов-практиков, имеющих опыт работы в различных отраслях народного хозяйства. Контрольная же группа может быть представлена теоретиками ѕ научными сотрудниками, исследующими различные аспекты избранной проблемы.
На первом этапе работы по проведению экспертизы составляют исходный перечень основных проблем изучаемого объекта, обобщают и уточняют его путем контент-анализа. Панельный очный опрос экспертов из параллельной контрольной группы «методом комиссии» позволяет обобщить формулировки проблем, устранить дублирующие друг друга или носящие специфический, частный характер, относящиеся не ко всему объекту в целом, а к его отдельным деталям. В итоге будет получен перечень, который станет основой материала экспертизы – окончательного варианта «Анкеты эксперта». Цель экспертизы – упорядочить выделенные социальные проблемы и соответствующие им показатели, первые – по степени их актуальности в общественной жизни, вторые – по степени эффективности отражения связанных с ними проблем. Проблемы и показатели могут оцениваться при помощи двух независимых методик: ранжирования и непосредственно балльных оценок. Обработка результатов экспертизы проводится традиционными математико-статистическими методами.
Панельный опрос экспертов
Следующую задачу – определение значимости социальных целей исследуемого объекта следует рассматривать в плане решения социальных проблем. Последние ранжируют по степени важности и актуальности, но теперь уже в диалектической взаимосвязи с целями. Для решения этой задачи используют технику деструктивной отнесенной оценки, касающуюся группы экспертных интуитивных методов, коллективное обсуждение мнений и генерацию новых идей. Метод основан на хорошо известных правилах проведения одной экспертизы и принадлежит к классу управляемых экспертных опросов, но с такой степенью свободы высказываний экспертов, которая позволяет рассчитывать как на конструктивную критику даваемых оценок, так и на получение оригинальных, нетривиальных оценок.
Сущность этой техники получения экспертных оценок заключается в стимулировании творческого потенциала экспертов с помощью критики (деструкции) предложенных оценок и выработки (отнесения) новых известными приемами «мозговой атаки». Стимулирующий эффект создается, во-первых, за счет искусственной элиминации ограничений при высказывании критических экспертных суждений на первом (деструктивном) этапе работы, во-вторых, за счет «расковывания» творческого потенциала экспертов при высказывании оригинальных конструктивных суждений на втором этапе работы (отнесение оценок), в-третьих, за счет нового, неожиданного «видения» экспертом проблемы глазами своих коллег по ходу дискуссии с ними. Все это позволяет рассчитывать на высокую эффективность применения данной техники при экспертизе сложных социальных явлений.
Наиболее эффективна эта техника при вынесении оценок, предполагающих ряд альтернативных вариантов, один из которых может быть расценен как оптимальный по заранее заданным критериям. При таком подходе цель экспертизы сводится к определению набора альтернатив. Кроме того, метод достаточно конструктивен при оценках, связанных с выявлением факторов, влияющих на характер альтернатив.
Процедуры метода деструктивной отнесенной оценки включают следующие этапы:
1. Составление проблемной записки (материала для обсуждения), включающей описание процедуры опроса и формулировку предмета обсуждения. Она начинается с постановки проблемы и перечня задач опроса. Здесь очень важна четкость формулировки, поэтому сложные объекты обычно расчленяются на более простые элементы.
2. Формирование экспертной группы. Оптимальная численность ее найдена эмпирическим путем: один человек – при рассмотрении сравнительно простых вопросов, несколько больше – при сложных. Желательно, чтобы в группу включались эксперты с сильно развитыми критическими наклонностями (модераторы), обладающие конструктивным мышлением (генераторы), хорошо знакомые с одним из аспектов рассматриваемой проблемы или со всей проблемой в целом. Желательно также, чтобы в группе были представлены специалисты из разных областей знания с высоким уровнем общей эрудиции.
3. Генерация идей на основе обсуждения проблемной записки по правилам «мозговой атаки». Она начинается с того, что ведущий ставит проблему обсуждения, т.е. раскрывает основное содержание проблемной записки, которая раздается экспертам за несколько дней до опроса (им предоставляется возможность освежить ее в памяти непосредственно перед началом опроса), отвечает на вопросы, возникшие у экспертов при ознакомлении с запиской, формулирует подлежащие обсуждению положения и концентрирует внимание участников на правилах проведения «мозговой атаки»:
– высказывания экспертов должны быть четкими и сжатыми (регламент: не более 1—2 минут);
– скептические замечания и критика предыдущих выступлений не допускаются;
– каждый эксперт имеет право выступать несколько раз;
– не разрешается зачитывать ответы, приготовленные заранее;
– слово предоставляется в первую очередь желающему высказаться в связи с предыдущим выступлением;
– ведущий поощряет экспертов за оригинальный подход к рассматриваемым вопросам;
– создается по возможности самая непринужденная обстановка собеседования, «расковывающая» инициативу и творческие потенции экспертов, активизирующая обмен мнениями.
4. Систематизация идей, высказанных на предыдущем этапе. Ее осуществляет специальная аналитическая группа организаторов опроса;
– составляется перечень всех высказанных идей;
– каждая идея формулируется в общепринятых терминах, стандартных для данного исследования;
– выявляются дублирующие или взаимодополняющие друг друга идеи, которые сводятся в комплексы;
– идеи классифицируются по группам, и создается перечень групп с перечислением составляющих их идей в логическом порядке значимости;
– составляется записка (доклад), представляющая собой тезисы-вопросы для последующего этапа (деструкции). Опыт показывает, что если представить экспертам для деструкции просто развернутую записку (доклад), то повышается риск отвлечения их внимания в сторону от обсуждаемых вопросов.
5. Деструкция идей и выдвижение контр идей (желательно на одном и том же задании группы). Обсуждение проводится так же, как и на этапе «мозговой атаки», с той лишь разницей, что при деструкции от экспертов требуется возможно более смелая, последовательная и исчерпывающая критика поочередно каждого выдвинутого положения (в порядке очередности выдвигаемых положений, а не выступающих). При выработке новых оценок процедура «мозговой атаки» повторяется полностью. Результатом данного этапа являются материалы для дальнейшего уточнения содержания проблемной записки.
6. Подведение итогов экспертизы: составляется систематический перечень всех критических замечаний, полученных на этапе деструкции, сводный список идей и контридей, не опровергнутых критическими замечаниями.
Использование этого метода позволяет уточнить и систематизировать экспертные оценки социальных целей исследуемого объекта, необходимые для разработки проблемно-целевой модели, которая может выступать в роли исходной (базовой) модели прогноза социального явления.
Экспертные оценки значимости возможных показателей исследуемого объекта
Предыдущие типы опроса экспертов ставили задачу апробировать различные методические подходы к использованию экспертизы с целью совершенствования систем показателей сложных социальных явлений. Особое внимание при этом уделялось вопросам определения степени компетентности экспертов и структуры экспертных групп. Однако огромный интерес представляют и содержательные экспертные оценки, дающие возможность развивать и совершенствовать различные направления социальной статистики.
Процедуры экспертизы включают следующие этапы:
1. Уточнение исходного набора показателей. Для этого проводится специальный очный опрос экспертов, осуществляемый одним из методов, имеющихся в распоряжении исследователей. В роли экспертов выступают специалисты исследуемой области. Серия таких опросов позволяет существенно уточнить исходный набор показателей.
2. Формирование экспертной группы для оценки уточненного набора показателей. Этому вопросу следует уделить особое внимание. Опыт опроса экспертов в заранее формализованных группах (отдел или сектор научно-исследовательского учреждения, группа ведущих практических работников и т.п.) наряду с очевидными достоинствами имеет и недочеты: чрезмерная однородность экспертной группы по уровню и профилю компетентности порождает односторонние оценки, даваемые почти под одним и тем же углом зрения без учета иных точек зрения.
Возникает проблема поисков оптимума в сочетании экспертов разного уровня и профиля компетентности, способных дать сложному социальному явлению основательную, разностороннюю оценку.
В этом плане наиболее предпочтителен метод так называемого «снежного кома»: проводится серия экспертных опросов, где каждому эксперту предлагается назвать одного или несколько специалистов, наиболее подходящих, по его мнению, для включения в сводную экспертную группу.
Можно прибегнуть к другим методам, например к использованию авторского библиографического указателя по исследуемой проблеме, а также к приемам отбора из первоначального списка наиболее компетентных экспертов с помощью документального метода, эксперимента, голосования и самооценки.
Документальный метод позволяет определить компетентность эксперта по формальным данным – ученой степени и званию, должности, стажу работы в соответствующей области и т.д. Экспериментальный метод учитывает эффективность работы экспертов в предыдущих опросах. Метод голосования предполагает взаимооценки экспертов при условии достаточно устойчивых научных контактов между ними. Метод самооценки позволяет определить компетентность эксперта в зависимости от его ответов: занимался ли он рассматриваемой проблемой специально, знаком с ней только по специальной литературе или имеет о ней лишь самое общее представление.
Используя эти методы, следует помнить, что по экспертным оценкам не всегда можно с достаточной точностью выявить различие между научным статусом эксперта, фиксируемым документально, и степенью его действительной компетентности, а также связи между действительной компетентностью и самооценкой. Данные, приводящиеся в специальной литературе по экспертным оценкам, свидетельствуют, что наиболее эффективным показателем компетентности эксперта является самооценка (разумеется, подкрепленная данными, полученными другими методами).
Что касается достижения оптимальности в структуре экспертной группы (соотношение специалистов различных областей знания), для того чтобы быть уверенным, что выявленная система показателей отражает все стороны исследуемого объекта на одинаково высоком уровне, в экспертной группе должны быть более или менее равномерно представлены специалисты всех профилей исследуемой области. Оптимальное же соотношение специалистов широкого и узкого профиля – величина непостоянная и требует специального расчета для каждого конкретного исследования.
Оптимальная численность экспертной группы как величина формальных способов определения не имеет. Очевидно, что минимальный предел должен обеспечивать возможность применения статистических процедур и известную гарантию против односторонности подбора экспертов, а максимальный диктуется реальными возможностями подготовки, проведения и обработки результатов экспертизы.
3. Проведение собственно экспертизы одним из известных методов. Методические сложности этого этапа состоят в необходимости сосредоточить внимание на таких аспектах, как заинтересованность экспертов в точности их оценок, выборе адекватных методов групповой оценки, согласованности мнений и ряда других моментов.
4. Сравнительный анализ аналогичных моделей
Изучение уже разработанных систем, сравнение их друг с другом, выявление преимуществ и недостатков каждой из них – один из апробированных методов совершенствования системы показателей. Сложность этого вида исследования состоит в том, что подобрать достаточное количество однотипных систем с одинаковым содержанием, структурой и целенаправленностью практически невозможно Обычно приходится иметь дело со сложным информационным массивом сравнений (компаративным массивом), состоящим из разнотипных систем. Процедуры сравнения в подобных случаях значительно затрудняются, т.к. появляется опасность случайных, субъективных произвольных выводов.
В информатике, статистике и компаративистике имеется достаточно много методик сравнительного анализа рассматриваемого объекта. Здесь же целесообразно остановиться на проблеме методологии формирования компаративного массива, компаративных процедур и получения выводов из проведенного сравнения.
• Формирование компаративного массива. Опыт показывает, что минимальное количество различных показателей, с которым можно вести сравнительное исследование – не более нескольких десятков единиц. Иначе потребуются годы работы большого исследовательского коллектива при значительных затратах времени и средств. Кроме того, наращивание информационного массива сверхдостаточного репрезентативного минимума существенно снижает эффективность выходных данных.
Имеются два метода отбора репрезентативного минимума: концентрического сужения потенциального массива информации по заранее заданным критериям; последовательного расширения какого-либо элемента указанного массива, принятого за исходный.
Сужение потенциального массива информации ведут несколькими этапами с удалением на каждом из них тех частей, которые признаются выходящими за рамки исследования или не имеют к нему непосредственно отношения. В итоге определяются узкие рамки окончательного отбора системы социальных показателей изучаемого объекта в целом, изложенные в специальных изданиях в определенном временном промежутке. Такому жесткому критерию обычно удовлетворяет лишь несколько названий работ в советской и зарубежной социологической литературе. Для обеспечения минимума достаточной репрезентативности требуется некоторое его расширение по другому ряду критериев.
Однако этот список необходимо дополнить работами, в названиях которых не фигурирует сам термин, обозначающий исследуемые явления, но которые по своему содержанию посвящены социальным показателям именно этого явления. Это относится в первую очередь к зарубежным работам, затем – к социальной статистике, охватывающей проблематику изучаемого объекта в целом, далее – к литературе по тем или иным социальным проблемам, где в центре внимания автора оказалась фактически интересующая нас проблематика.
Последний критерий наиболее сложен: тщательное изучение каждого издания и вынесение решения о включении или исключении его на основании индивидуальной экспертной оценки связано с повышением риска ошибки, особенно в тех случаях, когда содержание, структура и направленность издания не могут быть определены однозначно. Здесь возможен наибольший процент ошибочного выбора.
Перечисленные процедуры касаются содержательной стороны информационного массива. Аналогичную работу следует проделать и по критериям формальной стороны. Часто число изданий, опубликованных в виде монографий строго по данной проблематике по указанным критериям, насчитывает всего несколько единиц. Поэтому есть смысл добавить к ним статьи этого же характера из специальной научной периодики, издания по социальной статистике, полностью отвечающие установленным критериям, а также ротапринтные или ксерокопированные доклады. Эта последняя группа не уступает по своей содержательности монографиям и статьям, а по степени оперативности информации может их и превосходить.
В схематическом виде компаративный массив может быть представлен как совокупность блоков показателей (или отдельных агрегированных показателей) исследуемого объекта.
В целом сформированный таким образом информационный массив достаточно репрезентативен, чтобы вести сравнительное исследование, выводы которого могли бы иметь значение для всей совокупности систем и показателей исследуемого объекта в отечественной и зарубежной литературе.
• Компаративные процедуры: блоки показателей. Сравнительное исследование делится на два этапа: сравнение блоков показателей; исследовательские процедуры, той части компаративного массива, которая содержит сведения о конкретных показателях. Собственно процедуры таковы:
а) сравнение числа блоков показателей (или отдельных агрегированных показателей) в различных системах;
б) сравнительный анализ структуры блоков изучаемых систем. Процедура количественно-качественного характера, где на первом плане стоят вопросы соотношения различных блоков;
в) сравнительный анализ внутренней структуры каждого блока обозреваемых систем, для чего необходим частичный выход за рамки простой номенклатуры сопоставительной таблицы и изучение особенностей названий отдельных блоков. Здесь наиболее приемлем способ членения основных блоков типичной компактной системы, в котором выделяют три главных подхода:
• Разделение основных блоков на подблоки, выступающие в качестве самостоятельных наряду с основными.
• Разделение блока на несколько подгрупп показателей, образующих относительно самостоятельные подблоки. Это деление близко к первому, но отличается от него гораздо большей степенью детализации, причем каждый блок обычно выступает как совокупность нескольких подблоков под одной рубрикой.
• Сведение нескольких подблоков в один сложный блок, выступающий как совокупность подблоков под одной рубрикой. Достигается примерно тот же результат, что и в предыдущем случае, но уже не дифференциацией (декомпозицией) блока на подблоки, а, напротив, интеграцией (композицией) подблоков в блок, значительно более агрегированный и более сложный по своей структуре, чем обычные. По характеру – это качественно-количественная процедура;
г) сравнительный анализ внутреннего содержания систем, для чего необходим полный выход за рамки номенклатуры сопоставительной таблицы и изучение внутренней структуры каждого блока. Процедура сугубо качественного характера.
• Компаративные процедуры: отдельные показатели. Для того, чтобы выработать рекомендации по дальнейшему совершенствованию отдельных показателей, необходимо путем сравнительного анализа выявить наиболее эффективные частные типы показателей. С этой целью проводятся еще три процедуры исследования:
д) сравнение систем, состоящих не из блоков, а из отдельных агрегированных показателей;
е) сравнение блоков остальных систем компаративного массива, содержащих не только блоки, но и конкретные показатели;
ж) сравнительно-качественный анализ выявленных частных типов показателей.
Приведенный перечень не исчерпывает все существующие и потенциально возможные частные типы показателей (см. табл. 3). Требуется специальное исследование, чтобы свести эти типы в систему, сопряженную с системами классификации показателей.
Таблица 3
Примерная типология показателей, используемых для построения исходной модели социального объекта
В существующих системах социальных показателей в основном используются простейшие частные типы показателей, по которым сравнительно легко индицировать информацию, но которые дают невысокий уровень материалов для обобщений и выводов, необходимых в теоретической или практической работе с показателями. Наиболее распространенный тип – процентная доля. При правильной постановке дела этот показатель сообщает исследователю или практическому работнику гораздо больше, чем простое абсолютное число, но все же гораздо меньше, чем более сложные и более трудоемкие показатели.
Вместе с тем следует иметь в виду, что социальные показатели – это не вся социальная статистика, а только та количественно небольшая ее часть, которая позволяет измерять важнейшие социальные изменения, строить динамические ряды для сравнений во времени и пространстве. Такой подход непосредственно связывает любую систему социальных показателей с той или иной стороной исследуемого объекта или со всем объектом в целом, но в то же время предъявляет жесткие требования к каждому отдельному показателю. В частности, при подборе каждого из них, как показывает сравнительный анализ существующих индикаторных систем, необходимо установить:
• информационную базу для практического использования показателя;
• степень адекватности показателя сущности индицируемого объекта;
• возможность формализации (стандартизации) показателя;
• степень его взаимосвязи с другими показателями индикаторной системы;
• соответствие показателя целям теоретической или практической работы;
• возможность замены показателя в случае необходимости столь же эффективным;
• потенция показателя для различительных и сравнительных операций при анализе результатов измерения.
В целом сравнительный анализ требует, чтобы логическому подходу к изучению индикаторных систем во всей совокупности их составных частей предшествовал исторический подход – рассмотрение конкретных особенностей создания той или иной системы. Только сочетание обоих подходов может дать достаточно полную информацию, извлечь из нее действительно конструктивные элементы.
В индикаторных системах должны сочетаться структурный и проблемный принципы. Первый требует достаточной полноты набора блоков показателей сообразно структуре индицируемого объекта.
Второй подразумевает обязательное сосредоточение внимания на той проблеме, решение которой требует создания системы показателей. Следовательно, имеется в виду максимальная дезагрегация самих показателей и их блоков на профильных направлениях теоретической или практической работы и столь же максимальная агрегация – на «фоновых», вспомогательных направлениях. Нарушения обоих принципов чреваты падением информативности, вообще эффективности индикаторных систем.
Подбор конкретных показателей каждого блока должен возможно полнее соответствовать детально разработанным в социологической литературе принципам системности, репрезентативности, адекватности, информативности (различительности), сопоставимости, обоснованности, эффективности, экономичности, агрегатируемости, универсальности и функциональности. Это означает, что каждый показатель должен быть не случайным элементом определенной системы показателей, придающей операции измерения заранее установленный смысл; должен достаточно полно отражать особенности и характер той или иной стороны измеряемого явления, содействовать четкому разграничению оценок различного состояния последнего, давать достаточную информацию для его содержательного анализа, обеспечивать возможность соизмерения двух или более различных состояний явления либо одинаковых состояний различных (но однородных) явлений. Показатель должен содействовать достижению определенных целей теории или практики, должен быть максимально эффективным при минимальной затрате времени, сил и средств на измерительные операции с его помощью, должен обладать способностью к агрегации и дезагрегации, должен быть пригоден для измерения всех однотипных явлений, соответствовать цели и задачам каждой исследовательской операции, в которой он применяется.
5. Информационный анализ текстов, потенциально содержащих искомые индикатумы
Современная наука располагает достаточно большим числом разновидностей анализа документальных источников: применяемый в социологии и социальной психологии контент-анализ, в архивоведении и информатике – методы аналитической обработки первоисточников для создания массивов вторичных элементов (обзоров, рефератов, аннотаций и пр.), виды индексирования (кодирования) содержащейся в источниках фактической информации; методы целевого преобразования текстов первоисточников, содержание которых в зависимости от поисковой задачи расчленяется на блоки информации, пригодной для хранения в памяти ЭВМ; банки данных, используемые в ходе вторичной обработки банка уже использованной информации для построения различных информационных систем. Общая и наиболее существенная характеристика, объединяющая все эти методы – минимизация элемента субъективности при изучении текстовых материалов и выведение анализа текстов на возможно более объективную научную основу. Отсюда – тенденция к разработке обоснования критериев как для отбора источников, подлежащих информационному анализу, так и для формализованного представления содержащейся в них информации – непременного условия последующей статистической обработки.
Информационный анализ разнопредметных и разнотипных текстов, описывающих самые различные подсистемы человеческой деятельности, позволяет: