автореферат диссертации по социологии, специальность ВАК РФ 22.00.01
диссертация на тему: Когнитивный анализ опросного инструмента

Оглавление научной работы автор диссертации — кандидата социологических наук Рогозин, Дмитрий Михайлович

Введение.

Глава 1. Методы п процедуры когнитивного анализа.

Методы когнитивного интервью.

Метод поведенческого кодирования.

Метод экспертных оценок.

Метод кодирования вербального протокола.

Метод временных характеристик.

Процедуры исследования.

Глава 2. Анализ стандартизированного интервью.

Диагностическая процедура.

Анализ трансформационных переходов.

Изменение анкетного вопроса.

Изменение артикулированного вопроса.

Изменение услышанного вопроса.

Глава 3. Тестирование вопросов.

Диагностическая процедура.

Первый этап тестирования.

Второй этап тестирования.

Анализ случаев по трем вопросам.

Глава 4. Открытые вопросы в массовых обследованиях.

Диагностическая процедура.

Изменение артикулированного ответа.

Изменение услышанного ответа.

Изменение записанного ответа.

Введение диссертации2002 год, автореферат по социологии, Рогозин, Дмитрий Михайлович

Актуальность темы диссертационного исследования обусловлена недостаточной разработанностью теоретического и методологического описания коммуникативных и когнитивных процессов опроса, а также процедур тестирования исследовательского инструмента. Во-первых, когнитивный анализ представляет собой методологию, позволяющую интегрировать психологические, лингвистические и статистические методы анализа данных. Основание когнитивного подхода — анализ ментальных процессов, сопровождающих формирование ответа. Проблематика когнитивного подхода непосредственно связана с эмпирическими исследованиями в различных областях гуманитарного знания и, прежде всего, с методами тестирования опросного инструмента.

Во-вторых, актуальность темы диссертационного исследования обусловлена необходимостью разработки специализированного инструментария для методической диагностики опросных методов сбора социальной информации. Изучение систематических смещений, возникающих в массовых обследованиях, является условием контроля качества данных, обоснованности теоретических интерпретаций и эффективности прикладных методических решений.

В-третьих, когнитивный анализ опросного инструмента позволяет контролировать систематические смещения, возникающие в массовых опросах. В отличие от традиционных подходов, направленных, как правило, на коррекцию лексического и логического компонентов анкеты, когнитивный подход дает возможность изучить мыслительные процессы, определяющие речевое поведение респондента. В данном случае опросный инструмент понимается не как спроектированная по заданным параметрам анкета, а как коммуникативная среда, в которой развертывается тематика опроса. Все стадии опросной процедуры ставятся в соответствие целям исследования. Изучение систематических смещений становится основной задачей построения и апробации концептуальных схем, открывает дополнительные возможности для фальсификации теоретических предположений исследователя. Когнитивный анализ опросного инструмента в значительной степени компенсирует сложившийся в исследовательской среде рефлексивный вакуум и открывает новые перспективы эпистемологических исследований в гуманитарных науках.

В-четвертых, актуальность диссертационного исследования обусловлена необходимостью формирования технологичной процедуры тестирования опросного инструмента. Формализованные методы когнитивной диагностики позволяют преодолеть ограничения экспертных подходов, основанных на эвристических оценках качества инструмента, зачастую предлагаемых его же разработчиками. Поэтому представленный в диссертационной работе методический инструментарий особенно важен для повышения качества полевых социальных и маркетинговых обследований.

Степень изученности проблемы. Проблематика когнитивного анализа опросного инструмента сформировалась в связи с практическими задачами изучения общественного мнения в середине 1930-х годов. Точные предсказания результатов президентских выборов малоизвестными тогда опросными центрами Дж. Гэллапа, Э. Роупера и А. Кроссли стимулировали не только распространение точных методов проектирования выборки, но и проведение методических экспериментов. Пионерами когнитивного направления в анализе опросного инструмента можно считать П. Лазарсфельда и С. Пэйна. Классическая работа П. Лазарсфельда «Искусство задавать вопрос "'почему'?"» [Lazarsfeld, 1935], опубликованная в 1935 году, положена в основу метода когнитивного интервью, который нашел широкое применение лишь в конце 1980-х годов. «Искусство задавать вопросы» [Payne, 1951] — монография С. Пэйна, подводящая итоги двадцатилетней практики тестирования опросного инструмента, послужила учебником для многих исследователей, развивающих когнитивный анализ. Из учеников С. Пэйна следует особенно выделить С. Садмена и Н. Брэдберна. Большинство продуктивных идей, связанных с когнитивным анализом, было почерпнуто ими из совместной работы с Пэйном. Несмотря на продолжительный опыт изучения вербализаций опросного инструмента (wordings), попытки когнитивных интерпретаций не завершились разработкой теоретических схем вплоть до 1980-х годов. Основная причина — доминирование бихевиористской объяснительной модели в социальных науках, основанной на редукции форм знания к стимульно-реактивным переменным. Возвращение к первым методическим экспериментам, направленным на изучение ментальных процессов, стало возможным в связи с привнесением методов когнитивной психологии в проектирование опросного инструмента.

В 1984 году Р. Туранжо опубликовал работу «Когнитивные науки и методы массовых обследований» [Tourangeau, 1984], в которой предложил четырехшаговую схему ответа. На первом шаге респондент воспринимает вопрос, на втором — ищет в памяти адекватную информацию, на третьем — выносит суждения и лишь на четвертом — формулирует сам ответ. Внешняя речь мобилизуется лишь в одном из фрагментов когнитивной деятельности. Объектом исследования может выступать лишь внешняя речь, если не используются специальные приборы, регистрирующие психофизиологические эффекты (электроэнцефалографы и устройства, измеряющие кожно-гальвонические рефлексы). Теоретическая схема ответа, предложенная Р. Туранжо, позволила по-новому подойти к анализу опросного инструмента. Разработке системы переменных, описывающей четырехшаговую схему, посвящены исследования Т. Димайо, Д. Ротгеба и Д. Хесса; К. Эриксона, X. Симона и Ф. Страка; Л. Мартина и Т. Вилсона; Д. Лесслера и Б. Форсита, Р. Болтона и Т. Бронкорста и др. Операционализа-ция теоретических представлений о когнитивных процессах, необходимых для поддержания коммуникации, была оформлена в методы, доступные для тестирования опросного инструментария, которые подразделяются на методы когнитивного интервью и методы когнитивного кодирования. Если методы когнитивного интервью использовались ранее в других теоретических концепциях, то когнитивное кодирование выступает отличительным признаком когнитивного подхода. Четырехшаговая схема ответа стала образцом для построения новых теоретических моделей когнитивных процессов, которые сопровождают межличностные коммуникации. Так, Ч. Каннел и Ф. Фойлер, Б. Бикарт и М. Фелчер отходят от четы-рехшаговой схемы и предлагают собственные объяснительные модели. Обзор эмпирических результатов последних десятилетий представлен в работах С. Садмена, Н. Брэдберна и Н. Шварца.

Проблема исследования. Предмет когнитивного анализа опросного инструмента — мыслительные процессы, которые активизируются при восприятии вопроса и ответе на него. Задача состоит в том, чтобы установить, что человек думает, отвечая на вопросы интервьюера. Ни один методист не удовлетворен внешними проявлениями и рассчитывает заглянуть в «черный ящик» сознания. Хотя речь и другие выразительные средства предназначены как для обнаружения, так и для сокрытия мыслей (в том числе от самого говорящего), люди каким-то образом понимают друг друга.

Принято считать, что надежность «субъективных» данных, получаемых в массовых опросах, по сравнению с «объективными» данными (в частности, социально-демографическими переменными и измерениями уровня жизни) оставляет желать лучшего. Однако имеются авторитетные точки зрения, отличающиеся от общепринятых. Ю.А. Левада пишет, что «анализ регулярных мониторинговых данных постоянно убеждает в том, что надежность «субъективной информации», с которой постоянно имеют дело массовые опросы, весьма высока, не меньше, чем надежность той социальной статистики, которая дала мощный толчок социологической мысли с конца прошлого века (XIX в.— Д-Р.)» [Левада, 1988, с. 7]. С другой стороны, методические эксперименты показывают, что полученные в массовых опросах сведения об «объективных» социальных статусах (возрасте, образовании, семейном положении, профессии, доходах) так же подвержены систематическим смещениям, как и сведения о субъективных феноменах1. Оценка релевантности сведе

1 Автор признателен А.Ю. Мягкову за разрешение ознакомиться с неопубликованной рукописью указанной монографии. Мягков А.Ю. Социально-демографические переменные в социологическом исследовании: Проблемы достоверное™ самоотчетов респондентов. Рукопись. ний, поступающих от респондента, непосредственно связана с пониманием когнитивных процессов, задействованных для формирования ответа.

Полем для регистрации когнитивных процессов выступает «внешнее» поведение респондента и интервьюера. Традиционные подходы к анализу вопросника для изучения когнитивных процессов нерелевантны, поскольку исследователю необходимо протестировать не лексическую или логическую правильность вопросов (например, сбалансированность закрытий), а их семантическое соответствие «теме». Подобное смещение интереса определяется тем, что любая коммуникация — не более чем передача смыслов между ее участниками посредством разделяемой ими знаковой системы [Bateson, 1984]. Если так, то вопросник уже не рассматривается только как текст, построенный по определенным грамматическим и стилистическим нормам. Здесь исследователя интересует не столько язык, сколько речь (Ф. Соссюр), в том числе интерпретация вербального материала говорящим и слушающим. Соответственно и отдельный вопрос представляет собой не только стилистическую конструкцию, но и рогатив2 — способ предъявления (пресуппозицию), понимание и прагматику вопроса, что требует различения письменного текста анкеты, воспроизведения его в устной речи и ее экстралингвистических коррелятах.

Экспликация мыслительных процессов, управляющих ответами, позволяет проектировать эффективный опросный инструмент, в частности, точно определять понятность вопросов, темы, которые «стоят за» вопросами; а также сопутствующие коммуникации затруднения [DeMaio Т. J., Rothgeb, 1996, р. 1978]. Многообразие интерпретаций одного и того же вопроса может определяться как текстом этого вопроса, так и текущей ситуацией, личностью интервьюера и респондента. Тем самым создается концепция опросного инструмента как коммуникативной среды (С. Новак, Г.С. Батыгин).

Цель диссертационного исследования. Объяснение и понимание реальности всегда опираются на теоретические предположения, которые дают возможность увидеть то, что скрыто за видимостями «жизненного мира». Опросный инструмент — не исключение. Только отказавшись от произвольного восприятия жизни и надежды получить от нее самой помощь в конструировании теоретических представлений, можно говорить об устойчивом и осмысленном понимании реальности. Цель исследования — разработка и апробация теоретических предположений, объясняющих логику работы опросного инструмента в различных контекстах. Для этого недостаточно оставаться на уровне теоретической рефлексии, нужно построить системы концептуальных и операциональных определений когнитивных Понятие «рогатива» введено в серлевскую классификацию речевых действии Д. Ничем [Leech. 1983. р. 206] процессов, а также разработке формализованных диагностических процедур, позволяющих фиксировать систематические смещения.

Задачи исследования

1. Обследование стандартизированного интервью; анализ вербального поведения интервьюера и респондента; составление типологии коммуникативных ролей участников опроса;

2. Разработка процедуры тестирования вопросника, основанной на когнитивном кодировании, и выявление систематических смещений, возникающих в ответах;

3. Анализ открытых вопросов, составленных для массовых обследований; тестирование процедур сбора информации с помощью открытых вопросов.

Теоретико-методологическая основа диссертации. Диссертация основана на теоретических представлениях о когнитивных процессах, активизируемых в процессе ответа (Р. Туранжо) и приложении когнитивных наук к анализу опросного инструмента (С. Садмен, Н. Брэдбери, Н. Шварц). Предложенные системы кодирования опираются на методические разработки, выполненные Р. Болтоном, Т. Бронкорстом, Т. Вилсоном, Т. Димайо, Ч. Каннелом, Д. Лесслером, JI. Мартином, Д. Ротгебом, Ф. Фол-лером, Б. Форситом, Д. Хессом и др.

Научная новизна диссертационного исследования

Разработан концептуальный аппарат и методические процедуры когнитивного анализа опросного инструмента. На основе нескольких методических экспериментов доказано, что когнитивный анализ позволяет найти не только способы оптимизации опросной процедуры, но и эффективные интерпретативные схемы решения исследовательских задач.

Доказано, что ответ представляет собой сложный верб&тьный конструкт, получаемый в ходе серии трансформаций, на которые в той или иной мере оказывают влияние все участники коммуникативной ситуации: интервьюер, респондент и исследователь, определяющий содержание и дизайн вопросов.

Модифицирована и расширена классическая четырехшаговая схема формирования ответа, которая описывает трансформацию вопроса, начиная с его восприятия и заканчивая формулированием ответа. Данная схема определена как завершающий элемент транзитивного представления опроса — когнитивный переход, которому предшествуют еще три перехода: операциональный (трансформация исследовательских концептов в систему референтов), интерпретативный (воспроизведение вопроса интервьюером) и коммуникативный (восприятие вопроса респондентом). На каждом из них происходят преобразования смыслов и значений. Предложена операционатизация данной теоретической схемы, которая позволила ответить на следующие методические вопросы: какие смещения возникают в интервью? От чего зависят смещения? К каким последствиям приводят?

Доказано, что выполнение методического требования беспристрастного и отстраненного ведения стандартизированного интервью лишь увеличивает систематические смещения и делает невозможным анализ получаемой информации.

Результаты методических экспериментов подтвердили тезис С. Садмена и Н. Брэдберна, что разделение вопросов на открытые и закрытые — методическая химера. Исследователь всегда имеет дело с открытыми ответами. Традиционное перечисление достоинств и недостатков открытой и закрытой форм заменено в диссертации спецификацией процессов, в которых трансформируются смыслы открытых ответов. Транзитивная схема опроса дополнена следующими переходами: перцептивным (восприятие ответа интервьюером), конспективным (запись ответа на бланке) и классификационным (кодирование ответов). В результате пошагового анализа трансформаций ответа определены условия качественной работы с открытыми вопросами.

На основании четырехшаговой схемы ответа и двух методов когнитивного интервью — артикулированного суждения и парафразы — построена трехступенчатая схема тестирования вопросов, которая позволяет оперативно выявлять вопросы, неадекватно воспринимаемые и интерпретируемые респондентами.

Продемонстрировано применение когнитивного анализа к решению прикладных методических задач: тестированию опросного инструмента, разработке процедур опроса, регистрации смещений, вызванных особенностями инструментария.

Практическая значимость диссертационного исследования. Результаты диссертационного исследования могут быть использованы в проектировании и последующем тестировании опросного инструмента, составлении стандартов качества массовых обследований, регламентации процедур сбора и анализа социальной информации. Результаты работы могут быть использованы в преподавании методологии социологических исследований.

Апробация. Основные положения и выводы диссертационного исследования обсуждались на методологических семинарах сектора социологии знания Института социологии РАН, семинарах Фонда «Общественное мнение», а также междисциплинарном семинаре Московской школы социальных и экономических наук. Результаты исследования опубликованы в «Социологическом журнале» (2000, №3/4; 2001, № 3). Под руководством соискателя в 2000-2001 годах проведено три методических эксперимента при организационной и финансовой поддержке Фонда «Общественное мнение». Основные положения и выводы диссертации положены в основу курса лекций, прочитанных автором в Российском университете дружбы народов в 2000-2001 учебном году.