автореферат диссертации по социологии, специальность ВАК РФ 22.00.01
диссертация на тему: Методология веб-исследований: основные подходы к формированию выборки и возможности повышения качества данных

Полный текст автореферата диссертации по теме "Методология веб-исследований: основные подходы к формированию выборки и возможности повышения качества данных"

Государственное образовательное бюджетное учреждение высшего профессионального образования «Государственный университет - Высшая школа экономики»

На правах рукописи

Мавлетова Айгуль Маратовна 0046

МЕТОДОЛОГИЯ ВЕБ-ИССЛЕДОВАНИЙ: ОСНОВНЫЕ ПОДХОДЫ К ФОРМИРОВАНИЮ ВЫБОРКИ И ВОЗМОЖНОСТИ ПОВЫШЕНИЯ КАЧЕСТВА ДАННЫХ

Специальность 22.00.01 - теория, методология и история социологии

Автореферат диссертации на соискание ученой степени кандидата социологических наук

Научный руководитель д.социол.н., профессор И.Ф. Девятко

21 о;;т 2070

Москва 2010 ^

004611297

Работа выполнена в государственном образовательном бюджетном учреждении высшего профессионального образования «Государственный университет -Высшая школа экономики»

Научный руководитель:

Доктор социологических наук, профессор Девятко Инна Феликсовна

Официальные оппоненты: Доктор социологических наук, профессор

Татарова Галина Галеевна

Кандидат социологических наук, доцент Стрельникова Анна Владимировна

Ведущая организация:

Российский Университет Дружбы Народов, кафедра социологии.

Защита состоится «22» октября 2010 года на заседании диссертационного совета Д. 212.048.01 в Государственном университете - Высшей школе экономики по адресу: 101000, Москва, ул. Мясницкая, 20.

С диссертацией можно ознакомиться в библиотеке Государственного университета - Высшей школы экономики.

Автореферат разослан «2^_сентября 2010 г.

Ученый секретарь

диссертационного совета к.э.н.

Общая характеристика работы

Актуальность темы

За последние пятьдесят лет область методологии и методов социологических исследований претерпела большие изменения. В числе самых значимых изменений можно выделить развитие методов вероятностной выборки и новых подходов к многомерному статистическому анализу, распространение телефонного интервью и разработку методов панельных исследований. Однако ни одно из этих изменений не привело к таким серьезным последствиям, как применение компьютерных методов к сбору социологических данных. Это изменение является решающим и поворотным в исследовательской практике. Движение к исследованиям, основанным на компьютерном сборе данных, можно рассматривать как нечто закономерное вследствие того, что компьютер занимает центральное место во всех областях человеческой деятельности.

С распространением Интернета стремительно начала развиваться область веб-исследований. В настоящее время онлайн исследования уже могут рассматриваться не только как теоретическое нововведение, но и как реальная практика проведения социологических исследований. Вместе с тем веб-исследования пока не получили широкого признания в научной среде, и основные причины постановки под вопрос их легитимности - базовые для методологии проблемы репрезентативности и валидности данных. Важно отметить, что социальные ученые зачастую не учитывают как релевантность использования онлайн опросов в ряде исследовательских задач (например, в экспериментальных исследованиях), так и возможные методологические решения данных проблем в некоторых типах веб-исследований. Более того, не учитываются и технологические преимущества Интернета, позволяющие повысить качество онлайн данных.

Этими обстоятельствами обусловлена актуальность рассмотрения вопросов методологии веб-исследований. В работе мы рассмотрим вопросы валидности и репрезентативности онлайн данных сквозь призму основных подходов к построению выборочной совокупности, а некоторые возможности улучшения качества данных — сквозь призму онлайн методологии опроса редких и «закрытых» совокупностей, а именно, выборки, управляемой респондентами (respondent-driven sample - RDS).

Отметим, что, несмотря на увеличивающееся количество публикаций по веб-исследованиям, наблюдается недостаток теоретических и эмпирических работ, затрагивающих фундаментальные основы веб-исследований. Актуальность данной работы определяется и тем, что она, в том числе, предназначена восполнить пробелы в отечественной методологии социологических исследований. Обсуждение базовых методологических вопросов проведения веб-исследований, рассмотрение решений проблем валидности и репрезентативности онлайн данных, а также возможностей повышения качества данных позволит увеличить интерес к онлайн исследованиям в научной среде, и что более важно - начать движение к разработке и обоснованию новых методов сбора и анализа социологических данных.

Разработанность проблемы

Работы, представляющие ценность для нашего исследования, условно можно разделить на два основных направления: теоретико-методологические и эмпирические исследования. Первое направление рассматривает методологические вопросы веб-исследований. К примерам этих работ можно отнести исследования М.Купера1, Д.Дилмана2, Дж.Бетлеема3, Дж. Клинтона4 и

1 Couper M. Web surveys: A review of issues and approaches II Public Opinion Quarterly. 2000. Vol. 64. No. 4. P. 464-494.

2 Dillman D. A. Mail and Internet surveys: The tailored design method. New York: John Wiley and Sons.

2000.

Дж.Кросника3, а в России - работы Б.З. Докторова6 и И.Ф.Девятко7. В них был получен ряд важных результатов. В частности, М.Купер первым предложил наиболее полную типологию веб-исследований и рассмотрел методологические основания разных типов веб-исследований. Д.Дилман обосновал способы уменьшения ошибки «неответов» в веб-опросах и возможные методы повышения качества данных онлайн исследований. Дж. Клинтон и М.Деннис, фокусируя внимание на анализе онлайн панелей, показали существующую недостаточность доказательств подтверждения гипотезы эффекта «созревания» участников панелей и статистически незначимую ошибку, привносимую «осыпанием» панелей. Дж.Бетлеем предложил решение проблемы внешней валидности веб-исследований путем статистической корректировки полученных результатов; напротив, Дж.Кросник и его коллеги, сравнивая результаты онлайн и оффлайн исследований в терминах внешней валидности, пришли к выводу о принципиальной невозможности корректировки онлайн данных, полученных с помощью опроса ассезБ-панели, или так называемой панели добровольцев.

На сегодняшний день опубликовано достаточно ограниченное количество работ теоретико-методологического характера в области веб-опросов. И если имеются исследования, анализирующие тот или иной методологический аспект онлайн опросов, то практически отсутствуют работы, затрагивающие базовые вопросы методологии онлайн исследований как области в целом.

3 Bethlehem J. Reducing the bias of web survey based estimates. Discussion paper 07001. Voorburg/Heerlen, 2007.

' Clinton J. Pane) bias from attrition and conditioning: A case study of the Knowledge Networks // Paper presented at the Annual Conference of the American Association for Public Opinion Research. Montreal, Canada. 2001. P. 1-34.

5 Chang L., Krosnick J. National surveys via RDD telephone interviewing vs. the Internet: Comparing sample representativeness and response quality // Public Opinion Quarterly. 2009. Vol. 73. P. 641-678.

6 Докторов Б. Реклама и опросы общественного мнения в США: История зарождения. Судьбы творцов. M.: ЦСП, 2008.

' Девятко И.Ф. Онлайн исследования и методология социальных наук: новые горизонты, новые (и не столь новые) трудности // Онлайн исследования в России 2.0 / Под ред. А.В. Шашкина, И.Ф. Девятко, С.Г. Давыдова. М: РИЦ «Северо-Восток», 2010. С. 17-30.

1 5

Эмпирические работы ведутся в нескольких направлениях. Первый пласт работ рассматривает технические процедуры проведения онлайн опросов и их администрирования. Второй пласт исследований фокусирует внимание на возможностях увеличения внутренней валидности онлайн данных. Некоторые из этих эмпирических исследований показывают данную возможность за счет технических новшеств, например, за счет включения изображений в анкету или программирования инструментария на флеш платформе8. Другие эмпирические работы позволяют делать выводы о том, что онлайн среда больше гарантирует анонимность процедуры опроса и тем самым увеличивает открытость респондентов в исследованиях на сенситивную тематику9. Третий пласт исследований показывает эффективность использования Интернета для набора и опроса определенных социальных групп, например, редких совокупностей10. Наконец, можно выделить тип работ, посвященных сравнению, обсуждению и поискам техник, помогающим повысить уровень откликов в онлайн исследованиях11. Несмотря на значительное количество эмпирических исследований в данной области, вопросы улучшения качества онлайн данных посредством разработки новых инструментов и развития новых перспектив «традиционных» методов остаются недостаточно изученными.

Цель, задачи, предмет и объект исследования

В диссертационной работе мы ставим следующую цель: выявить некоторые возможности повышения качества данных веб-исследований и указать на потенциал использования веб-опросов для повышения валидности

8 Couper M., Conrad F., TourangeauR. Visual context in web-surveys II Public Opinion Quarterly. 2007. Vol. 71. No. 4. P. 623-634.

' Joinson A., Paine C., Buchanan T., Reips U-D. Measuring self-disclosure online: Blurring and non-response to sensitive items in web-based surveys // Computers in Human Behavior. 2008. Vol. 24. P. 21582171.

10 Bowen A., Williams M., Horvath K. Using the Internet to recruit rural MSM for HIV risk assessment: Sampling Issues // AIDS and Behavior. 2004. Vol. 8. No. 3. P. 311-319.

" BosnjakM., Neubarth W., Couper M., BandillaW., KaczmirekL. Prenotification in web-based access panel surveys: The influence of mobile text messaging versus e-mail on response rates and sample composition // Social Science Computer Review. 2008. Vol. 26. No. 2. P. 213-223.

данных о труднодоступных группах населения. Соответственно, объектом данного диссертационного исследования являются методологические подходы, сложившиеся в области веб-исследований, предметом - подходы к формированию выборки и оценке качества данных в веб-исследованиях.

Сформулированная выше цель требует решения семи исследовательских

задач.

1) Типологизировать существующие веб-исследования и рассмотреть методологические основания каждого типа.

2) Оценить качество данных в каждом выделенном типе веб-исследований в терминах внутренней и внешней валидности.

3) Рассмотреть методологические основания формирования выборки в веб-опросах, а также возможности для оценки параметров генеральной совокупности и расчета ошибок опроса.

4) Проанализировать способы статистической корректировки и ремонта эмпирических данных в веб-исследованиях.

5) Обозначить перспективы применения онлайн методологии выборки, управляемой респондентами (RDS - respondent-driven sample), для опроса труднодоступных социальных групп и институционально замкнутых совокупностей.

6) Провести онлайн RDS опрос игроков в казино и сравнить итоги с результатами оффлайн исследования с применением вероятностной выборки.

7) Определить эффективность проведения онлайн RDS опроса в терминах результативности опроса и качества данных.

Теоретические и методологические основы диссертации

Теоретико-методологической основой диссертационного исследования стали работы М. Купера и предложенная им типология веб-опросов, исследования Д. Хекаторна по разработке RDS методологии, а также работы европейских и американских социологов в области веб-исследований.

Отметим, что важным преимуществом RDS метода является возможность оценить параметры генеральной совокупности и выборочную ошибку, что приближает качество получаемых данных к результатам «стандартных» опросов с применением методов вероятностного отбора. Методология применения RDS в онлайн исследованиях находится на ранней стадии разработки, а особенности использования RDS для повышения валидности данных онлайн опросов труднодоступных совокупностей остаются малоисследованными.

Эмпирическая база диссертации основывается на методическом онлайн эксперименте, проведенном автором в мае-августе 2009 г. и нацеленным на апробацию и оценку применимости онлайн RDS метода для исследования редких совокупностей. Эксперимент был реализован на материале онлайн опроса индивидов, посещающих казино и/или играющих в онлайн казино. Эффективность и достоверность полученных результатов сравнивалась с оценками, полученными в исследовании ФОМа 2006 года с применением случайной маршрутной выборки.

С учетом поставленных задач мы можем выделить четыре группы источников, релевантных для нашего исследования и отражающих глубину проработки темы.

В первую группу входят методологические работы, затрагивающие основы веб-исследований. Это, прежде всего, теоретические обобщения М. Купера, а также Д. Дилмана.

Вторую группу релевантных текстов образуют эмпирические работы, обозначающие преимущества и недостатки различных типов онлайн исследований, а также оценивающих валидность и надежность получаемых данных.

Третья группа источников — это теоретические работы Д. Хекаторна по RDS методологии и эмпирические опросы, проведенные с применением этого

метода. Здесь также важно отметить работы основателя сетевого подхода Дж. Коулмана, впервые описавшего применение метода снежного кома.

И, наконец, четвертая группа релевантных текстов - базовые работы для методологии социологических исследований в целом, а именно, работы П. Лазарсфельда, институциализировавшего практику проведения эмпирического исследования в социологии, Л.Киша, разработавшего методы формирования выборки, и Д.Кэмпбелла, предложившего критерии оценки внутренней и внешней валидности экспериментальных данных.

Научная новизна исследования

Научная новизна диссертационного исследования отражена в следующих положениях.

1) Разработана типология веб-опросов, основанная на выделении концептуального объекта, или идеальной генеральной совокупности, на который можно экстраполировать полученные данные. В работе выделено пять типов веб-исследований, в которых концептуальный объект приравнивается (а) к реальному объекту; (Ь) к посетителям определенного Интернет-сайта; (с) к отдельным социальным группам; (с1) к пользователям всемирной сети; (е) к населению, имеющему и не имеющему доступ в Интернет.

2) Выявлены угрозы внутренней валидности, вызванные случайной и систематической ошибкой измерения, а также угрозы внешней валидности, вызванные систематическими ошибками выборки, охвата и «неответов».

3) Обоснованы принципы построения выборки и оценки параметров генеральной совокупности для всех типов веб-исследований, включающие в себя: (а) явное описание или реконструкцию концептуального объекта исследования, (Ь) задание соответствующей концептуальному объекту основы выборки или способа её адаптивного построения.

4) Показано, что проблема репрезентативности онлайн данных решается за счет нивелирования ошибки охвата. В работе впервые систематически

проанализированы существующие возможности построения репрезентативной вероятностной выборки посетителей определенных сайтов, Интернет пользователей и всего населения.

5) Продемонстрирована относительно невысокая эффективность применения расчета корректирующих оценок склонности ("propensity score") с целью ремонта данных в онлайн опросах с применением невероятностного отбора.

6) Обоснована эффективность применения онлайн RDS методологии для исследования труднодоступных групп (на примере игроков в казино). Основываясь на сравнении полученных результатов эмпирического методического эксперимента, проведенного автором, с результатами опроса ФОМа с применением случайной маршрутной выборки, в работе выявлены преимущества и ограничения онлайн RDS опроса.

Основные положения, выносимые на защиту

1) В работе выделено пять типов веб-исследований, исходя из характерного для каждого типа концептуального объекта, в которых:

(a) концептуальный объект приравнивается к реальным участникам опроса,

(b) генеральную совокупность формируют посетители конкретного Интернет-сайта, (с) генеральную совокупность формируют заданные социальные группы,

(d) концептуальный объект приравнивается к пользователям Всемирной сети,

(e) генеральную совокупность формируют как пользователи сети, так и люди, не имеющие доступ в Интернет. Данная типология позволяет рассмотреть вопросы внешней и внутренней валидности, а также возможности повышения качества данных.

2) Преимуществами веб-исследований являются: (а) уменьшение организационных и административных издержек на проведение исследований,

(b) элиминирование временных различий и географических границ,

(c) сокращение сроков проведения полевых работ, (d) технологические

новшества, позволяющие улучшить инструментарий, (е) увеличение степени заполнения и консистентности собранной информации, (f) уменьшение вероятности получения социально-одобряемых ответов, (g) возможность опроса труднодоступных групп.

3) Наиболее важными методологическими проблемами веб-исследований являются ошибка охвата и внешняя валидность онлайн данных. В работе впервые показано, что данная проблема безупречно решается в веб-исследованиях с применением случайной выборки, репрезентирующих как веб-пользователей, так и индивидов, не имеющих доступ в Интернет. Для этого должна быть создана национальная онлайн панель, основанная на вероятностном отборе с использованием оффлайн основы выборки.

4) Интернет, с одной стороны, открывает огромные возможности для проведения опросов труднодоступных групп, с другой стороны, открывает перспективы для развития сетевых выборок. В частности, онлайн RDS методология позволяет решить проблему «доступа в поле» посредством (а) преодоления «географического пространства» и достижения места дислокации объекта исследования, (Ь) увеличения доверия потенциальных участников к исследованию. Это уменьшает материальные и нематериальные издержки на проведение и организацию опроса, а также значительно сокращает сроки проведения полевых работ.

5) Сравнивая результаты онлайн RDS опроса посетителей казино, проведенного автором, с результатами опроса ФОМа, в работе показана эффективность и точность полученных оценок параметров генеральной совокупности по социально-демографическим переменным. Однако методология имеет и ряд ограничений, которые выделяются и рассматриваются в исследовании.

Апробация результатов исследования

Основные положения диссертации были апробированы в трёх научных публикациях автора и представлены в докладах на следующих конференциях: «Современное Российское Общество и Социология: Семинар, посвященный памяти Юрия Левады» (Доклады на тему «Типология веб-исследований» и «Ошибка неответов в онлайн-исследованиях»; Москва, 2008-2009), «III Всероссийский социологический конгресс» (Доклад на тему «Типология веб-исследований: Новые подходы к сбору и анализу данных»; Москва 2009), «Современные проблемы формирования методного арсенала социолога (Доклад на тему «Опрос труднодостижимых групп через Интернет: выборка, управляемая респондентами»; Москва, 2010).

Материалы диссертационного исследования использовались автором при проведении семинарских занятий по курсу «Онлайн исследования в России» в Государственном Университете - Высшей Школе Экономики (2008-2010 гг.).

Теоретическая и практическая значимость исследования

Представленные в диссертации результаты могут быть использованы для дальнейших исследований в области методологии социологических веб-исследований, опроса труднодоступных социальных групп, а также в области исследований гемблинга. Приводимые в работе данные о внешней валидности различных типов выборки в веб-исследованиях могут быть использованы для научного обоснования необходимости и практического проектирования национальной онлайн панели, основанной на вероятностном отборе с использованием оффлайн основы выборки.

Представленный в работе теоретический и практический материал может использоваться при разработке лекционных курсов по методологии социологических исследований, онлайн опросам и методам построения выборки.

Логика и структура работы

Диссертационная работа состоит из введения, трех глав, заключения и библиографии. Первая глава «Типология количественных веб-исследований» нацелена на решение задачи типологизации веб-исследований. Вторая глава «Построение выборочной совокупности в веб-исследованиях» посвящена вопросам построения выборочной совокупности и возможностям оценки параметров генеральной совокупности. Третья глава «Онлайн опрос посетителей казино: опыт построения и оценки RDS выборки» выявляет научный потенциал применения онлайн RDS методологии для опроса труднодоступных групп. Объем работы составляет 169 страниц.

Основное содержание работы

Во Введении обосновывается актуальность и степень разработанности заявленной темы, формулируются цель и задачи диссертационного исследования.

Основная задача Главы I «Типология количественных веб-исследований» -каталогизация существующих подходов к проведению количественных веб-исследований. В главе приводится классификация М. Купера, выделяющего веб-опросы на основе типа выборки, и предложена авторская типология веб-опросов, исходя из концептуального объекта исследования - идеальной генеральной совокупности. Предлагаемая типология позволяет детально рассмотреть методологические основания каждого типа веб-исследования, выявить специфику формирования выборок и оценить возможности корректировки эмпирических данных.

Автором выделено и рассмотрено пять типов веб-исследований, в которых концептуальный объект приравнивается (1) к реальным участникам опроса, (2) к посетителям конкретного Интернет-сайта, (3) к определенным социальным группам, (4) к пользователям Всемирной сети, (5) к населению, имеющему и не имеющему доступ в Интернет.

В первом параграфе «Концептуальный объект = участники опроса» рассматриваются исследования, главной особенностью которых является знание, желание и готовность респондентов ответить на вопросы анкеты. Механизмы отбора респондентов на каждом этапе не определены и не контролируемы: подобные опросы подвержены ошибкам выборки, охвата, неответов, а также взвешивания и корректировки данных.

Второй параграф «Концептуальный объект = посетители веб-сайтов» посвящен веб-исследованиям, результаты которых можно обобщить на пользователей определенных сайтов. Отличительной характеристикой данного типа исследований является отбор посетителей сайта с использованием принципа систематической выборки, применяемой в опросах избирателей на выходе в день выборов. Основа выборки сужается до посетителей Интернет-сайта, и, таким образом, элиминируется проблема охвата.

В третьем параграфе «Концептуальный объект = социальные группы» анализируются веб-исследования, результаты которых можно экстраполировать на труднодоступные группы. Выявлено, что участники онлайн интервью с большей готовностью делятся своим опытом на сенситивную тему по сравнению с оффлайн опросами. Таким образом, Интернет признается социальными учеными легитимным источником рекрутирования и площадкой для опроса труднодоступных групп населения.

Четвертый параграф "Концептуальный объект = пользователи Интернета» посвящен веб-исследованиям, результаты которых можно обобщить на пользователей Всемирной сети. Один из способов построения случайной выборки пользователей сети - случайный отбор классическим способом (по базе телефонных или почтовых адресов) и опрос только тех респондентов, которые имеют доступ в Интернет. Ошибка неответов -основная проблема данного типа исследований, которая может происходить на нескольких этапах рекрутирования. Участниками опроса становятся люди, которые ответили на телефонный звонок, подтвердили, что у них есть доступ в

Интернет, предоставили свой электронный адрес, согласились стать участником панели и зарегистрировались в ней после получения приглашения по электронной почте. Подобные исследования позволяют проводить опросы, репрезентирующие Интернет пользователей в целом.

Глава завершается пятым параграфом «Концептуальный объект = население», в котором анализируются онлайн опросы, позволяющие строить репрезентативные выборки не только пользователей сети, но и индивидов, не имеющих доступ в Интернет. Онлайн панель рекрутируется на основе случайного телефонного или почтового опроса. Независимо от того, имеется в домохозяйстве компьютер и доступ в Интернет или нет, индивидам предлагают зарегистрироваться в панели. В случае отсутствия компьютера и выхода в Интернет потенциальным респондентам предоставляется необходимое оборудование. Таким образом, снимается основная проблема веб-опросов -ошибка охвата.

Основные проблемы, с которыми сталкиваются данные исследования: (I) ошибка неответов; (2) «осыпание» панели (или «истощение» панели), которое может привести к нерепрезентатвности панели; (3) влияние эффекта участия в панели (или эффект «созревания» участников панели) - вероятность изменения выражаемого мнения и поведения респондентов вследствие участия в панельном исследовании.

Несмотря на возможные ошибки подобных исследований, в работе делается вывод о том, что это единственное на сегодняшний день решение методологических проблем веб-исследований и единственный способ, позволяющий конструировать случайную выборку всего населения в Интернете.

Вторая глава диссертационной работы «Построение выборочной совокупности в веб-исследованиях» посвящена методам построения выборок в онлайн опросах и методики корректировки полученных данных. В первом параграфе «Концептуальный объект = участники опроса» рассматриваются

методы построения выборочной совокупности и оценки параметров в онлайн опросах первого типа.

Каждый Интернет-пользователь к имеет неизвестную вероятность отбора p¡ (где к = 1,2,...,А',). Ожидаемое значение вероятности рк называют склонностью к участию индивида к в онлайн опросе. Если у каждого пользователя были бы равные шансы отбора, то в качестве оценки значения переменной по всем пользователям сети выступало простое среднее значение, однако в случае неравных шансов отбора среднее значение параметра можно оценить по формуле Горвитца-Томпсона:

N, р ».i

n

где/, = 1 при наличии доступа в Интернет у k-го индивида, N, = .

í.i

Вероятность отбора респондентов можно оценить апостериорно. Результаты данного типа опросов в случае их экстраполяции на совокупность Интернет-пользователей подвержены ошибкам охвата, выборки, неответов и измерения. Исключение составляет ситуация равных значений коэффициентов склонности к участию в опросе для всех к, когда допускается, что пропуски в данных являются полностью случайными.

Для апостериорной оценки вероятности участия в онлайн опросах первого типа, а также возможности экстраполяции полученных результатов на все население, используется метод расчета корректирующих оценок склонности. В этом методе статистического перевзвешивания в качестве контрольной группы выступает случайная выборка населения или выборка Интернет-пользователей. В работе показана невысокая эффективность применения данного метода перевзвешивания.

Второй параграф «Концептуальный объект = посетители веб-сайтов» посвящен вопросу формирования выборки и оценки параметров генеральной совокупности, когда в качестве концептуального объекта исследователь

выделяет посетителей веб-сайтов. Предположим, что исследователь должен опросить посетителей h сайтов с применением случайного систематического отбора, где h (h= 1,... H) - количество веб-сайтов. Общее число N посетителей

н

в совокупности равно сумме посетителей на всех исследуемых сайтах ;V = .

Л-2

Тогда среднее значение параметра по h сайтам можно оценить следующим образом:

M /1.1 k-l

где в, = 1, если элемент к принял участие в опросе, о( = 0 - если к не

N -

принял участие, Wh =— - доля сайта h, Yk - оценка среднего значения параметра

N

Y на сайте h.

В случае учета отсутствия наблюдений по ряду индивидов ошибка среднего составит:

Р

где C(p,Y)- коэффициент ковариации между значением переменной и коэффициентом склонности Интернет-пользователей к участию в опросе.

Третий параграф «Концептуальный объект = труднодоступные группы: выборка, управляемая респондентами» посвящен построению онлайн RDS выборки для опроса труднодоступных групп. RDS методология - это разновидность сетевой выборки, позволяющей построить выборку, независимую от изначальных субъектов, с которых начался опрос. В результате финальная выборка не зависит от того, были ли отобраны первые респонденты случайным образом или нет. Наиболее значимый результат для исследователей в данном случае - это возможность применить к полученным данным статистические методы расчетов, измерить ошибку выборки, вычислить доверительный интервал, и, таким образом, экстраполировать результаты на генеральную совокупность.

Для организации RDS опроса на первом этапе исследователь выбирает первых респондентов, которые по цепочке рекрутируют остальных участников опроса. Респондентам платят вознаграждение за участие в исследовании, а также за рекрутирование каждого нового участника. Каждому респонденту можно рекрутировать ограниченное количество участников: введенная квота позволяет увеличить количество волн, необходимых для достижения точки равновесия и получения стабильных характеристик выборки. Длительность волн, исходящих от изначально выбранных семян, позволяет получить распределение, не зависящее от характеристик первоначальных респондентов, и теоретически вероятностную выборку, когда каждый член исследуемой группы имеет шанс попасть в выборку.

Каким образом можно сделать статистические выводы о генеральной совокупности? Базовым предположением является представление цепочки опрашиваемых в виде марковской цепи. Это дает возможность предположить, что смещения, которые могли быть вызваны изначально построенной выборкой, должны быть нивелированы при последующих волнах, таким образом, что финальная выборочная совокупность не зависит от выбранных исследователям «семян». Для оценки параметров генеральной совокупности и построения доверительного интервала используется оценочная процедура бутстрэппинга, в которой симулируется процедура выборки.

При этом оценить параметр генеральной совокупности можно по

s D

следующей формуле: Р.т = , , b" ? . (RDS I), где scb- сглаженная доля

^aDt+saA

респондентов из группы А, которая рекрутировала респондентов из группы В, D, - средняя оценка размера социальной сети среди членов группы А.

Первое онлайн исследование с применением метода RDS было проведено в 2004 году Д. Хекаторном и С. Вейнертом. Исследователями предполагалось опросить 150 студентов. Проведение поля заняло всего 72 часа. В 2008 году С. Вейнерт проводит второе онлайн исследование, применяя данный метод

опроса и опрашивая тот же объект, что и в 2004 году, а именно, студентов. В данном исследовании было опрошено 369 респондентов за шесть недель. Онлайн исследования показали довольно высокую эффективность полученных оценок параметров генеральной совокупности.

В четвертом параграфе «Концептуальный объект = пользователи Интернета» рассматривается вопрос формирования выборки в веб-исследованиях со случайной выборкой Интернет-пользователей. Оценить среднее значение параметра генеральной совокупности можно по формуле Горвитца-Томпсона:

— 1 " Y

E(Y ht) =—У —, где л, = Е(а.)- математическое ожидание ы як

вероятности отбора элемента к. В случае простой случайной выборки гг, =—, тогда:

Если экстраполировать результаты на все население, то ошибка выборки составит:

Вторая глава завершается пятым параграфом «Концептуальный объект = население», в котором рассматриваются принципы построения выборки в веб-исследованиях со случайным отбором, репрезентирующих все население. В репрезентативных онлайн панелях рассчитываются коэффициенты результативности онлайн опросов по аналогии с коэффициентами, разработанными AAPOR (The American Association for Public Opinion Research - Американская ассоциация исследователей общественного мнения) для телефонных интервью, т.к. наибольшая угроза в данном случае - ошибка неответов.

Основываясь на коэффициенте рекрутирования индивида на стадии телефонного дозвона ( PRECR ) и коэффициенте ответов на стадии заполнения профильной анкеты (PROR), а также учитывая уровень удержания панели (RETR) и процент респондентов, приглашенных участвовать в опросе и заполнивших анкету до конца (COMR), кумулятивной коэффициент ответов (CURRj в онлайн опросе можно рассчитать по следующей формуле: CURR = PRECR * PROR * RETR * COMR

Вычислить стандартную ошибку неответов в подобном онлайн опросе можно по следующей формуле:

= (—VMiU + var (j>„„)],

м

г . n-r.

где у, = -уиг +-уш

п п

yf- ответы, которые бы дали респонденты и панелисты, не откликнувшиеся на приглашение принять участие в опросе, уы- оценка переменной на основе ответов респондентов, ут- оценка переменной индивидов, не принявших участие в опросе, п- количество респондентов и панелистов, не принявших участие в опросе (количество разосланных приглашений), г - количество респондентов.

Третья глава диссертационной работы «Онлайн опрос посетителей казино: опыт построения и оценки RDS выборки» посвящена проведенному автором методическому эксперименту - онлайн RDS опросу посетителей казино (май-август 2009 года). Игроки в казино являются, с одной стороны, закрытой группой с большим количеством внутригрупповых связей, с другой -труднодоступной группой для опроса. Методология RDS позволяет опросить объект исследования и количественно оценить параметры генеральной совокупности. Отметим, что опрос выпал на «переломное» время для игорных заведений: 1 июля 2009 года в России были закрыты все казино, располагающиеся вне отведенных законом четырех игровых зон. На

~У/) = Мут) =, var

n-r „

-(У и,

п

-yj

закрытость, сплоченность и плотность социальных связей в группе игроков указывает тот факт, что после закрытия казино многие игроки стали играть «на катранах», или, другими словами, подпольно на квартирах, куда возможно попасть только по личной рекомендации нескольких игроков.

Целью проведения методического эксперимента является апробация и оценка применимости, а также изучение особенностей использования метода онлайн RDS для исследования редких совокупностей.

Эксперимент апробирован на материале онлайн опроса индивидов, посещающих казино и/или играющих в онлайн казино. Всего в исследовании было опрошено 99 респондентов, 4 из которых выступили в качестве «первичных» участников. Четырем участникам были высланы ссылки на онлайн анкету, после заполнения которой они могли также выслать её 6 новым респондентам. Далее новым респондентам предлагалось заполнить анкету и разослать её 6 другим участникам - игрокам, посещающим казино, или индивидам, играющим в онлайн казино. Отметим, что как за участие, так и за приведение новых респондентов организаторы не выплачивали вознаграждение. Скорее всего, это повлияло как на сроки проведения полевых работ (они длились 4 месяца), так и небольшой финальный объем выборки.

География опроса: г. Москва.

В первом и втором параграфах, «Модели анализа гемблинга» и «Методы сбора данных», представлены имеющиеся паттерны анализа поведения игроков и методы сбора данных при изучении азартного поведения. Для опроса игроков, имеющих склонность к азартным играм, и, в частности, играющих в казино, используют неслучайную выборку. Это объясняется труднодоступностью объекта и отсутствием основы выборки. Наиболее часто для опроса игроков используется выборка доступных случаев, а также стихийная выборка.

В третьем параграфе «Результаты методического эксперимента» представлены результаты проведенного опроса. Используя программу RDSAT

v.6.0, разработанную Э.Вольцем для анализа RDS данных12, автором получены следующие оценки параметров генеральной совокупности: доля мужчин среди игроков в казино в Москве составляет 0.73, доля женщин - 0.26; доля людей в возрасте до 35 лет - 0.70, в возрасте 35 лет и более - 0.30; доля людей, играющих в обычном казино - 0.47, в Интернет казино - 0.28, играющих как в обычном, так и онлайн казино - 0.25.

Как возможно измерить эффективность применения онлайн RDS в отношении посетителей казино? Следует сравнить полученные оценки с оценками параметров генеральной совокупности в исследовании с применением случайной выборки. Предположим, что изменения в численности аудитории казино в Москве за последние четыре года не повлияли на половозрастные пропорции посетителей казино, тогда есть возможность сравнить полученные оценки параметров генеральной совокупности с оценками исследования ФОМа 2006 года13. Имеются два важных отличия между данным исследованием и опросом ФОМа, которые следует учитывать:

(1) ФОМ не включал в оценку индивидов, играющих в онлайн казино,

(2) методология данного опроса - онлайн RDS, значит, в выборку могли попасть только респонденты, пользующиеся всемирной сетью.

По данным ФОМа, доля мужчин среди игроков казино в Москве - 0.73, доля женщин - 0.27. В нашем исследовании оценка доли мужчин среди игроков казино (в обычном и онлайн казино) получилась такими же. Следовательно, оценки доли параметров генеральной совокупности по переменной «пол» совпали с оценками ФОМа. Что касается возрастных оценок игроков, то в онлайн RDS оценка возрастной группы до 35 лет получилась выше - 0.70, в то время как, по оценкам ФОМа, доля данной возрастной группы составляет 0.60. Различие с оценкой ФОМа составляет 0.10 и является статистически значимым. С одной стороны, такое различие можно объяснить неточной оценкой RDS

12 http://www.respondentdrivensampling.prg/reports/RDSAT60.htm

13 Массив данных по исследованию любезно предоставлен сотрудниками ФОМа.

опроса, с другой стороны - различием между объектом исследования ФОМа и методического эксперимента.

Основываясь на опыте проведения онлайн RDS опроса, автор выделяет следующие преимущества данной методологии:

1) Онлайн RDS опрос позволяет легче установить контакт с потенциальными участниками исследования. По Интернету можно охватить большее количество игроков: как респондентов, посещающих обычные и онлайн казино, так и играющих «на катранах», или подпольно в квартирах. Вследствие того, что ссылку на заполнение анкеты присылали игроки и просили других посетителей казино принять участие в исследовании, доверие к опросу было довольно высоким, что позволило опросить в Москве 99 респондентов без предоставления вознаграждения.

2) Проведение опроса с помощью онлайн RDS методологии позволило завершить полевые работы за четыре месяца - довольно короткий срок, учитывая труднодоступность группы, низкий уровень кооперации, отсутствие вознаграждения и «переломное» время для казино. Сокращение сроков на полевые работы можно объяснить тем, что исследователю не приходилось заниматься поиском игроков в казино, договариваться об организации интервью, а также встречаться с информантами для проведения опроса. Таким образом, онлайн RDS методология (по сравнение с оффлайн) позволяет сократить как материальные, так и нематериальные издержки на планирование и проведение опроса.

3) Определяя эффективность полученных RDS оценок, отметим, что оценки параметров генеральной совокупности по переменной «пол», полученной при помощи онлайн RDS, статистически не отличались от оценок, полученных в случайном опросе, проведенном ФОМом в 2006 году.

Преимущества онлайн RDS метода очевидны, но следует также очертить и ограничения его использования. Во-первых, несмотря на то, что онлайн RDS представляет одну из наиболее удобных форм принятия участия в

исследовании, когда респондент, получая ссылку от знакомого, заполняет анкету в любое удобное для него время, уровень кооперации в группе игроков казино остается на низком уровне. В связи с отсутствием вознаграждения и низким уровнем кооперации исследователь был вынужден регулярно писать по электронной почте или звонить респондентам, принявшим участие в опросе, с просьбой выслать ссылку или письмо с напоминанием знакомым, играющим в казино, для участия в онлайн опросе.

Во-вторых, в связи с тем, что для оценки параметров генеральной совокупности базовая методология требует введения информации о том, кто именно рекрутировал тех или иных респондентов, принявших участие в исследовании, методология не обеспечивает достаточно высокий уровень конфиденциальности личной информации участников опроса. Недоверие к исследованию также может означать и то, что в опросе будут с меньшей вероятностью принимать участие респонденты, заинтересованные скрывать свою деятельность.

В-третьих, автором не было подтверждено базовое допущение RDS о случайности рекрутирования участников по переменным «пол», «возраст» и «тип казино». Отметим, что вопрос корректности использования RDS оценок в опросе, в которых не подтверждаются базовые допущения, пока остается открытым.

В-четвертых, сто опрошенных, скорее всего, является недостаточной базой для статистических выводов об игроках казино в Москве. Напомним, что в RDS опросе объем выборки должен вдвое превышать объем выборки, приемлемый в опросе с использованием случайной выборки. Недостаточный объём выборки в опросе привел к тому, что автором не совсем корректно были оценены параметры генеральной совокупности по возрасту.

В Заключении диссертационной работы подводятся итоги исследования, обозначается круг поставленных проблем и предложенных решений. В работе было показано, что одна из сильных сторон использования веб-исследований -

проведение опросов труднодоступных групп. Проведенное нами исследование не претендует на исчерпывающую полноту. Возможные решения проблемы валидности и надежности данных в веб-исследованиях, новые походы к формированию выборки, а также новаторские методы онлайн исследований и анализа многообразной информации в Интернете являются для автора предметом дальнейшей научной работы.

По теме диссертационного исследования автором опубликованы следующие работы в ведущих рецензируемых научных журналах, рекомендованных ВАК Министерства образования и науки РФ:

1. Мавлетова A.M. Социологические опросы в сети Интернет: возможности построения типологии // Социология: методология, методы, математическое моделирование. 2010. №31. С. 115-134 (объемом 1 п.л.).

Другие работы, опубликованные автором по теме диссертации:

2. Мавлетова A.M. Борьба за качество и надежность данных в онлайн исследованиях: основные результаты панельной конференции CASRO 2009 // Онлайн исследования в России 2.0 / Под ред. A.B. Шашкина, И.Ф. Девятко, С.Г. Давыдова. М: РИЦ «Северо-Восток», 2010. С. 43-61 (объемом 1 п. л.).

3. Мавлетова A.M. Казино: территория эмоциональности или расчета? // Социальная реальность. 2008, №3. С. 100-110. №4. С. 96-110 (объемом 1 п.л.).

Лицензия ЛР № 020832 от 15 октября 1993 г.

Подписано в печать 20 сентября 2010 г. Формат 60x84/16 Бумага офсетная. Печать офсетная.

Усл. печ. л. 1.

Тираж 100 экз. Заказ Типография издательства ГУ-ВШЭ, 125319 г. Москва, Кочновский пр-д, д.3.

Оглавление научной работы автор диссертации — кандидата социологических наук Мавлетова, Айгуль Маратовна

ВВЕДЕНИЕ.

ГЛАВА I. ТИПОЛОГИЯ КОЛИЧЕСТВЕННЫХ ВЕБ-ИССЛЕДОВАНИЙ

1.1. Концептуальный объект = участники опроса.

1.1.1. «Развлекательные» опросы.

1.1.2. Опросы посетителей Интернет-сайтов.

1.1.3. Опросы пользователей социальных сетей.

1.1.4. Access-панели Интернет-пользователей.

1.2. Концептуальный объект=посетители веб-сайтов.

1.2.1. Исследование профилей пользователей социальных сетей.

1.2.2. Опрос посетителей сайта, отобранных по случайной выборке

1.3. Концептуальный объект=социальные группы.

1.3.1. Опрос труднодоступных единиц.

1.3.2. Опрос групп с высоким Интернет проникновением.

1.4. Концептуальный объект=пользователи Интернета.

1.4.1. Случайный опрос пользователей Интернета.

1.5. Концептуальный объект=население.

1.5.1. Интернет опрос как один из возможных способов заполнения анкеты.

1.5.2. Репрезентативный онлайн опрос населения.

ГЛАВА II. ПОСТРОЕНИЕ ВЫБОРОЧНОЙ СОВОКУПНОСТИ В ВЕБ-ИССЛЕДОВАНИЯХ.

2.1. Концептуальный объект=участники опроса.

2.1.1. Построение выборочной совокупности. Оценка параметров.

2.1.2. Ошибки опросов.

2.1.3. Ремонт данных: расчет корректирующих коэффициентов склонности.

2.2. Концептуальный объект=посетители веб-сайтов.

2.3. Концептуальный объект=труднодоступные группы: выборка, управляемая респондентами.

2.3.1. Опрос труднодоступных единиц.

2.3.2. Построение выборочной совокупности.

2.3.3. Оценка параметров генеральной совокупности.

2.3.4. Проведение опроса методом RDS в Интернете.

2.4. Концептуальный объект=пользователи Интернета.

2.4.1. Построение выборочной совокупности. Оценка параметров генеральной совокупности.

2.4.2. Ремонт данных.

2.5. Концептуальный объектен ас еление.

2.5.1. Интернет опрос как один из возможных способов заполнения анкет.

2.5.2. Репрезентативный онлайн опрос населения.

ГЛАВА III ОНЛАЙН ОПРОС ПОСЕТИТЕЛЕЙ КАЗИНО: ОПЫТ ПОСТРОЕНИЯ И ОЦЕНКИ RDS ВЫБОРКИ.

3.1. Модели анализа гемблинга.

3.2. Методы сбора данных.

3.3. Результаты методического эксперимента.

3.3.1. Программа методического эксперимента.

3.3.2. Анализ RDS данных.

3.3.3. Оценка параметров генеральной совокупности.

3.3.4. Анализ данных онлайн опроса.

3.3.5. Преимущества и ограничения онлайн RDS метода для опроса труднодоступных групп.

Введение диссертации2010 год, автореферат по социологии, Мавлетова, Айгуль Маратовна

За последние пятьдесят лет область методологии и методов социологических исследований претерпела большие изменения. В числе самых значимых изменений можно выделить развитие методов вероятностной выборки и новых подходов к многомерному статистическому анализу, распространение телефонного интервью и разработку методов панельных исследований. Однако ни одно из этих изменений не привело к таким серьезным последствиям, как применение компьютерных методов к сбору социологических данных. Это изменение является решающим и поворотным в исследовательской практике. Движение к исследованиям, основанным на компьютерном сборе данных, можно рассматривать как нечто закономерное вследствие того, что компьютер занимает центральное место во всех областях человеческой деятельности.

С распространением Интернета стремительно начала развиваться область веб-исследований. В настоящее время онлайн исследования уже могут рассматриваться не только как теоретическое нововведение, но и как реальная практика проведения социологических исследований. Вместе с тем веб-исследования пока не получили широкого признания в научной среде, и основные причины постановки под вопрос их легитимности — базовые для методологии проблемы репрезентативности и валидности данных. Важно отметить, что социальные ученые зачастую не учитывают как релевантность использования онлайн опросов в ряде исследовательских задач (например, в экспериментальных исследованиях), так и возможные методологические решения данных проблем в некоторых типах веб-исследований. Более того, не учитываются и технологические преимущества Интернета, позволяющие повысить качество онлайн данных.

Этими обстоятельствами обусловлена актуальность рассмотрения вопросов методологии веб-исследований. В работе мы рассмотрим вопросы валидности и репрезентативности онлайн данных сквозь призму основных подходов к построению выборочной совокупности, а некоторые возможности улучшения качества данных — сквозь призму онлайн методологии опроса редких и «закрытых» совокупностей, а именно, выборки, управляемой респондентами (respondent-driven sample - RDS).

Отметим, что, несмотря на увеличивающееся количество публикаций по веб-исследованиям, наблюдается недостаток теоретических и эмпирических работ, затрагивающих фундаментальные основы веб-исследований. Актуальность данной работы определяется и тем, что она, в том числе, предназначена восполнить пробелы в отечественной методологии социологических исследований. Обсуждение базовых методологических вопросов проведения веб-исследований, рассмотрение решений проблем валидности и репрезентативности онлайн данных, а также возможностей повышения качества данных позволит увеличить интерес к онлайн исследованиям в научной среде, и что более важно -начать движение к разработке и обоснованию новых методов сбора и анализа социологических данных.

В диссертационной работе мы ставим следующую цель: выявить некоторые возможности повышения качества данных веб-исследований и указать на потенциал использования веб-опросов для повышения валидности данных о труднодоступных группах населения. Соответственно, объектом данного диссертационного исследования являются методологические подходы, сложившиеся в t области веб-исследований, предметом — подходы к формированию выборки и оценке качества данных в веб-исследованиях.

Сформулированная выше цель требует решения семи исследовательских задач.

1) Типологизировать существующие веб-исследования и рассмотреть методологические основания каждого типа.

2) Оценить качество данных в каждом выделенном типе веб-исследований в терминах внутренней и внешней валидности.

3) Рассмотреть методологические основания формирования выборки в веб-опросах, а также возможности для оценки параметров генеральной совокупности и расчета ошибок опроса.

4) Проанализировать способы статистической корректировки и ремонта эмпирических данных в веб-исследованиях.

5) Обозначить перспективы применения онлайн методологии выборки, управляемой респондентами (RDS - respondent-driven sample), для опроса труднодоступных социальных групп и институционально замкнутых совокупностей.

6) Провести онлайн RDS опрос игроков в казино и сравнить итоги с результатами оффлайн исследования с применением вероятностной выборки.

7) Определить эффективность проведения онлайн RDS опроса в терминах результативности опроса и качества данных.

Научная новизна диссертационного исследования отражена в следующих положениях.

1) Разработана типология веб-опросов, основанная на выделении концептуального объекта, или идеальной генеральной совокупности, на который можно экстраполировать полученные данные. В работе выделено пять типов веб-исследований, в которых концептуальный объект приравнивается (а) к реальному объекту; (Ь) к посетителям определенного Интернет-сайта; (с) к отдельным социальным группам; (d) к пользователям всемирной сети; (е) к населению, имеющему и не имеющему доступ в Интернет.

2) Выявлены угрозы внутренней валидности, вызванные случайной и систематической ошибкой измерения, а также угрозы внешней валидности, вызванные систематическими ошибками выборки, охвата и «неответов».

3) Обоснованы принципы построения выборки и оценки параметров генеральной совокупности для всех типов веб-исследований, включающие в себя: (а) явное описание или реконструкцию концептуального объекта исследования, (Ь) задание соответствующей концептуальному объекту основы выборки или способа её адаптивного построения.

4) Показано, что проблема репрезентативности онлайн данных решается за счет нивелирования ошибки охвата. В работе впервые систематически проанализированы существующие возможности построения репрезентативной вероятностной выборки посетителей определенных сайтов, Интернет пользователей и всего населения.

5) Продемонстрирована относительно невысокая эффективность применения расчета корректирующих оценок склонности ("propensity score") с целью ремонта данных в онлайн опросах с применением невероятностного отбора.

6) Обоснована эффективность применения онлайн RDS методологии для исследования труднодоступных групп (на примере игроков в казино). Основываясь на сравнении полученных результатов эмпирического методического эксперимента, проведенного автором, с результатами опроса ФОМа с применением случайной маршрутной выборки, в работе выявлены преимущества и ограничения онлайн RDS опроса.

Теоретико-методологической основой диссертационного исследования стали работы М. Купера и предложенная им типология веб-опросов, исследования Д. Хекаторна по разработке RDS методологии, а также работы европейских и американских социологов в области веб-исследований.

Отметим, что важным преимуществом RDS метода является возможность оценить параметры генеральной совокупности и выборочную ошибку, что приближает качество получаемых данных к результатам «стандартных» опросов с применением методов вероятностного отбора. Методология применения RDS в онлайн исследованиях находится на ранней стадии разработки, а особенности использования RDS для повышения валидности данных онлайн опросов труднодоступных совокупностей остаются малоисследованными.

Эмпирическая база диссертации основывается на методическом онлайн эксперименте, проведенным автором в мае-августе 2009 г. и нацеленным на апробацию и оценку применимости онлайн RDS метода для исследования редких совокупностей. Эксперимент был реализован на материале онлайн опроса индивидов, посещающих казино и/или играющих в онлайн казино. Эффективность и достоверность полученных результатов сравнивалась с оценками, полученными в исследовании ФОМа 2006 года с применением случайной маршрутной выборки.

С учетом поставленных задач мы можем выделить четыре группы источников, релевантных для нашего исследования и отражающих глубину проработки темы.

В первую группу входят методологические работы, затрагивающие основы веб-исследований. Это, прежде всего, теоретические обобщения М. Купера, а также Д. Дилмана.

Вторую группу релевантных текстов образуют эмпирические работы, обозначающие преимущества и недостатки различных типов онлайн исследований, а также оценивающих валидность и надежность получаемых данных.

Третья группа источников — это теоретические работы Д. Хекаторна по RDS методологии и эмпирические опросы, проведенные с применением этого метода. Здесь также важно отметить работы основателя сетевого подхода Дж. Коулмана, впервые описавшего применение метода снежного кома.

И, наконец, четвертая группа релевантных текстов — базовые работы для методологии социологических исследований в целом, а именно, работы П. Лазарсфельда, институциализировавшего практику проведения эмпирического исследования в социологии, Л.Киша, разработавшего методы формирования выборки, и Д.Кэмпбелла, предложившего критерии оценки внутренней и внешней валидности экспериментальных данных.

Диссертационная работа состоит из введения, трех глав, заключения и библиографии. Первая глава «Типология количественных веб-исследований» нацелена на решение задачи типологизации веб-исследований. Вторая глава «Построение выборочной совокупности в веб-исследованиях» посвящена вопросам построения выборочной совокупности и возможностям оценки параметров. Третья глава «Онлайн опрос посетителей казино: опыт построения и оценки RDS выборки» выявляет научный потенциал применения онлайн RDS методологии для опроса труднодоступных групп.

Заключение научной работыдиссертация на тему "Методология веб-исследований: основные подходы к формированию выборки и возможности повышения качества данных"

Результаты исследования показывают, что мужчины в среднем знают шестнадцать мужчин и двух женщин, играющих в казино. Женщины, в свою очередь, знают, четырнадцать мужчин и двух женщин, посещающих казино или играющих в онлайн казино.

Для того чтобы оцепить, насколько рекрутирование новых участников исследования по переменной «пол» было случайным, применим критерий хи-квадрат. Для этого сравним фактические паттерны рекрутирования с ожидаемыми частотами, рассчитанными на основе композиции социальной сети группы (Таблицы 21-22). Нулевая гипотеза формулируется в этом случае следующим образом: рекрутирование участников носит неслучайный характер.

ЗАКЛЮЧЕНИЕ

Одно из самых значимых изменений в области социологических методов сбора данных за последние десятилетия связано с развитием веб-исследований. Это изменение предопределяет направления развития новых техник и методов сбора и анализа данных.

В диссертационной работе мы рассмотрели основные подходы к построению выборочной совокупности в веб-исследованиях, обозначили некоторые пути повышения качества данных и указали на потенциал развития и использования веб-опросов для исследования труднодоступных групп.

В работе пре дложена и рассмотрена типология веб-исследований, исходя из «концептуального объекта» исследования - идеальной генеральной совокупности. Мы выделили пять типов веб-исследований, в которых:

1) концептуальный объект приравнивается к реальным участникам опроса,

2) генеральную совокупность формируют посетители конкретного Интернет-сайта,

3) генеральную совокупность формируют заданные социальные группы,

4) результаты можно обобщить на пользователей Всемирной сети,

5) результаты можно обобщить одновременно на пользователей сети и людей, не имеющих доступ в Интернет.

В каждом типе веб-исследований мы рассмотрели методологические основания, выявили специфику формирования выборок, оценили качество данных в терминах внутренней и внешней валидности, а также предложили возможности улучшения и корректировки данных.

В исследованиях, в которых концептуальный объект приравнивается к реальным участникам опроса, мы рассмотрели, следующие подтипы: (а) развлекательные опросы, (Ь) опросы посетителей Интернет-сайтов, (с)

147 опросы пользователей социальных сетей, (d) опросы участников access-панелей Интернет-пользователей. Результаты данного типа исследований в случае их экстраполяции на совокупность веб-пользователей или население подвержены ошибкам охвата, выборки и неответов. Главной особенностью подобных веб-исследований является знание, желание и готовность респондентов ответить на вопросы. Иными словами, каждый Интернет-пользователь к имеет неизвестную вероятность отбора рк. Вероятность отбора респондентов можно оцепить апостериорно, используя метод перевзвешивания на основе расчета коэффициентов склонности. В этом методе статистического перевзвешивания в качестве контрольной группы выступает случайная выборка населения или выборка Интернет-пользователей. Соответственно, ремонт данных позволяет экстраполировать результаты на веб-пользователей или все население. Как мы показали в работе, применение данного метода не всегда увеличивает точность оценок переменных.

В веб-исследованиях, результаты которых можно обобщить на пользователей определенных сайтов, мы рассмотрели два подтипа: (а) анализ предпочтений индивидов на основе изучения профилей пользователей социальных сетей и (Ь) опрос посетителей сайтов, отобранных по случайной выборке. Первый подтип исследований позволяет проводить неявный мониторинг пользователей социальных сетей посредством анализа профильной информации о предпочтениях и вкусах индивидов. В работе мы рассмотрели возможности, открывающиеся перед исследователями благодаря одному из проектов семантического веба («Друг друга»). Целыо проект является создание стандартного механизма размещения информации па сайтах социальных сетей и объединение их в одну глобальную базу персональных данных пользователей. Отличительной характеристикой второго подтипа исследований является отбор посетителей сайта с использованием принципа систематической выборки, применяемой в опросах избирателей на выходе в день выборов. Основа выборки сужается до посетителей Интернет-сайта, и, таким образом, элиминируется проблема охвата. Наиболее значимая ошибка в данном подтипе опросов — ошибка неответов.

В веб-исследованиях, результаты которых можно обобщить на пользователей Всемирной сети, мы рассмотрели возможность исследования веб-пользователей на основе случайного отбора населения классическим способом (например, по телефону) и опроса среди них респондентов, имеющих доступ в Интернет. Ошибка неответов является наибольшей угрозой в данном типе опросов. Однако в отличие от методов, где применяется неслучайная выборка, в данном типе веб-исследований возможно измерить ошибку охвата и неответов па основе собранной социально-демографической информации о пользователях и непользователях Интернета. В том случае, если на основе полученных данных исследователь экстраполирует результаты на все население, в том числе на группы, не имеющие доступ в Интернет, применяются следующие методы ремонта данных: (а) постстратификационное взвешивание, (Ь) взвешивание в соответствии с контрольной выборкой, (с) построение выборки индивидов, не имеющих доступ в Интернет.

Наиболее важной методологической проблемой веб-исследований является внешняя валидность онлайн данных. В работе мы детально рассмотрели онлайн исследования, которые позволяют решить данную методологическую проблему. Новаторское использование онлайн методологии в социальных науках связано с возможностью проведения веб-исследований с применением случайной выборки, репрезентирующих как веб-пользователей, так и индивидов, не имеющих доступ в Интернет. На каждом этапе можно рассчитать коэффициенты результативности онлайн опросов по аналогии с коэффициентами, разработанными AAPOR для телефонных интервью.

В. работе, было показано, что одна из сильных сторон использования веб-исследований - проведение опросов труднодоступных групп. Важным преимуществом метода RDS является получение валидных оценок параметров генеральной совокупности и выборочной ошибки, что приближает качество получаемых данных к результатам традиционных опросов с применением методов вероятностного отбора. Методический эксперимент с опросом игроков казино показал эффективность использования онлайн RDS методологии для исследования труднодоступных или замкнутых социальных групп.

Проведенное нами исследование не претендует на исчерпывающую полноту. Возможные решения проблемы валидности и надежности данных в веб-исследованиях, новые походы к формированию выборки, а также новаторские методы онлайн исследований и анализа многообразной информации в Интернете являются для автора предметом дальнейшей научной работы.

Список научной литературыМавлетова, Айгуль Маратовна, диссертация по теме "Теория, методология и история социологии"

1. Бауман 3. Текучая современность. Спб: Питер: 2008.

2. Докторов Б. Из XVII столетия в наступивший век: к становлению пост-гэллаповских опросных технологий, online.http://pseudology.org/Gallup/Doktorov XVII.htm>

3. Докторов Б. К попытке определения пространства американских методических исследований опросных технологий, online)http.7/pseudologv.org/Gallup/DoktorovMethodSpace.htm>

4. Докторов Б. Онлайновые опросы — обыденность наступившего столетия, online.http://pseudology.org/Gallup/On line Polls.htm>

5. Докторов Б. Постгэллаповские опросные технологии. Начало четвертого этапа развития методов изучения общественного мнения, online.http://pseudology.org/Gallup/Gallup Post.htm>.

6. Докторов Б.З. Реклама и опросы общественного мнения в США: История зарождения. Судьбы творцов. М.: ЦСП, 2008.

7. Дружинин Н. Выборочное наблюдение и эксперимент. М.: Статистика, 1977.

8. Интернет в России / Россия в Интернете // ФОМ Опросы. Март 2009. online.http://bd.fom.ru/pdI7int0309.pdf>

9. Кнорр-Цетина К. Социальность и объеюы. Социальные отношения в постсоциальных обществах знания // Социология вещей. Сборник статей / Под ред. В.Вахштайна. М.: Издательский дом «Территория будущего», 2006. С. 267-307.

10. Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. М.: Прогресс, 1980.

11. Мавлетова А. Казино: вовлеченность и эмоции // ЭСФорум. Февраль 2008. С. 11-14.

12. Мавлетова А. Казино: территория эмоциональности или расчета? // Социальная реальность. 2008, №3. С. 100-110.

13. Мавлетова А. Казино: территория эмоциональности или расчета? // Социальная реальность. 2008, №4. С. 96-110.

14. Мавлетова А. Борьба за качество и надежность данных в онлайн исследованиях: основные результаты панельной конференции CASRO 2009 // Онлайн исследования в России 2.0 / Под ред. А.В. Шашкина, И.Ф. Девятко, С.Г. Давыдова. М: РИЦ «Северо-Восток», 2010.

15. Мавлетова А. Социологические опросы в сети Интернет: возможности построения типологии // Социология 4 М (в печати).

16. Мягков А.Ю. Использование экспертных оценок при диагностике неискренних ответов респондентов // Социологический Журнал. 2002. №3. online.http ://www. socj ournal .ru/article/ 514>

17. Онлайн исследования в России: Тенденции и перспективы / Под ред. А.В. Шашкина, М.Е. Поздняковой М: ИС РАН, 2006.

18. Онлайн исследования в России 2.0 / Под ред. А.В. Шашкина, И.Ф. Девятко, С.Г. Давыдова. М: РИЦ «Северо-Восток», 2010.

19. Сирл Дж. Разум мозга компьютерная программа? // В мире науки. 1990. №3. С. 7-13.

20. Эфрон Б. Нетрадиционные методы многомерного статистического анализа / Под ред. Ю. П. Адлера. М: Финансы и статистика, 1988.

21. AAPOR Report On Online Panels, March 2010. online. <http://www. aapor.org/AM/Template. cfm?Section=AAPORCommitteeandTaskForceReports&Template=/CM/ConLentDisplay.cfm&ContentID=22 23>

22. Abbott M., VolbergR., Ronneberg S. Comparing the New Zealand and Swedish National Surveys of Gambling and Problem Gambling // Journal of Gambling Studies. 2004. Vol. 20. No. 3. P. 237-258.

23. Alvarez R., Sherman R., VanBeselaere C. Subject acquisition for web-based surveys // Political Analysis. 2003. Vol. 11. No. 1. P. 23-43.

24. Babbie E. R. Survey research methods. Wadsworth Publishing, 1990.

25. Baker R. Caught in the web // Research World. June 2008.

26. Bandilla W. Web surveys an appropriate mode of data collection for the social sciences? // Online social sciences / Ed. by B. Batinic, U-D. Reips, M. Bosnjak. Gottingen: Hogrefe & Huber Publishers, 2002. P. 1-6.

27. Basso A., Miraglia M. Avoiding Massive Automated Voting in Internet Polls // Electronic Notes in Theoretical Computer Science. 2008. Vol. 197. No. 2. P. 149-157.

28. Beniger J. Survey and market research confront their future on the World Wide Web // Public Opinion Quarterly. 1998. Vol. 62. No. 3. P. 442-452.

29. BerglerE. The psychology of gambling. New-York: Hill and Wang, 1957.

30. Berners-Lee Т., Hendler J., Lassila O. The semantic web // Scientific American Magazine. May 17, 2001. online. <http://www.sciam.com/article.cfm?id=thc-semantic-web>

31. Berrens R., Bohara A., Jenkins-Smith H., Silva C., Weimcr D. The advent of Internet surveys for political research: A comparison of telephone and Internet samples // Political analyses. 2003. Vol. 11. No. 1. P. 1-22.

32. Best S. Internet data collection. L.: SAGE Publications, 2004.

33. Bethlehem J. Internet survey developments at statistics Netherlands. Discussion paper 05003. Voorburg/Heerlecn, 2005.

34. Bethlehem J. Reducing the bias of web survey based estimates. Discussion paper 07001. Voorburg/Heerlcn. January 2007.

35. Black J., Champion D. Methods and issues in social research. John Wiley and Sons: Chichester, 1976.

36. Bloch H. The sociology of gambling // American Journal of Sociology. Vol. 57. No. 3. P.215-221.

37. Bolen D., Boyde W. Gambling and the gambler: A review and preliminary findings // Studies in the Psychology of Gambling / Ed. by I. Kusyszyn. New-York: Simon and Schuster. 1972, P. 11-27.

38. Brecko В., Carstens R. (2006) Paper versus web survey do they provide comparable results? 2006. online.http://www.websm.0rg/upl0adi/edit0r/l 175239985Brecko Carstens.p df>

39. Brenner V. Generalizability issues in Internet-based survey research: Implications for the Internet addiction controversy // Online social sciences / Ed. by B. Batinic, U-D. Reips, M. Bosnjak. Gottingen: Hogrefe & Huber Publishers, 2002. P. 93-113.

40. Brickley D., Miller L.FOAF Vocabulary Specification 0.9. May 2007. online.http://xmlns.eom/foaf/Q.\!>

41. Bowen A., Williams M., Horvath K. Using the Internet to recruit rural MSM for HIV risk assessment: Sampling Issues // AIDS and Behavior. 2004. Vol. 8. No. 3. P. 311-319.

42. Burnett R., Marshall P. Web theory. An introduction. New York: Routledge, 2003.

43. Callegaro M., DiSorga C. Computing metrics for online panels // Public Opinion Quarterly. 2008. Vol. 72, No. 5. P. 1008-1032.

44. Campbell F. Gambling: A positive view // Gambling and Society: Interdisciplinary Studies on the Subject of Gambling / Ed. by W. Eadington. Springfield: Charles T. Thomas. P. 218-228.

45. Carmines E. Reliability and validity assessment. Beverly Hills, Calif.: SAGE Publications, 1979.

46. AComparisonoftheRandomDigitDailingTelephoneSurvey.pdf>

47. Christian L., Dillman D., Smyth J. Helping respondents get it right the first time: The influence of words, symbols, and graphics in web-surveys //Public Opinion Quarterly. 2007. Vol. 71. P. 113-125.

48. Clinton J. Panel bias from attrition and conditioning: A case study of the Knowledge Networks // Paper presented at the Annual Conference of the American Association for Public Opinion Research. Montreal, Canada. 2001. P. 1-34.

49. Cochran W. The effectiveness of adjustment by subclassification in removing bias in observational studies // Biometrics, 1968. Vol. 24. No. 2. P. 295-313.

50. Cochran W. G. Sampling Techniques. New York: John Wiley & Sons, 1977.

51. Cochran W. G., Mosteller F, Tuckey J.W. Principles of sampling// Journal of the American Statistical Association. 1954. Vol. 49. P. 13-35.

52. Coleman J. Relational analysis: The study of social organization with survey methods // Human Organization. 1958. Vol. 17. P. 28-36.

53. Comley P. Pop-up surveys: What works, what doesn't work and what will work in the future. 2000. Proceedings of the ESOMAR Worldwide Internet conference Net Effects 3, Amsterdam, online. <www.virtualsurveys.com/news/papers/paper4.asp>

54. Comley P. Innovation in online research — who needs online panels? // MRS Research Conference. 2003. Paper 36. P. 1-14. online. <http://www.vvebsm.org/uploadi/editor/Comley 2003Innovation in onli ne research.pdf>

55. Comley P. Understanding the online panelist // Paper presented at the Annual ESOMAR World Research Conference. 2005.

56. CoomberR. Using the Internet for survey research // Sociological Research Online. 1997. Vol. 2. No. 2. online. <http://www.socresonline.org.Uk/socresonline/2/2/2.html>

57. Couper M. Issues of representation in ellealth Research (with a focus on web surveys) // American Journal of Preventive Medicine. 2007. Vol. 32. No. 5S. P. 83-89.

58. Couper M. Technology trends in survey data collection// Social Science Computer Review. 2005. Vol. 23. No. 4. P. 486-501.

59. Couper M. Web surveys: A review of issues and approaches // Public Opinion Quarterly. 2000. Vol. 64. No. 4. P. 464-494.

60. Couper M., Conrad F., Tourangeau R. Visual context in web-surveys // Public Opinion Quarterly. 2007. Vol. 71. No. 4. P. 623-634.

61. Couper M., Bosnjak M. Internet surveys // Handbook of Survey Research / Ed. by J. Wright and P. Marsden. Emerald Books, 2010. P. 527-550.

62. Couper M., Kapteyn A., Schonlau M., Winter J. Noncoverage and nonresponse in an Internet survey // Social Science Research. 2007. No. 36. P. 131-148.

63. Couper M., Tourangeau R., Conrad F., Singer E. Evaluating the effectiveness of visual analog scales: A web experiment // Social Science Computer Review. 2006. Vol. 24. No. 2. P. 227-245.

64. Couper M., Tourangeau R., Kenyon K. Picture this! Exploring visual effects in web surveys // Public Opinion Quarterly. 2007. Vol. 68. No. 2. P. 255-266.

65. Couper M., Traugott M., Lamias M. Web surveys design and administration // Public Opinion Quarterly. 2001. Vol. 65. P. 230-253.

66. Crawford W. Survey Says.Or Does It? Fun with Statistics. // EContent. 2004. Vol. 27. No. 11. P. 42-43.

67. Danielsson, S. (2002). The propensity score and estimation in nonrandom surveys: An overview. 2002. online. <http://www.statistics.su.Se/modemsurvevs/publ/l 1 ,pdf>

68. Davis R. Web-based administration of a personality questionnaire: Comparison with traditional methods // Behavior Research Methods, Instruments and Computers. 1999. Vol. 31. P. 572-577.

69. De Leeuw E. To mix or not to mix data collection modes in surveys // Journal of Official Statistics. 2005. Vol. 21. No. 2. P. 233-255.

70. Dennis M. Are Internet panels creating professional respondents? A study of panel effects // Marketing Research. 2001. Vol. 13. No. 2. P. 34-38.

71. Dennis M., Li R. Effects of panel attrition on survey estimates // Paper presented at the Annual Conference of the American Association for Public Opinion Research. Nashville. 2003.

72. Deming W.E. On errors in surveys // American Sociological Review. 1944. Vol. 9. No. 4. P. 359-369.

73. Dillman D. A. Mail and Internet surveys: The tailored design method. New York: John Wiley and Sons. 2000.

74. Dillman D., Eltinge J., Groves R., Little R. Survey nonresponse in design, data collection, and analysis // Survey Nonresponse // Ed. by Dillman D., Eltinge J., Groves R., Little R. New York, John Wiley & Sons. P. 3-26.

75. Dillman D.A., Tortora R.D., Bowker D. Principles for constructing web surveys, 1999. online.www.sesrc.wsu.edu/dillman/papers/websurveyppr.pdf>

76. Ding L, Finin Т., Joshi A. Analyzing social networks on the semantic web // IEEE Intelligent Systems. 2005. Vol. 9, No. 1. online.http://ebiquity.umbc.edu/filedirectory/papers/126.pdf>

77. Doing Internet research: Critical Issues and methods for examining the net // Ed. By Jones S. California: SAGE Publications, 1998.

78. Duffy В., Smith K., Terhanian G., Bremer J. Comparing data from online and face-to-face surveys // International Journal of Market Research. 2005. Vol. 47. No. 6. P. 615-639.

79. Erickson B. Some problems of inference from chain data // Sociological Methodology. 1979. Vol. 10. P. 276-302.

80. Evans J.R., Mathur A. The value of online surveys // Internet Research. 2005. Vol. 15. No. 2. P. 195-219.

81. Fink A. How to sample in surveys. London: SAGE Publications, 1995.

82. Fink A. The survey handbook. London: SAGE Publications, 1995

83. Firat A.F., Dholakia N. Consuming people. From political economy to theatres of consumption. London: Routledge, 2003.

84. Flemming G., Sonner M. (1999) .Can Internet Polling Work? Strategies for Conducting Public Opinion Surveys Online // Paper presented at the Annual Conference of the American Association for Public Opinion Research, 1999.

85. Fricker R. D. Sampling methods for web and e-mail surveys. 2006. online.http://www.nps.navy .mil/orfacpag/resumePa2;es/papers/frickerpa/Draft% 20Internet%20Survev%20Sampling%20Chapter.pdl>

86. Ganassali S. The influence of the design of web survey questionnaires on the quality of responses // Survey Research Methods. 2008. Vol. 2. No. 1. P. 21-32.

87. Garland P., Santus D., Uppal R. Survey lockouts: Are we too cautious? // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1-4.

88. Gettelman S., Trimarchi E. On the road to clarify: Differences between sample sources. // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1-27.

89. Giacobbe J., Petit A. Data quality: Prevalence and types of survey response sets // CASRO Panel Conference. 2008. February 5-6, Miami. P. 1-7.

90. GoffmanE. Where the action is // Interaction ritual: Essays on facc-to-face behavior. New York: Pantheon Books, 1967. P. 149-270.

91. Goodman L. Snowball sampling // The Annals of Mathematical Statistics. 1961. Vol. 32. P. 148-170.

92. Goritz A.S., ReinholdN., Batinic B. Online panels // Online social sciences / Ed. by B. Batinic, U-D. Reips, M. Bosnjak. Gottingen: Hogrefe & Huber Publishers, 2002. P. 27-47.

93. Goritz A. Recruitment for online access panels // International Journal of Market Research. 2004. Vol 46. Quarter 4. P. 411-425.

94. Goritz A.S Using lotteries, loyalty points, and other incentives to increase participant response and completion // Advanced methods for conducting online behavioral research / Ed. by S. Gosling and J. Johnson. P. 219-233.

95. Groves R. Survey errors and survey costs. New York: John Wiley and Sons, 1989.

96. Groves R., Couper M., Presser S., Singer E., Tourangeau R., Piani Acosta G., Nelson L. Experiments in producing nonresponse bias // Public Opinion Quarterly. 2006. Vol. 70. No. 5. P. 720-736.

97. GunterB., Nicholas D., Huntington P., Williams P. Online versus offline research: Implications for evaluating digital media // Aslib Proceedings. 2002. Vol. 54, No. 4. P. 229-239.

98. Heflin J., Hendler J., Luke S. SHOE: A blueprint for the semantic web // Spinning the semantic web: Bringing the World Wide Web to its full potential // Edited by D. Fensel, J. Hendler, 11. Lieberman, W. Wahlster. London: MIT Press, 2003. P. 29-58.

99. Heckathorn D. Collective action and group heterogeneity: Voluntary provision versus selective incentives // American Sociological Review. 1993. Vol. 58. No. 3. P. 329-350.

100. Heckathorn D. Extensions of respondent-driven sampling: Analyzing continuous variables and controlling for differential recruitment // Sociological Methodology. 2007. Vol. 37. P. 151-208.

101. Heckathorn D. Respondent-driven sampling: A new approach to the study of hidden populations//Social Problems. 1997. Vol.44. No. 2. P. 174-199.

102. Heckathorn D. Respondent-driven sampling II: Deriving valid population estimates from chain-referral samples of hidden populations // Social Problems. 2002. Vol. 49. No. 2. P. 11-34.

103. Henry G. Т. Practical sampling. Newbury Park: SAGE Publications, 1990.

104. Horvath K., Beadnell В., Bowen A. A daily web diary of the sexual experiences of men who have sex with men: Comparisons with a retrospective recall survey // AIDS Behavior. 2007. Vol. 11. P. 537-548.

105. Horwitz D.G., Thompson D.J. A generalization of sampling without replacement form a finite universe // Journal of the American Statistical Association. 1952. Vol. 47. P. 663-685.

106. Hurwitz W. N. Sample survey methods and theory. New York: John Wiley and Sons. 1993.

107. Joinson A., Paine C., Buchanan Т., Reips U-D. Measuring self-disclosure online: Blurring and non-response to sensitive items in web-based surveys // Computers in Human Behavior. 2008. Vol. 24. P. 2158— 2171.

108. Kaur I., SchutteN., Thorsteinsson E. Gambling control self-efficacy as a mediator of the effects of low emotional intelligence on problem gambling // Gambling Studies. 2006. Vol. 22. P. 405-411.

109. Kaplowitz M.D., Hadlock T.D., Levine R. A comparison of web and mail survey response rates // Public Opinion Quarterly. 2004. Vol. 68. No. 1. P. 94-101.

110. Kish L. Statistical design for research. New York: John Wiley and Sons, 2004.

111. Kish L. A procedure for objective respondent selection within the household// Journal of the American Statistical Association. 1949. Vol. 44, No. 247. P. 380-387.

112. Klovdahl A. Urban social networks: Some methodological problems and possibilities // The small world // Ed.by M. Kochen. Norword, NJ: Ablex Publishing, 1989. P. 176-210.

113. KrosnickJ., Alwin D. An evaluation of a cognitive theory of response-order effects in survey measurement // Public Opinion Quarterly. 1987. Vol. 51. P. 211-219

114. Kusyszynl. How gambling saved me from a misspent sabbatical // Gambling and Society: Interdisciplinary Studies on the Subject of Gambling / Ed. by W. Eadington. Springfield: Charles T. Thomas. 1976. P. 255-264.

115. Lazarsfeld P. Panel Studies // Public Opinion Quarterly. 1940. Vol. 38. No. 4. P. 122-128.

116. Lee R. Doing research on sensitive topics. SAGE: London, 1993.

117. Lee S. An evaluation of nonrcsponse and coverage errors in a prerecruited probability web panel survey // Social Science Computer Review. 2006. Vol. 24. No. 4. P. 460-474.

118. Lee S. Propensity score adjustment as a weighting scheme for volunteer panel web surveys // Journal of Official Statistics. 2006. Vol. 22. No. 2. P. 329-349.

119. Lee S. Statistical estimation methods in volunteer panel web surveys. Dissertation. 2004. online.http://www.websm.org/index.php?fl=2&lact=::l&bid:=::l 1740&page=2&p arent—12>

120. Lefever S., Dal M., Matthiasdottir A. Online data collection in academic research: Advantages and limitations // British Journal of Educational Technology. 2007. Vol. 38. No. 4. P. 574-582.

121. Lesieur II., Blume S. The South Oaks Gambling Screen (SOGS): A new instrument for the identification of pathological gamblers // American Journal of Psychiatry. 1987. Vol. 144. P. 1184-1188.

122. Liu H. Social network profiles as taste performances // Journal of Computer-Mediated Communication. 2007. Vol. 13. No. 1. online. <http ://j cmc. indiana.edu/vol 13/issue 1 /liu ,html>

123. Li W., Smith M. The propensity to gamble: Some structural determinants // Gambling and Society: Interdisciplinary Studies on the Subject of Gambling / Ed. by W. lladington. Springfield: Charles T. Thomas. 1976. P. 189-206.

124. Luck K. Data quality considerations when utilizing a multi-sourced sample approach // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1-8.

125. Lutwin M.S. How to measure survey reliability and validity. SAGE Publications, 1995.

126. May T. Social research: issues, methods and process. Open University Press: Buckingham, 1993.

127. Mahon-Haft T.A., Dillman D Docs visual appeal matter? Effects of web survey aesthetics on survey quality // Survey Research Methods. 2010. Vol. 4. No. l.P. 43-59.

128. Mika P. Social networks and semantic web. Springer, 2007.

129. Nancan*ow C., Cartwright T. Online access panels and tracking research. The conditioning issue // International Journal of Market Research. 2007. Vol. 49. No. 5. P. 573-594.

130. OliveiraM., SilvaM., da Silvcira D. Validity study of the South Oaks Gambling Screen among distinct groups of Brazilian gamblers // Rev Bras Psiquiatr. Vol. 24. No. 34. P. 170-176.

131. Panel Surveys // Ed.by D. Kasprzyk, G. Duncan, G. Kalton, M. Singh. New York, NY: Wiley, 1989.

132. Paolillo J., Wright E. Social network analysis on the semantic web: Techniques and challenges for visualizing FOAF. online. <www.blogninja.com/vsw-draft-paolillo-wright-foaf.pdf>

133. Petit A., Chadwick S. The complement of social networks and market research // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1-6.

134. Petry N. Internet gambling: An emerging concern in family practice medicine // Family Practice. 2006. Vol. 23. P. 421-426.

135. Pineau V., Dennis J. Methodology for probability-based recruitment for a web-enabled panel. 2004. online. <www.knowledgenetworks.com/ganp/reviewer-info.html>

136. Rapoport A. Contribution to the theory of random and biased nets // Bulletin of Mathematical Biophysics. 1957. Vol. 19. P. 257-277.

137. Rivers D. Probability-based web-surveying: An overview // Paper presented at The American Association for Public Opinion Research Annual Conference. Portland. May, 2000.

138. Rivers D., Huggins V., Slotwiner D. Combining random and non-random samples. Prepared for the Joint Statistical Meetings of the American Statistical Association. 2003. |online.http://www.lcnowledgenetworks.com/ganp/rcviewer-info.html>

139. Rosenbaum P. R., Rubin D. Reducing bias in observational studies using subclassification on the propensity scorc // Journal of the American Statistical Association. 1984. Vol. 79. No. 387. P. 516-524.

140. Rosenbaum P. R., Rubin D. The central role of the propensity score in observational studies for causal effects // Biometrika. 1983. Vol. 70. No. 1. P. 41-55.

141. SalganikM., Heckathorn D. Sampling and estimation in hidden populations using respondent-driven sampling // Sociological Methodology. Vol. 34. P. 193-239.

142. SalganikM. Variance estimation, design effccts, and sample size calculations for respondent-driven sampling // Journal of Urban Health. 2006. Vol. 111. P. 83-98.

143. Sanders T. Reseraching the online sex work community // Virtual Methods: Issues in social research on the Internet // Ed. By C. Hine. Berg: Oxford, 2005. P. 67-79.

144. Sayles H., Arens Z. A study of panel member attrition in the Gallup panel // Paper presented at the Annual Conference of the American Association for Public Opinion Research. Anaheim. 2007.

145. Selm M., Jankowski N. Conducting online surveys// Quality and Quantity. 2006. Vol. 40. No. 3. P. 435-456.

146. Schonlau M., FrickerR. D., Elliot M. N. Conducting research surveys via e-mail and the web. RAND Publications: Santa Monica, 2002.

147. Schonlau M., van Soest A., Kaptcyn A., Couper M. Selection bias in web surveys and the use of propensity scores. RAND Publications: Working paper series. 2006. online.http://www.websm.org/uploadi/editor/1 1749S2272RAND WR279.pd£>

148. Shadbolt N., Berners-Lee Т., Hall W. The semantic web revisited // IEEE Intelligent Systems. 2006. Vol. 21. No. 3. P. 96-101. online.http://eprints.ccs.soton.ac.ul<yi2614/l/ScmanticWebRevistcd.pdf>

149. Slovic P., Finucane M., Peters E., MacGregor D. Rational actors or rational fools: Implications of affect heuristic for behavioral economics // Journal of Socio Economics. 2002. No. 3 1. P. 329 - 342.

150. Smith R., Brown H. Assessing the quality of data from online panels: Moving forward with confidence. 2005. P. 1-5. online.http://www.hisbonline.com/pubs/HIQual ityof^DataWhitePaper.pdf>

151. Smith R., Preston F. Vocabularies of motives for gambling behavior //Sociological Perspectives. 1984/Vol. 27. No. 3. P.325-348.

152. Sparrow N. Developing reliable online polls // International Journal of Market Research. 2006. Vol. 48. No. 6. P. 659-680.

153. Sparrow N. Quality issues in online research // Journal of Advertising Research. 2007. Vol. 47. No. 2. P. 179-182.

154. Spreen M. Rare populations, hidden populations, and link-tracing designs: What and why? // Bulletin dc Mcthodologie Sociologique. 1992 Vol. 6. P. 34-58.

155. Stewart S., Zack M. Development and psychometric evaluation of a three-dimensional Gambling Motives Questionnaire // Addiction. 2008. Vol. 103. P. 1 110-1117.

156. Sudman S. Sample surveys // Annual Review of Sociology. 1976. Vol. 2. P. 107-120.

157. Sudman S, BradburnN., Schwa г/. N. Thinking about answers: The application of cognitive processes to survey methodology. San Francisco, California: Jossey-Bass Inc. Publishers, 1996.

158. Sudman S., WansinkB. Consumer panels. Chicago: American Marketing Association, 2002.

159. Terhanian G., Bremer J., Smith R. Thomas R. Correcting data from online surveys for the effects of nonrandom selection and nonrandom assignment. Research Paper. Harris Interactive. 2000.

160. Thaler R., Tversky A., Kahncman D., Schwartz A. The effect of myopia and loss aversion on risk taking: An experimental test // The Quarterly Journal of Economics. May 1997. P. 647 661.

161. Thompsons., Seber G. Adaptive Sampling. New York: Wiley, 1996.

162. Tourangcau R., Couper M., Conrad F. Spacing, position, and order // Public Opinion Quarterly. 2004. Vol. 68. No. 3. P. 368-393.

163. Tutcn Т. L., Urban D.J., Bosnjak M. Internet surveys and data quality: A review // Online social sciences / Ed. by B. Batinic, U-D. Reips, M. Bosnjak. Gottingen: Hogrefe & Huber Publishers, 2002. P. 7-26.

164. Tver sky A., WakkerP. Risk attitudes and decision weights // Econometrica. 1995. Vol. 63. No. 6. P. 1256-1280.

165. Vehovar V., Manfreda K., Batagelj Z. Web surveys: Can the weighting solve the problem? // Paper presented at the Annual Conference of the American Statistical Association, Section on Survey Research Methods. 1999. P. 962-967.

166. VolzE., Heckathorn D. Probability based estimation theory for respondent driven sample// Journal of Official Statistics. 2008. Vol. 24. No. 1. 2008. P. 79-97.

167. Wejncrt C. An empirical test of respondent-driven sample: Point estimates, variance, degree measures, and out-of-equilibrium data. 2009. P. 1-64. online. <http://www.respondcnldrivcnsampling.oni/>

168. Wejnerl C., Heckathorn D. Wcb-based network sampling: Efficiency and efficacy of respondent-driven sampling for online research // Sociological Methods Research. 2008. Vol. 37. P. 105-134.

169. WitteJ. Prologue: The case for multimethod research: Large Sample Design and the study of life online // Society online: The Internet in context // lid. by P. Howard and S. Jones. London: Sage Publications, 2004. P. XV-XXXIV.

170. WoodR., Williams R. Internet gambling: Past, present, and future // Research and measurement issues in gambling studies // Edited by G. Smith, D. Hodgins, R. Williams. Toronto: Elsevier Publishing. 2007. P. 491-514.

171. Zola I. Observations on gambling in a lower-class setting // Social Problems. Vol. 10. No. 3. P. 353-361.