автореферат диссертации по филологии, специальность ВАК РФ 10.02.19
диссертация на тему: Иллюстративные жесты в русском дискурсе

Полный текст автореферата диссертации по теме "Иллюстративные жесты в русском дискурсе"

На правах рукописи

НИКОЛАЕВА ЮЛИЯ ВЛАДИМИРОВНА

ИЛЛЮСТРАТИВНЫЕ ЖЕСТЫ В РУССКОМ ДИСКУРСЕ

Специальность 10.02.19 - Теория языка

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата филологических наук

12 ДЕК 2013

005543199

Москва 2013

005543199

Работа выполнена на кафедре теоретической и прикладной лингвистики филологического факультета Московского государственного университета имени М.В. Ломоносова

Научный руководитель: доктор филологических наук,

Кибрик Андрей Александрович

Официальные оппоненты: Крейдлин Григорий Ефимович,

доктор филологических наук, профессор,

Институт лингвистики РГТУ, профессор кафедры русского языка

Гришина Елена Александровна

кандидат филологических наук, Институт русского языка им. В.В. Виноградова старший научный сотрудник отдела корпусной лингвистики и лингвистической поэтики

Ведущая организация: Европейский университет в Санкт- Петербурге

Защита состоится « ¡£у> рА 2013 года в IЬ часов на заседании

диссертационного совета Д 501.001.24 при Московском государственном университете имени М.В. Ломоносова по адресу: 119991, Ленинские горы, МГУ, 1-й учебный корпус, филологический факультет.

С диссертацией можно ознакомиться в Научной библиотеке Московского государственного университета имени М.В. Ломоносова.

Автореферат разослан « Si у, яс&ЬрЯ 2013 года

Ученый секретарь диссертационного совета > A.M. Белов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

В настоящей работе изучаются характеристики и употребление

иллюстративных жестов в связи с локальной и глобальной структурой устного рассказа. Иллюстративные жесты - движения рук, которые сопровождают устную речь и дополняют или модифицируют речевое послание.

Актуальность работы. Учитывая, с одной стороны, возрастающую важность дискурсивных исследований в теории языка и, с другой стороны, изначально мультимодальную природу коммуникации, можно ожидать, что изучение жестов позволит лучше понять природу дискурса. Понимание функций жестов-иллюстраторов помогает выявить имплицитные значения, которые присутствуют в речи. Само присутствие таких жестов указывает на место высказывания в дискурсе и на то, насколько важным передаваемое послание является для говорящего. Изучение последовательностей жестов, связанных между собой общими характеристиками, эксплицирует структуру дискурса, его составные части и их вклад в реализацию замысла говорящего. При том, что некоторые гипотезы относительно функций иллюстративных жестов на уровне глобальной структуры уже высказывались в литературе1, данная тема не получила должного развития.

Кроме того, данное исследование опирается на корпусные методы2. Современные модели языка признают значимость «узуса» и «речи» наравне с «системой» и «языком»3. При таком подходе большое внимание уделяется

'См, в частности, McNeill D. (1995). Hand and Mind: What Gestures Reveal About Thought. Chicago: University of Chicago Press; Kendon A. (1995). Gestures as illocutionary and discourse structure markers in Southern Italian conversation. Journal of Pragmatics, 23, 247279.

2 Гришина E. А. Два новых проекта для Национального корпуса: мультимедийный подкорпус и подкорпус названий. Национальный корпус русского языка: 2003-2005, с. 233250. М.: Индрик, 2005; Резникова Т. И. Славянская корпусная лингвистика: современное состояние ресурсов. Национальный корпус русского языка: 2006-2008. Новые результаты и перспективы, с. 402-461. СПб.: Нестор-История, 2009.

3Плунгян В. А. Корпус как инструмент и как идеология: о некоторых уроках современной корпусной лингвистики. Русский язык в научном освещении, 2 (16), 7-20,2008.

1

языковым явлениям, как они существуют в дискурсе, в широком речевом контексте, с учетом их частотности. Изучение невербального компонента позволяет дать ответ на многие лингвистические вопросы и описать процессы, происходящие в сознании говорящего и слушающего, но не выраженные эксплицитно в речи.

Предметная область исследования включает использование говорящим иллюстративных жестов, обусловленное локальным контекстом, жестовые явления на глобальном дискурсивном уровне, а также индивидуальные различия в жестовом поведении. Дискурс - это единство процесса языковой деятельности и ее результата, то есть текста. Дискурс, помимо самого текста, включает также разворачивающиеся во времени процессы его создания и понимания. По мере развития теории дискурса становится очевидно, что речевое общение не исчерпывается передачей информации, содержащейся в вербальной форме. Существенная часть передаваемой информации приходится на невербальные средства, включающие просодическую и жестовую (кинетическую) составляющую4. Таким образом, данная работа обращается к сфере мультимодальной лингвистики. Понятие модальности, используемое в психологии, нейрофизиологии и информатике, обозначает канал, посредством которого человек воспринимает внешнюю информацию — в первую очередь зрительный и слуховой. Визуальный канал в коммуникации играет очень важную роль: по данным разных исследований, адресат послания извлекает из мимических и жестовых сигналов от 33%5 до 55%6 информации.

Чаще всего лингвистические исследования, если они обращаются к визуальным сигналам в коммуникации, посвящены жестам рук. Среди

4Крейдпин Г. Е. Невербальная семиотика: Язык тела и естественный язык. М.: Новое литературное обозрение, 2002.

5Kibrik A., El'bert Е. Understanding spoken discourse: The contribution of three information channels Third International Conference on Cognitive Science, 82-84. Moscow: IP RAN, 2008.

6Mehrabian A. Silent messages: Implicit communication of emotions and attitudes (2nd ed). Belmont, California: Wadsworth, ¡981.

мануальных жестов подавляющее большинство составляют иллюстративные жесты — спонтанные движения, не имеющие заданной заранее формы и фиксированной связи между означаемым и означающим. Слушающий приписывает значение таким жестам исходя из их формы и общего контекста. Индивидуальные стили жестового поведения могут очень сильно различаться, однако можно выявить некоторые закономерности в использовании жестов у разных говорящих и даже у представителей разных культур и носителей разных языков.

Визуальные средства, наравне с другими каналами передачи информации в процессе общения, выражают многие аспекты значения высказывания, включая информацию о структуре дискурса.

Целями настоящей работы являются:

- изучение функций иллюстративных жестов на разных иерархических уровнях дискурса (внутри ЭДЕ7, на уровне отдельных таких единиц и их групп);

- описание и изучение жестовых явлений, связанных с глобальной структурой дискурса, и их значений;

- выявление индивидуальных особенностей жестового поведения.

Для достижения поставленных целей были сформулированы следующие задачи:

1 Создание и аннотация мультимодального корпуса, содержащего как можно больше различных жестовых явлений и одновременно достаточно однородного, чтобы было возможно выявить жестовые показатели локальной и глобальной структуры дискурса. Из этого вытекают следующие подзадачи:

- создание предварительного корпуса, включающего разнообразные стили и жанры дискурса8;

7 ЭДЕ - элементарная дискурсивная единица, минимальный блок в устной речи, обычно состоящий из одной предикации.

- на материале предварительного корпуса выработка параметров для описания вербальных единиц, сопроврждаемых жестами;

- доработка классификации иллюстративных жестов 9 для последующей аннотации жестов в корпусе;

- создание основного корпуса, содержащего похожие или сопоставимые друг с другом образцы дискурса;

2 описание локального контекста разных типов жестов (на уровне отдельных синтаксических составляющих и целой ЭДЕ);

3 изучение функций иллюстративных жестов на уровне локальной дискурсивной структуры;

4 изучение жестовых последовательностей и других жестовых явлений, соотносимых с глобальной структурой дискурса";

5 выявление глобальной структуры дискурса, с опорой на жесты говорящего;

6 описание индивидуальных стратегий в использовании жестов на уровне локальной и глобальной структуры дискурса.

На защиту выносятся следующие положения

1. Иллюстративные жесты сопровождают речь и наравне с вербальным рядом участвуют в реализации замысла говорящего. Такие жесты встречаются в речи чаще (в 100 и более раз), чем эмблематические жесты, изученные гораздо лучше.

2. Иллюстративные жесты содержат информацию о локальной структуре и о месте ЭДЕ в дискурсе.

8 Кибрик А. А. Модус, жанр и другие параметры классификации дискурсов. Вопросы языкознания(2), 3-21. М., 2009.

9Крейдлин Г. Е. Невербальная семиотика: Язык тела и естественный язык. М.: Новое

литературное обозрение, 2002; McNeill D. Hand and Mind: What Gestures Reveal About

Thought. Chicago: University of Chicago Press, 1995.

"McNeill D., Quek F„ McCuIlough K.-E., Duncan S., Furuyama N., Bryll R., Ma X.-F., Ansari

R. Catchments, Prosody, and Discourse. Gesture, 1,9-33,2001.

4

3. Период наложения иллюстративного жеста на речь определяется одновременно вербальным компонентом и дополнительными значениями, которые выражаются с помощью кинетических знаков. Для каждого из типов иллюстративных жестов можно описать типичные контексты15 (части речи и семантические классы слов; синтаксические единицы) и вероятность появления жеста в данном контексте.

4. Жестикуляция указывает, как говорящий делит дискурс на блоки, аналогичные сложным предложениям и абзацам на письме; на каких основаниях их вычленяет и каким образом представляет взаимосвязь между единицами дискурса.

5. На уровне глобальной структуры дискурса можно выделить две разновидности серий иллюстративных жестов: жестовая инерция (сохранение только внешних характеристик жеста) и жестовый подхват (сохраняется также и значение жеста). Таким образом, жесты указывают на структуру дискурса и отмечают главную линию и фон рассказа, а также те смысловые элементы, которые хотел выделить говорящий.

6. Опираясь на такие серии жестов, можно восстановить иерархическую структуру дискурса, как ее видит говорящий в момент создания рассказа, а также выделить ключевое событие в каждом из получившихся эпизодов. Такая структура может пересматриваться и подвергаться изменениям в процессе формирования.

Научная новизна данного исследования заключается в том, что в нем на корпусном материале рассматриваются два канала передачи информации - жестовый и вербальный - с точки зрения их взаимодействия на

15 За отсутствием более удачного термина мы будем называть контекстом вербальные единицы, сопровождаемые иллюстративным жестом.

5

дискурсивном уровне, с учетом метадискурсивных значений. Кроме того, впервые на материале русского языка ставится вопрос о дискурсивных значениях иллюстративных жестов. Существуют исследования российских лингвистов, посвященные семиотическим и социокультурным аспектам жестового поведения 16 , эволюционным вопросам невербальной коммуникации17, обсуждению философских и методологических позиций18, но при этом очень мало работ, использующих корпусный материал (широко известны только публикации Е.А. Гришиной19 и A.A. Котова20). Более того, хотя на материале английского языка роль иллюстративных жестов в дискурсе изучена гораздо подробнее (ср. работы Д. МакНилла, Дж. Касселл, М. Алибали, С. Голдин-Медоу и др.), нам не известно ни одно исследование типичных контекстов иллюстративных жестов, включающее подробное описание семантических и грамматических особенностей тех синтаксических единиц, которые можно рассматривать как наиболее вероятный контекст для появления иллюстративных жестов, в зависимости от их типа.

Теоретическая значимость работы состоит в том, что она учитывает кинетический компонент коммуникации в его взаимосвязи с вербальным. В

16Крейдлин Г. Е. Невербальная семиотика: Язык тела и естественный язык. М.: Новое литературное обозрение, 2002; A.A. Акишина, X. Кано, Т.Е. Акишина. Жесты и мимика в русской речи. Москва: Рус. яз., 1991.

Бутовская М. Л. Язык тела. Природа и культура (эволюционные и кросс-культурные основы невербальной коммуникации человека). М.: Научный мир, 2004.

18Горелов И. Н. Невербальные компоненты коммуникации. — М.: «Наука», 1980; Горелов И. Н., Енгалычев В. Ф. Безмолвный мысли знак. Рассказы о невербальной коммуникации. М.: Мол. гвардия, 1991.

19 См., в частности, Гришина Е.А. Темпоральные дейктические жесты. Известия РАН, Серия литературы и языка, том 72, № 1, 2013, с. 3-31; Гришина ЕА. здесь и тут: корпусной и жестикуляционный анализ полных синонимов. Русский язык в научном освещении, № 23, 2012, с. 39-71; Гришина Е.А. Автодейксис: типы и значения. Материалы международной конференции "Диалог'2012", 2012, с. 173-186.

20 См., в частности, Котов A.A. Паттерны эмоциональных коммуникативных реакций: проблемы создания корпуса и перенос на компьютерных агентов. Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции "Диалог 2009". Вып. 8 (15).- М.: РГГУ, 2009.- С. 211-218; Котов A.A. Имитация компьютерным агентом непрерывного эмоционального коммуникативного поведения. Компьютерная лингвистика и интеллектуальные технологии. Вып. 9 (16). - М.: РГГУ, 2010. - С. 219-225.

6

повседневной коммуникации задействованы все каналы общения, а значит, что модель языка неизбежно должна включать и невербальную составляющую. В лингвистике наработан большой опыт изучения письменных текстов, однако жестикуляция, существенно отличающаяся по многим признакам от языка, пока представляет собой неудобный и малопонятный объект. Развитие технических средств, позволяющее фиксировать и детально анализировать невербальное поведение, с одной стороны, и возрастающее значение дискурсивных исследований, которые рассматривают текст в целом, вместе с процессами его создания и понимания, с другой, требуют заполнить этот пробел. Однако до сих пор остается не вполне разработанной методическая основа для изучения жестикуляции, особенно это касается отечественной лингвистики.

Практическая значимость работы определяется тем, что результаты исследование жестов и другие кинетические сигналы, используемые в человеческом общении, может найти применение в таких прикладных сферах:

- в педагогике: при обучении в классе 21 и при получении дистанционного образования22,

- для развития детей, расширения их знаний о мире, обучения детей рисованию, формирования речевых навыков и т. п.23,

- для лечения детей с аутизмом и нарушениями речи24,

- при объяснении медицинских документов (с применением «виртуального врача»)25,

2lRoth W.-M., Lawles D. Scientific investigations, metaphorical gestures, and the emergence of abstract scientific concepts. Learning and Instruction, 12,285-304,2002.

22 Moreno, Roxanna & Richard E. Mayer. A Learner-Centered Approach to Multimedia Explanations: Deriving Instructional Design Principles from Cognitive Theory. Interactive Multimedia Electronic Journal of Computer Enhanced Learning, 2 (2) http: //imej.wfu.edu. 2000.

23Ryokai K., Marti S., Ishii H. I/O Brush: Drawing with Everyday Objects as Ink Proceedings of CHI 2004, April 24-29-, ACM Press, 2004.

24Tartaro A., Cassell J. Using Virtual Peer Technology as an Intervention for Children with Autism Universal Usability: Designing Computer Interfaces for Diverse User Populations (c. 231 -262). New York: John Wiley & Sons Ltd, 2006.

7

- при лечении шизофрении, депрессии и других заболеваний26.

Наша работа впервые делает возможными такие приложения на русском материале.

Структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложения. В первой главе рассматриваются теоретические подходы к изучению иллюстративных жестов. Во второй главе описываются процедуры создания и аннотации мультимедийного корпуса. В третье главе показано, как жестикуляция связана с вербальными единицами внутри ЭДЕ, в четвертой главе изучаются функции иллюстративных жестов на локальном дискурсивном уровне, в главе исследуется взаимосвязь жестов и глобальной структуры дискурса.

Апробация результатов исследования. Основные положения диссертации были апробированы на Международных конференциях «Диалог» в 2006 и 2009 гг., Международной конференции «Актуальные проблемы филологической науки: взгляд нового поколения» (МГУ, 2007), VIII межвузовской научной конференции студентов-филологов 11-15 апреля 2005 г. в СПбГУ, Международной конференции по когнитивной науке в 2010 и 2012 г. Также результаты данной работы были представлены в рамках курса «ОБщая теория дискурса» на филологическом факультете МГУ (ОТиПЛ). Автором прочитан спецкурс «Структура дискурса и иллюстративные жесты» на филологическом факультете МГУ. В настоящее время разрабатывается курс «Невербальная коммуникация», включенный в основную программу бакалавриата по специальности «Фундаментальная и прикладная лингвистика».

25Bickmore T., Pfeifer L., Paasche-Orlow M. The role of gesture in document explanation by embobied conversational agents. International Journal of Semantic Computing, 2(1), 47-70, 2008.

26Bickmore T., Gruber A. Relational Agents in Clinical Psychiatry. Harvard Review of Psychiatry, 18(2), 119-130, 2010; Bickmore T„ Mitchell S., Jack B., Paasche-Orlow M„ Pfeifer L., ODonnell J. Response to a Relational Agent by Hospital Patients with Depressive Symptoms Interacting with Computers, 22(4), 289-298, 2010.

8

СОДЕРЖАНИЕ РАБОТЫ

Введение содержит общую характеристику работы, обоснование

актуальности темы, описание целей и задач исследования, изложение основных положений диссертации, а также информацию об апробации результатов исследования.

Глава I «Лингвистический взгляд на невербальную коммуникацию» посвящена теоретическим предпосылкам исследования. В разделе 1.1 приводится краткий обзор истории изучения жестов в науке о языке. Считается, что история изучения жестов в западной традиции началась с работ Франца Боаса, который в начале XX в. исследовал языки североамериканских индейцев27. В статье Э. Сэпира «Язык», опубликованной в 1933 г. в «Энциклопедии социальных наук», намечены многие будущие постулаты науки о жестовом поведении в языке, однако полноценное развитие эта область получила только с середины 50-х гг. XX в.

В нашей стране жестовое поведение долгое время считалось недостойным внимания, хотя еще в 1977 г. И.Н. Горелов писал: «вербальная часть сообщения накладывается на предварительно выраженную авербальную систему коммуникации» 28 , подчеркивая важность невербального компонента.

В разделе 1.2 рассматриваются основные понятия, используемы в работе. К языку тела относятся все кинетические знаки: жесты, мимика, позы, проксемика, движения и направление взгляда и т.д. При этом жесты (чаще всего имеются в виду движения рук) также представляют собой сложную категорию.

С точки зрения лингвистики жестовые языки глухих и жесты, сопровождающие речь, кардинально отличаются друг от друга. Жестовые

27 Кристева Ю. Избранные труды: Разрушение поэтики. М., 2004, с.114-135. очень косвенная ссылка

28 Горелов И. Н. Избранные труды по психолингвистике. М.: Лабиринт, 2003.

9

языки - автономные системы, в которых имеются те же уровни, что и в звучащих языках (фонематический, морфологический, синтаксический, дискурсивный)30. Жесты, сопровождающие речь, по определению выступают как дополнительная по отношению к языку знаковая система. При этом их тоже, в свою очередь, можно разделить на два наиболее заметных класса -эмблематические и иллюстративные жесты (или жестикуляция). Для эмблематических жестов возможно составление словарей, поскольку у них есть стандартная форма, общепринятые значения и условия употребления31. Иллюстративные жесты отличаются следующими свойствами33:

- в них все элементы значения объединены в одном знаке (в примере, на Рис. 1, в одном жесте показаны мальчик, корзина, которую он взял, траектория и направление движения);

- не объединяются в последовательности;

- отличаются гибкой формой и отсутствием синтагматических и парадигматических ограничений;

- выражают только то, что важно в данном контексте.

Рис. 1. Тогда он очень спокойно так [берет целую корзину груш] 34

симметричный жест двумя руками: пальцы сжаты, ладони развернуты к себе, руки делают движение вверх и вперед по выгнутой дуге.

30 Прозорова Е. В. Российский жестовый язык как предмет лингвистического исследования. Вопросы языкознания(1), 44-61, 2007; Зайцева Г. Л. Жестовая речь. Дактилология: Учебник для студентов высших учебных заведений. М., 2000.

31 Подробнее об этом см. в Крейдлин Г. Е. Невербальная семиотика: Язык тела и

естественный язык. М.: Новое литературное обозрение, 2002.

33 См. McNeill 1995:41.

34 В примерах квадратными скобками обозначено время наложения жеста на речь.

10

Иллюстративные жесты не являются однородным классом. Их можно разбить на следующие типы, исходя из их формы и связи с вербальным рядом:

- указательные жесты;

- изобразительные жесты - сложные по форме и траектории, иллюстрирующие семантику пропозиции, см. Рис. 1;

метадискурсивные жесты, выступающие по отношению к сопровождаемым ими словам как метатекстовые операторы и отражающие процесс создания дискурса, отношение его частей к целому рассказу, особенности дискурсивной структуры и т.п.; чаще всего в такой функции выступают различные вариации жеста «метафора передачи», см. Рис. 2;

- однократные простые по форме жестовые ударения, которые можно описать двумя разнонаправленными векторами;

- ритмические жесты - такие же простые движения, но повторенные несколько раз и совпадающие с каждым фонетическим словом во фразе, а иногда с каждым слогом отмеченного ими слова.

Рис. 2. Метадискурсивный жест «метафора передачи»

В разделе 1.3 рассматриваются функции иллюстративных жестов на локальном дискурсивном уровне.

Во-первых, жестикуляция говорящего существенно влияет на понимание дискурса слушающим. Если значение жестов не совпадает пропозициональным содержанием сопровождаемых ими слов, говорящий приблизительно в половине случаев формирует окончательное

представление, исходя из значения кинетических знаков, а не вербальных

36

единиц .

В дополнение к пропозициональным, иллюстративные жесты выражают также оценочные значения, т. е. такие значения, которые эксплицируют позицию говорящего по отношению к передаваемой информации или значимость пропозиции в дискурсе. По наблюдениям А. Кендона, жест, в котором рука развернута ладонью вверх, указательный и большой пальцы соединены (см. Рис. 3), используется, когда говорящий хочет подчеркнуть свою точность в каких-то вопросах, и что это по каким-то причинам заслуживает особого внимания37.

Такие значения, как эвиденциальность, передаваемые в некоторых языках грамматическими средствами, могут быть выражены с помощью жестов: в некоторых ситуациях кивок показывает уверенность говорящего в истинности высказывания, а пожимания плечами свидетельствует о его неуверенности.

Рис. 3. Жест «щепоть»

Во-вторых, жесты в большой степени отвечают за смену

-38

коммуникативных ролей .

36Alibali M., Heath D., Myers H. Effects of Visibility between Speaker and Listener on Gesture Production: Some Gestures Are Meant to Be Seen. Journal of Memory and Language, 44{2), 2001, 169-188.

37Kendon A. Gesture: Visible Action as Utterance. Cambridge, UK: Cambridge University Press, 2004.

38Cassell J., Thorisson K. R. The Power of a Nod and a Glance: Envelope vs. Emotional Feedback in Animated Conversational Agents. Applied Artificial Intelligence, 13, 1999, 519-538.

12

В-третьих, невербальное поведение играет большую роль в передаче

-40

чувств и отношении .

Наконец, жестикуляция помогает обрабатывать сложную пространственную информацию41 (говорящему и слушающему) и облегчает процесс выбора нужной лексической единицы42.

В разделе 1.4 рассмотрены разные подходы к пониманию структуры дискурса.

В теории дискурса различаются глобальный и локальный уровни: «глобальная структура - совокупность крупных блоков, непосредственных составляющих - например, абзацы в газетной статье. <...> Локальная структура дискурса — совокупность минимальных единиц, которые имеет смысл относить к дискурсивному уровню. Во многих современных подходах к дискурсу минимальными единицами дискурса признаются предикации, или клаузы»45. Чтобы определить границы ЭДЕ, используется ряд признаков: просодические (изменение частоты основного тона и темпа речи, положение главного акцента и др.) 47, паузация 48, семантико-синтаксические, т. е. синтаксическая оформленность законченного предложения49, лексические (наличие определенных дискурсивных маркеров, выбор референциальных

40 Петрова Е. А. Знаки общения. М.: Гном и Д, 2001; Mehrabian A. Silent messages: Implicit

communication of emotions and attitudes (2nded.). Belmont, California: Wadsworth, 1981. 4|См., в частности, Iverson, J.M. & Goldin-Meadow, S. What's communication got to do with it? Gesture in congenitally blind children. Developmental Psychology, 33,1997,453-467.

42Krauss R. M., Chen Y., Gottesman R. F. Lexical gestures and lexical access: A process model

// D. McNeill, Language and gesture: Cambridge University Press, 2000,261-283.

45 Кибрик А. А. Анализ дискурса в когнитивной перспективе. Дисс. доктора филол. наук.

М.: Институт языкознания РАН, 2003.

47 Кибрик А. А., Подлесская В. И. Рассказы о сновидениях. Корпусное исследование

устного русского дискурса. М.: Языки славянских культур, 2009.

48Кривнова О. Ф. Перцептивная и смысловая значимость просодических швов в связном тексте. Проблемы фонетики, М., 1995, с. 228-238.

49Кибрик А. А., Подлесская В. И. Самоисправления говорящего и другие типы речевых сбоев как объект аннотирования в корпусах устной речи. Научно-техническая информация. Серия 2(2), 2007,2-23.

средств50) и др. Что касается границ более крупных единиц устной речи, сопоставимых со сложными предложениями и абзацами на письме, описание их формальных признаков до сих пор остается сложной задачей.

Глава II «Вопросы создания и аннотации мультимодального корпуса» посвящена методике сбора и анализа видеозаписей. Создание мультимодального корпуса состояло из двух этапов. На первом были выбраны фрагменты телевизионных передач, позволяющих осуществить сплошной обзор различных типов жестов в максимально разнообразных контекстах. На втором этапе был сформирован корпус устных рассказов, стимулом для которых послужил известный «Фильм о грушах» У. Чейфа. Этот фильм - испытанный инструмент, доказавший свою эффективность для изучения разных языковых явлений. Рассказ обладает определенной структурой, которая достаточно хорошо изучена; таким образом однородность стимульного материала и особенности жанра позволило рассмотреть жестовые явления на глобальном уровне в их соотношении со структурой дискурса.

Также во второй главе представлена разработанная нами методика аннотации видеоматериала, предусматривающая изучение отдельных иллюстративных жестов и их последовательностей.

Согласно подходу А. Кендона51, для каждого жеста можно выделить подготовительную фазу (экскурсию), пиковую фазу и завершающую, в которой руки возвращаются в нейтральное положение. При этом обязательно должна присутствовать только пиковая фаза, а подготовительная и завершающая в цепочке следующих друг за другом жестов могут быть не выражены. При разметке корпуса мы указывали границы пиковой фазы и,

50 Кибрик А. А. Референция и рабочая память: о взаимодействии лингвистики с психологией и когнитивной наукой. А. Н. Гусев и В. Д. Соловьев (ред.) Материалы первой российской интернет-конференции по когнитивной науке. М.: УМК Психология, 2004, с. 29-43.

51 Kendon A. Gesticulation and Speech: Two Aspects ofthe Process of Utterance. M.R. Key (ed.) The Relation Between Verbal and nonverbal communication. The Hague: Mouton, 1980,207-227/

14

если они присутствовали — подготовительную и завершающую фазы, и их соотношение с вербальным рядом. В аннотации видео были указаны типы жестов, а описание их вербальных коррелятов различалось в двух корпусах. Для первого корпуса отмечались типы синтаксических составляющих (см. описание главы III) и их особенности, отдельно были отмечены типы ЭДЕ. Для второго корпуса в аннотации были указаны случаи, когда жесты объединялись в последовательности (подхват или инерция, см. описание главы V). Первая строка аннотации представляет собой транскрипцию, в которой отмечены паузы, незавершенные высказывания, удлинение звуков, интонационный контур и некоторые другие просодические явления, такие как смех или понижение тона.

Вот как выглядит окно программы Elan с файлом, в котором отмечены признаки жестов, относящиеся к глобальной структуре дискурса (см. Рис. 4).

Г Пе*сйков Г Pacta

ав[ен мм ( о 5) (ПОРАЗНЯяа*с.абвочй 2? : рОТОРАЯ TÖsks эхйяа на ьёлсёмвё 2S ЮН ЭЛСМ0|ТРЕЛся m нее). 2Щ O.e.) иа <3 0.6) (ЕГО ВЕПОСИ{ЛЕЦ

aoluMftoHviw«..................................

31 K...Ô.?} IC НЕГО СЛЕТЕЛА вшясте,

32 . аз 1.1} ¡КОРЗИНА УПАЛА iï i'pyiuw рлсоьплпи-;Ь 34^.0.41 Навстречу ему шли «до три мапьэдкэ. 36 ( 0 5} KiT!0?tiifi Щ 1Ш= ПОМОГЛИ под»» 381 ПОСТАВИВ вепосипея.

гепь аудиа Г Распс «тзц'ия..........

[ùitm

1ЙЖ1ШЖШ1 ► ШШНШШ (ЕШЗ

* 0.00:65.000 00:00:68.000 ' ''00:00:67.000 00:00:58.00'

».535.054 о

•U Т

00:01:00.000 00:01:01.000 00:01:02.000

10:00:66.000 00:00:66.000 00:00:67.000 00:00:68.000 00:00:69.000 00:01:00.000 00:01:01.000 00:01:02.000 00:01:03.000 РАВНЯЛСЯ С давочио I {КОТОРАЯ ТОже бхапэ н|( |ОН ЗАСМО[ТРЕЛся1(...0.8) ии (а 0.9) (ЕГО ВЕЛОСИ|ПЕД |ВРЕ= ерезался 8 камень}. I (. 0.4) (ОН упал

M

изсвр | 2 Д5ЕСЧ|

Рис. 4. Описание жестовых подхватов и жестовой инерции в программе Elan.

В первом корпусе было 7 фрагментов телепередач общей продолжительностью более 20 минут. Объем корпуса - почти 1000 ЭДЕ, более 4000 словоупотреблений, 600 жестов. Во втором корпусе было 8 пересказов «Фильма о грушах», которые составили в сумме также около 20

мин. В 600 ЭДЕ было чуть меньше 3000 словоупотреблений и 337 жестов. Следует отметить, что аннотация видеозаписей — чрезвычайно трудоемкая задача. Когда критерии и основные параметры уже сформулированы, аннотация 1 минуты видео занимает 4-6 часов, при этом именно выработка формальных критериев и выделение типов описываемых единиц заняла не меньше половины времени, затраченного на описание видеоматериала.

В Главе III «Сочетаемость жестов с синтаксическими единицами» мы рассматриваем, как жесты каждого из выделенных типов сочетаются с различными синтаксическими составляющими. Этот анализ проводился на материале первого корпуса. Мы учитывали следующие синтаксические составляющие: именные группы (ИГ), с делением по активированности: активированный, полуактивированный или инактивированный референт, а также с учетом их синтаксической роли: подлежащее, дополнение, обстоятельство или именная часть сказуемого; глагольные группы (ГГ), с делением по семантическим типам глаголов; также выделяются наречия (с учетом их семантики) и дискурсивные маркеры (которые тоже были разделены на типы в зависимости от класса и значения). Помимо этого, отмечены ситуации, когда жест относится к целой ЭДЕ (с учетом значения и функций ЭДЕ в дискурсе).

Указательные жесты (число которых составило 8% от всех жестов в первом корпусе) не обязательно строго совпадают по времени с тем словом, которому они соответствуют семантически. В связи с их интуитивно понятной формой (палец или другая часть тела, направленная в сторону референта) они могут встречаться в любом месте ЭДЕ, даже если в ней нет лексических единиц, как-либо связанных с дейксисом. Однако по значению эти жесты иллюстрируют либо ИГ (87% случаев), либо наречия места и времени.

Изобразительные жесты, доля которых в корпусе составила 37%, могут

сопровождать любые слова и группы слов, при этом они чаще других

16

встречаются с ГГ или соответствуют по времени целой предикации (48% из общего числа ГГ, сопровождавшихся жестами, и 40% ЭДЕ с жестами). Есть контексты, в которых такие иллюстраторы замещают слова или несут основную семантическую нагрузку (отметим, что только изобразительные жесты сопровождали междометия). Интересным явлением представляется более частое, чем в среднем для всех жестов, появление изобразительных иллюстраторов с речевыми сбоями (слабыми фальстартами). Чаще всего они встречаются в рематической части высказывания.

Метадискурсивные жесты, доля которых составила 16%, напротив, чаще сопровождают ИГ (19% от всех ИГ с жестами), а также дискурсивные маркеры (24% соответственно). Подавляющее большинство метадискурсивных жестов (90% и более, в зависимости от выборки) представлены метафорами передачи (conduit metaphor, см. Рис. 2), которые представляют речь как объект, который говорящий может передать слушающему. Такие жесты часто сочетаются с буквальным повтором сказанного ранее, что отличает их от изобразительных, тяготеющих к переформулировкам. Эти жесты часто сопровождают ЭДЕ, которые обычно не относятся к главной линии нарратива, а описывают некоторый вывод или важные для говорящего наблюдения. Кроме того, метадискурсивные жесты чаще других встречаются с модальными высказываниями (со словами должен и надо), а также глаголами мысли и чувства.

Жестовые ударения (их доля составила 24%) отличаются тем, что могут совпадать по времени с союзами (3 из 4 союзов, сопровождавшихся жестами, были отмечены жестовыми ударениями) и дискурсивными маркерами (на жестовые ударения пришлась почти половина всех дискурсивных маркеров, отмеченных жестами). Кроме того, жестовые ударения очень часто встречаются с незавершенными ЭДЕ (68% от всех таких ЭДЕ с жестами). Жестовые ударения, как и «метафора передачи», часто сопровождают повторы (4 таких случая из 7 повторов с жестами), а кроме этого - цитаты.

Ритмические жесты (их доля составила 14%), напротив, редко отмечают паузы и речевые сбои; типичный контекст для них - целая предикация (44% всех ЭДЕ с жестами сопровождались именно ритмическими жестами). Ритмические жесты часто встречаются с цитатами, которые достаточно важны в рассказе или, по крайней мере, говорящий хочет придать им особое значение. Они часто встречаются в безличных предикациях, модальных и инфинитивных конструкциях, а с незавершенными высказываниями - наоборот, практически не используются.

В Главе IV «Функции и семантика иллюстративных жестов на локальном дискурсивном уровне» описывается вклад иллюстративных жестов в семантику ЭДЕ. Для этих целей закономерности, выявленные на материале корпуса из фрагментов телепередач, проверялись на корпусе «рассказов о грушах».

Указательные жесты используются для активации новых референтов или повторной активации уже представленных ранее. Также кинетическое указание появляется, когда требуется эмфатическое выделение или различение нескольких референтов, о которых идет речь. С метадискурсивными высказываниями указательные жесты могут служить для экспликации структуры дискурса, обращая внимание слушающего, например, на уже описанные ранее события или отмечая отклонение от строгой временной последовательности в описании событий (см. ). ЭДЕ, сопровождаемые указательными жестами, часто описывают не события в мире дискурса, а отношения между участниками коммуникации и ситуацию, в которой происходит общение.

Рис. 5. А когда [мальчик упал с велосипеда] - возврат к одному из описанных ранее эпизодов фильма.

Изобразительные жесты отмечают главную линию рассказа, цепочку ключевых событий. Если выбрать из рассказа ЭДЕ с изобразительными жестами, можно увидеть, как говорящий представляет себе сюжет или краткое резюме описываемых им событий. Интересно отметить, что в таких ЭДЕ действующие лица обычно выражены местоимениями.

Метадискурсивные жесты чаще всего используют такие метафоры, как ИДЕИ - ЭТО ОБЪЕКТЫ или метафору КАНАЛА СВЯЗИ52. Помимо передачи слушающему некоторой важной для говорящего мысли и сообщения о чувствах, эти жесты могут обозначать неуверенность говорящего в точности своих слов. Они также используются для экспликации метадискурсивных отношений внутри дискурса (как отсылка к сказанному ранее) и, в редких случаях, берут на себя функцию регулятора коммуникации.

Жестовые ударения, обычно отмечающие самые малозначимые элементы в дискурсе (примечания, отступления, дискурсивные маркеры и показатели цитации), аналогичны скобкам на письме. Можно предположить, что их функция - показать слушающему, что говорящий не закончил свою речь и не намерен передать слово, даже если он отклонился от изложения

52 Лакофф Дж., Джонсон М. Метафоры, которыми мы живем. М.: Едиториап УРСС, 2004.

главной линии или столкнулся со сложностями в процессе построения следующей фразы.

Ритмические жесты подчеркивают важные идеи, которые говорящий хочет выделить как объективно значимые (что отличает ритмические жесты от метадискурсивных), но которые не предполагают изобразительных жестов в силу абстрактности значения.

Таким образом, видно, что на локальном уровне каждый из типов иллюстративных жестов обладает ясной семантикой и выполняет четко очерченные функции.

Также в этой главе рассмотрены индивидуальные особенности в использовании иллюстративных жестов на локальном дискурсивном уровне.

В Главе V «Жестовые явления в связи с глобальной структурой дискурса» исследуется, как иллюстративные жесты эксплицируют глобальную структуру дискурса, и рассматриваются такие явления, как подхватывающие жесты и жестовая инерция. Также в этой главе показано, что использование правой или левой руки (или же двух рук) для производства жеста обусловлено семантикой соответствующего высказывания и ролью референта.

Мы выдвигаем гипотезу о том, что жестовые подхваты достаточно последовательно маркируют те единицы, которые соответствуют сложным предложениям в письменной речи, а жестовая инерция скорее будет кинетическим аналогом абзацев.

Кроме того, изменение позы говорящего также может указывать на границы крупных блоков в дискурсе. Это явление выступает в качестве сигнала о границе крупных блоков внутри рассказа (например, в одном из пересказов «Фильма о грушах» изменение позы разделяет вступительную часть и описание сюжета).

Также в главе V разбираются примеры индивидуальных стратегий в использовании иллюстративных жестов как средства указания на глобальную структуру дискурса.

В заключении приводятся итоги исследования.

Библиография содержит более 130 работ отечественных и зарубежных авторов.

Основное содержание работы отражено в следующих публикациях. Статьи в изданиях, рекомендованных ВАК РФ:

1. Функциональные и семантические особенности иллюстративных жестов в устной речи (на материале русского языка) // «Вопросы языкознания», №4,2004, с. 48-64.

2. Хроника V Международной конференции по когнитивной науке, прошедшей в Калининграде в июне 2012 г. (в соавт. с Дубасовой А. В., Мазуровой Ю. В., Худяковой М. В.) // «Вопросы языкознания», 2013. № 3. С. 141-148.

Статьи в журналах, сборниках научных трудов и материалах конференций:

3. Зачем в разговоре нужны жесты (на материале корпуса устных текстов) // Тезисы докладов международной конференции "Понимание в коммуникации" 2005, с. 83-85. (Конференция в НИВЦ МГУ 28.02 -1.03 2005).

4. Жестикуляция в устном общении: зачем мы "разговариваем руками" // Актуальные проблемы коммуникации и культуры-2. сборник научных трудов российских и зарубежных ученых. Москва-Пятигорск, 2005. с. 172-178.

5. Иллюстративные жесты в устном дискурсе (типология, функционирование, коммуникативное поведение): типы и их функции // Московский лингвистический журнал, том 8, №2, 2005. С. 89-117.

6. Иллюстративные жесты в высказывании (на материале русского языка) // VIII межвузовская научная конференция студентов-филологов. 11-15 апреля 2005 г. Филологический факультет СПбГУ. Тезисы / Отв. ред.

21

А. В. Андронов. СПб.: Филологический факультет СПбГУ, 2005 — с. 108.

7. Значение и функции жестов-иллюстраторов в устной речи. // «Компьютерная лингвистика и интеллектуальные технологии: Труды международной конференции «Диалог 2006».

8. Иллюстративные жесты: особенности вербального контекста, семантика и функции в устной речи, С. 265 // Актуальные проблемы филологической науки: взгляд нового поколения: Доклады студентов и аспирантов филологического факультета МГУ имени М.В. Ломоносова. Вып. 2 / Отв. ред. JI.A. Жданова. - М.: МАКС Пресс, 2007. -408 с.

9. Сегментация устного нарратива и изобразительные жесты: кинетические признаки границ и связей между сегментами дискурса. «Компьютерная лингвистика и интеллектуальные технологии: Выпуск 8 (15). Труды международной конференции «Диалог 2009». С. 340-345.

10. Кинетические признаки структуры устного нарратива (корпусное исследование) // Проблемы компьютерной лингвистики: Сборник научных трудов / Под ред. A.A. Кретова. - Вып. 4. - Воронеж, 2010. С. 193-200.

11. Иллюстративные жесты как средство выражения дискурсивной структуры. Четвёртая международная конференция по когнитивной науке 22-26 июня 2010 г., Томск, Россия Тезисы докладов С. 436-437

12. Серии повторяющихся жестов и связность устного монолога. Пятая международная конференция по когнитивной науке. Калининград, Россия, 18-24.06.2012. с.553-554

13. Жестикуляция рассказчика и структура устного нарратива. // когнитивные исследования. Сборник научных трудов. Вып. 5. / под ред. A.A. Кибрика, Т.В. Черниговской, A.B. Дубасовой. - М.: Изд-во «Институт психологии РАН», 2012. С. 243-251.

14. Иллюстративные жесты как маркеры сверхфразовых единиц. // Когнитивная наука в Москве: новые исследования. Материалы конференции 19 июня 2013 г. Под ред. Е.В. Печенковой, М.В. Фаликман. - М.: ООО «Буки Веди». С. 219-224.

Подписано в печать:

21.11.2013

Заказ № 9209 Тираж - 50 экз. Печать трафаретная. Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш„ 36 (499) 788-78-56 www.autoreferat.ru