автореферат диссертации по филологии, специальность ВАК РФ 10.02.19
диссертация на тему: Моделирование механизмов понимания поликодовых текстов

Полный текст автореферата диссертации по теме "Моделирование механизмов понимания поликодовых текстов"



На правах рукописи

СОНИН Александр Геннадиевич

МОДЕЛИРОВАНИЕ МЕХАНИЗМОВ ПОНИМАНИЯ ПОЛИКОДОВЫХ ТЕКСТОВ

Специальность 10.02.19 — Теория языка

Автореферат диссертации на соискание ученой степени доктора филологических наук

Москва - 2006

Работа выполнена на кафедре психолингвистики Государственного образовательного учреждения высшего профессионального образования «Московский государственный лингвистический университет».

Научный консультант: доктор филологических наук, профес-

сор Вера Анатольевна Пищальникова

Официальные оппоненты: заслуженный деятель науки РФ, доктор

филологических наук, профессор Александра Александровна Залевская

доктор филологических наук, профессор Елена Георгиевна Беляевская

доктор филологических наук, профессор Виктория Владимировна Красных

Ведущая организация: Омский государственный университет

Защита диссертации состоится 2006 г. в

£рчасов на заседании диссертационного совета Д 212.135.02 по защите диссертаций на соискание ученой степени доктора наук при Московском государственном лингвистическом университете по адресу: 119992, Москва, ГСП-2, ул. Остоженка, 38.

С диссертацией можно ознакомиться в библиотеке Московского государственного лингвистического университета.

Автореферат разослан «

» З^йаулк 2006 г.

Ученый секретарь

диссертационного совета В С. Страхова

На протяжении последнего столетия было создано немало специфических поликодовых систем, построенных на соединении текстов различной семиотической природы. Сначала кинематограф, а затем и телевидение, превратившееся в основное орудие формирования общественного сознания, стали неотъемлемой частью жизни современного общества. Важное место в современной культуре заняли и такие средства массовой коммуникации, как комикс и реклама в ее журнальном, плакатном и телевизионном вариантах. Позже объединение разноприродных составляющих стало важнейшей структурной особенностью цифровых произведений, размещаемых в сети Интернета. Все это дает основание говорить о заметном повышении роли смешанных вербально-изобразшпельных поликодовых форм в культуре нового тысячелетия.

При этом едва ли стремление к максимальной наглядности означаемого можно отнести к специфическим чертам коммуникации в современном обществе. Иконографические знаки предпочитались типографическим как па вывеске перед лавкой торговца или мастерской ремесленника, так и на родовом гербе дворянина, а такой важный элемент христианской культуры, как религиозное образование масс, в большой степени опиралось на иконы, фрески или витражи храмов. Таким образом, революционными можно считать лишь достижения технического прогресса, открывающие новые возмолености структурирования наглядной иконическои информации, но не само стремление к ее широкому использованию.

Склонность человека к «совершенствованию изобразительной техники при стабильности вербальных средств информации» отмечается российскими исследователями И.Н. Гореловым и К.Ф. Седовым [Горелов, Седов 1997]. Прослеживая историю совершенствования коммуникативных возможностей человека, ученые приходят к выводу, что «для человека естественно увеличивать объем зрительной информации, ее ресурсы и возможности сравнительно с другими видами и средствами коммуникации» (Ibid). Наиболее ярко это проявилось во второй половине 20-го столетия, когда в связи с усилением процессов глобализации в значительной степени расширяются процессы интеграции в мировой экономике, а новые средства коммуникации позволяют следить в режиме on-line за событиями в любой точке мира. В создаваемом совместными усилиями планетарном сообществе межкультурная коммуникация перестает жестко зависеть от миграции населения, а вопрос об использовании единого и понят-

но го всем языка вновь становится актуальным. Новые способы социального взаимодействия приводят к появлению новых типов текста'. возникает;- необходимость использовать в вербальных: произведениях идеографические и другие изобразительные элементы, что закономерно вызывает изменение социального статуса смешанных, поликодовых средств коммуникации.

Очевидно, что эти тексты требуют иных способов чтения, а также репрезентации и концептуализации их содержания. Можно предположить, что когнитивные механизмы, используемые при постраничном чтении вербального текста на материальном носителе, отличаются от тех, что задействованы индивидом при чтении гипертекстов в Интернете, а репрезентация содержания поликодового вер-бально-изобразительного текста строится иначе, чем репрезентация содержания вербального текста. В связи с этим перед наукой встают задачи выяснения специфики мотивпционпых, когнитивных и других механизмов, используемых для понимания порождаемых цивилизацией текстов нового типа, раскрытия особенностей в отношениях между разными перцептивными модальностями и семиотическими системами в рамках одного текста, установления степени эффективности и целесообразности использования таких текстов и многие другие.

Долгое время в науке господствовало мнение, что поликодовые произведения должны характеризоваться большей эффективностью в передаче информации по сравнению с близкими по содержанию вербальными произведениями за счет одновременного использования разных каналов передачи информации и за счет их более гибкой структуры. Однако надежды, возлагаемые на технологические новшества в передаче информации, не сопровождались серьезным осмыслением форм и методов их использования. Между тем многие экспериментальные исследования показали, что индивид может сталкиваться с серьезными затруднениями, пытаясь усвоить информацию, предлагаемую в поликодовой форме. Даже опытный пользователь нередко теряется в лабиринтах гипертекста, осуществляя поиск в Интернете, а ученик, использующий мультимедийную обучающую программу, далеко не всегда справляется с постоянными переходами от учебного видеоматериала к дидактическому комментарию и обратно в связи с несформнрованностью новых когнитивных стратегий восприяпиш. В настоящее время исследователи также ставят вопрос о когнитивных затратах, связанных с симультанным и квазиси-мулыианньш восприятием гетерогенных составляющих поликодо~

вых текстов (далее - ПТ). Одним словом, радужные ожидания технических разработчиков поликодовой продукции постепенно сменяются многочисленными психологическими и психолингвистическими вопросами и проблемами. Ясно лишь одно: простое соположение гетерогенных произведений без концептуального осмысления общих принципов построения ПТ и специфики его понимания не может способствовать оптимизации отношений в системе «человек — текст».

Повышение социальной роли этих произведений, предполагающих новые способы чтения текста, а также репрезентации и концептуализации его содержания, определяет актуальность обращения к научному анализу механизмов их воздействия на человека с целью установления эффективности и целесообразности их использования. Не менее очевидна и собственно научная актуальность темы, так как современное языкознание все настойчивей стремится к более глубокому пониманию лингвистических проблем в контексте изучения функционирования вербальных произведений, выяснения специфики мотивационных, когнитивных и других механизмов, используемых для понимания вербальных и поликодовых текстов. К середине 20 в. лингвистическое сообщество признало, что «многие понятия лингвистики предстанут в ином свете, если их восстановить в рамках дискурса - языка, присвоенного говорящим, - в условиях ин-терсубъектности, без которой невозможна коммуникация» [Вепуетз1е 1966], что сделало отношения текст-изображение информативными для лингвиста, позволило провести анализ в двойном контексте, через экспликацию значимости различных компонентов ситуации общения на основе движения от текста к изображению и обратно.

Сопряжение вербального текста и изображения дает исследователю возможность оценить, насколько те или иные единицы языка связаны с компонентами речевой ситуации (с кинетической и мимической модальностями речи, другими компонентами, представленными в кадре). Однако в первую очередь вербально-пиктографические произведения представляют интерес для «внешней», в соссюровском понимании, лингвистики: тех областей языкознания, которые изучают функционирование языка в обществе, как это делает социолингвистика, и его отношение к психическим процессам, изучаемое психолингвистикой. Для последней текст, функционирующий в сопряжении с невербальными компонентами изобразительного произведения, позволяет сделать еще одну попытку рас-

крыть механизм работы «черного ящика» мыслительной деятельности уже не на основе анализа восприятия линейного вербального произведения, а с учетом «экстралингвистических» компонентов речевой ситуации. Значительный интерес представляет анализ таких текстов и для когнитивно ориентированной лингвистики. Появление новых технологий, позволяющих соединять письменный текст, рисунок, звук, анимацию, вызывает немало теоретических вопросов о воздействии на индивида каждой из отдельно взятых составляющих, о когнитивных механизмах их объединения, о самой способности индивида к их интеграции и многих других.

Объектом настоящего диссертационного исследования являются механизмы понимания ПТ, предметом - специфика функционирования вербальной составляющей ПТ и ее роль в понимании произведений этого типа. Специфическая организация ПТ позволяет ему сочетать четко выраженную смысловую целенаправленность и более жесткую заданность означаемого с предоставляемой читателю возможностью самому выбирать темп чтения. Такое сочетание призвано способствовать формированию более устойчивых паттернов, превращая ПТ в средство быстрой и эффективной передачи информации.

Главная цель исследования заключалась в построении психолингвистической модели понимания ПТ. Для ее достижения в ходе работы решаются следующие задачи:

• исследование структурной специфики ПТ, обусловливающей особенности их понимания, а также описание содержательных компонентов ПТ и анализ их функционирования в процессе репрезентации смысла;

• анализ постулируемых современной наукой форматов ментальной репрезентации и выбор формата, необходимого для построения модели;

• определение механизмов, участвующих в обработке гетерогенных составляющих ПТ, и выявление форм взаимодействия между этими механизмами в процессе понимания;

• обобщение мирового опыта экспериментальных исследований ПТ и проведение собственной эмпирической верификации положений, лежащих в основе модели.

Последовательное решение поставленных задач определило структуру работы, включающей две части: теоретическую и экспериментальную. Теоретическая часть направлена на решение трех первых задач и включает соответственно три главы. В первой главе

представлены результаты изучения структурных особенностей поликодовых произведений. Во второй главе с учетом выявленной структурной специфики осуществлен анализ различных теорий ментальной репрезентации и моделей понимания текстов разной природы. Развитие теоретических положений, отобранных по заданным структурным критериям, позволило положить их в основу предлагаемой в третьей главе авторской модели понимания ПТ.

Вторая часть исследования представляет в четырех главах серию экспериментов, направленных па верификацию постулатов, лежащих в основе предложенной модели (главы 5-8). Проведенная эмпирическая верификация позволила не только обосновать выдвинутые положения о специфике речемыслительных механизмов обработки ПТ, но и внести в них необходимые дополнения и коррективы. Представление указанных экспериментов предваряется обзором экспериментальных исследований понимания ПТ в западной когнитологин и психолингвистике (глава 4). Итоги проделанной работы подводятся в заключении. Список цитированной литературы насчитывает 258 работ.

Необходимо отметить сложность проблемы, встающей перед разработчиком психолингвистической модели понимания ПТ. В самом деле, продолжительное исследование механизмов понимания вербального текста до сих пор не привело к созданию общепризнанной модели. Еще более сложная ситуация складывается с моделями понимания изобразительного текста. Поэтому изучение механизмов понимания текстов, комбинирующих вербальные и изобразительные составляющие, сталкивается с серьезными проблемами. Предлагаемая в работе модель - первый в российской науке опыт моделирования процессов, обеспечивающих понимание ПТ. В мировой науке такие модели единичны. Поэтому безусловно важным моментом в исследовательской работе является учет как достижений западных исследователей, так и важнейших идей российских ученых, так или иначе способствующих решению проблемы. По некоторым причинам знакомство зарубежных ученых с достижениями их российских коллег носит поверхностный характер. Вместе с этим российские ученые имеют крайне ограниченный доступ к информации о достижениях зарубежной науки. На этом фоне теоретическое моделирование процессов понимания ПТ, которое объединило учение о смысловой доминанте, разработанное в российской психолингвистике, и западные концепции рассредоточенной ментальной репрезентации, определяет

научную новизну работы. Кроме того, в работе представлены новые способы интерпретации результатов исследований, основанных на принципах ассоциативного эксперимента.

Теоретическая значимость диссертации заключается в установлении закономерностей формирования поликодовых знаковых систем и в определении своеобразия механизмов их понимания. В работе предложена оригинальная модель понимания ПТ, представляющая собою определенный вклад в общую теорию понимания текста. Выявление закономерностей функционирования компонентов ПТ и обнаружение специфики механизмов их понимания могут быть широко использованы в разработке текстов самой разной (дидактической, пропагандистской, информационной и др.) направленности, что обусловливает практическую ценность исследования.

Материалом для анализа послужили франкоязычные комиксы и дидактические тексты, а также реклама из российской периодической печати.

При работе с исследуемым материалом были использованы следующие методы:

• метод компонентного анализа, предполагающий разложение значения на семантические составляющие на основе данных толковых словарей, ассоциативных словарей и словарей синонимов;

• метод концептуального анализа, использованный при выявлении доминантных смыслов и доминантных эмоций;

• экспериментальные методы когнитивной психологии, позволяющие установить своеобразие когнитивных механизмов, которые лежат в основе понимания полимодальных текстов;

• статистические методы обработки данных, полученных в ходе экспериментов.

В основу защищаемой модели легли следующие положения:

1. ПТ — специфическое произведение, возникшее на основе взаимодействия в едином графическом и смысловом пространстве гетерогенных составляющих (изобразительной и вербальной).

2. Модель понимания ПТ должна эксплицировать механизмы, определяемые взаимодействием этих составляющих.

3. Наиболее адекватный формат ментальной репрезентации, необходимый для построения модели понимания, — формат рассредоточенной репрезентации, одинаково успешно используемый в коннек-ционистских моделях как для распознавания изобразительного текста, так и для имитации высших когнитивных функций.

4. С позиций коипекциоиистской парадигмы и с учетом положений теории смысловой доминанты концепт предстает как приблизительная символическая интерпретация сложных процессов, осуществляющихся на нейронном уровне функционирования организма.

5. Основа построения концепта — функционально возникающая специфическая конфигурация нейронной сети, ключевые узлы которой устанавливаются на основе регулярности активации сети в схожих ситуациях взаимодействия индивида со средой. Каждое новое взаимодействие связано с дестабилизацией сети и дальнейшим поиском нового относительно стабильного состояния. При этом значимость одних узлов в основе концепта может ослабевать, а значимость других — усиливаться.

6. В качестве компонентов рассредоточенного концепта могут рассматриваться хранимые в памяти индивида следы его взаимодействий со средой. Символическая интерпретация этих взаимодействий позволяет выделить перцептивные, моторные и эмоциональные следы. Опыт, обогащаемый речевыми взаимодействиями, не имеет специфической нейронной основы, однако значительно повышает возможности взаимодействия между узлами сети (ее гибкости).

7. Контекст, в котором происходит становление концепта, не только способствует распространению активации в определенном направлении, но также препятствует ее движению в некоторых других направлениях.

8. Использование сетевого формата рассредоточенной ментальной репрезентации позволяет выделить в процессе понимания ПТ три этапа его когнитивной обработки: первичная структурная обработка, лексическая обработка, семантическая обработка.

9. В соответствии с данными нейропсихологических исследований на уровне первичной структурной обработки когнитивные механизмы идентификации вербальной и изобразительной составляющих подобны. В обоих случаях воспринимаемая информация сначала разлагается на отдельные черты, обработка которых ведется рассредото-ченно, но не обособлено, так как между специфическими нейронами и группами нейронов существуют многочисленные связи. Информация, генерируемая в ходе параллельной и рассредоточенной обработки отдельных черт, комбинируется в ассоциативных зонах коры больших полушарий. Полученная при этом конфигурация ведет к началу следующего этапа обработки, на котором она сравнивается с теми конфигурациями, которые уже знакомы системе на основе пре-

дыдущих перцепций.

10. Принципиальные различия в обработке гетерогенных составляющих проявляются на втором этапе понимания ПТ. Активгция представлений о форме объекта, связанная с обработкой изобразительного текста, автоматически подключает семантические репрезентации, ассоциируемые с активированной формой. Активация графического образа слова, связанная с обработкой письменного вербального текста, ведет к активации лексических репрезентаций.

11. Таким образом, гетерогенные составляющие предполагают различные пути активации содержания долгосрочной памяти. При восприятии рисунка обработка проходит по направлению от идентификации к непосредственной активации семантических репрезентаций, а лексические репрезентации задействуются позже. При обработке вербального текста семантические репрезентации, связанные с каждым из слов, активируются уже после того, как в обработке были задействованы лексические сети.

12. Указанное различие имеет существенные последствия для когнитивных механизмов построения ментальной репрезентации содержания ПТ. Первый этап построения базовой репрезентации поликодового вербалыю-изобразнтельного текста характеризуется преимущественным учетом содержания изобразительной составляющей. Именно содержание изображения определяет структуру семантической сети, которая формируется за счет активации одних узлов и ин-гибицин других.

13. С началом семантической обработки вербального текста концепты, совпадающие с базовыми, усиливаются, в то время как не согласующиеся с базой концепты преимущественно ингибируются. Поскольку формирование базовой репрезентации содержания текста начинается еще до начала семантической обработки вербального текста, влияние последнего на ментальную репрезентацию ПТ может рассматриваться как модулирующее.

14. Установленная специфика механизмов позволяет рассматривать ПТ как особую разновидность сложных текстов, которая за счет использования графических и вербальных компонентов представления смысловой доминанты позволяет строить ментальную репрезентацию, отличающуюся от репрезентации содержания вербального текста определенными преимуществами на уровне когнитивной обработки. Являясь более информативным, чем входящая в его состав изобразительная составляющая, ПТ жестче (по сравнению с вербаль-

иым текстом) обусловливает понимание передаваемого содержания, обеспечивая при этом лучшее его запоминание.

Кроме перечисленных теоретических положений, в ходе их эмпирической верификации был выдвинут ряд частных гипотез, фигурирующих в соответствующих параграфах глав 5, 6, 7 и 8.

Достоверность полученных результатов и обоснованность сделанных выводов обеспечивается обобщением обширного теоретического материала по проблеме диссертации, а таюке проведением серии из 4 экспериментов с использованием разных видов ПТ (комик-сового, дидактического и рекламного) и разных экспериментальных методик (установление смысловой доминанты, сравнение понимания и запоминания экспериментального текста, метод семантического дифференциала).

Результаты работы апробированы в докладах на международной научно-практической конференции «Человек - коммуникация -текст» (Алтайский государственный университет, 1998 г.), на краевой научно-практической конференции, посвященной памяти проф. И.А.Воробьевой (Алтайский государственный университет, 1998 г.), на международной научно-практической конференции «Языковая картина мира: лингвистические и культурологические аспекты» (Бийский государственный педагогический институт, 1998 г.), первой международной конференции «Россия и Китай: интеграция в сфере экономики, науки и образования» (Биробиджан, 1998 г.), на всероссийской научно-практической конференции «Культура. Образование. Духовность» (Бийский государственный педагогический институт, 1999 г.), на 13-ом международном симпозиуме по психолингвистике и теории коммуникации (Москва, 2000 г.), на межвузовской научно-практической конференции «Современное лингвистическое образование: Мир изучаемого языка» (Барнаульский государственный педагогический университет, 2000 г.), в ходе работы школы-семинара «Лингвосинергетика: проблемы и перспективы» (Барнаул, 2000 г. и 200 Г г.), на 100-ом конгрессе Французского психологического общества (Париж, 2001 г.), на международной научно-практической конференции «Язык. Культура. Коммуникация» (Барнаульский государственный педагогический университет, 2002 г.), на между народ ной конференции памяти Ф.М. Березина (Москва, 2004 г.), на научно-практической конференции «Современные проблемы подготовки переводчиков» (Москва, 2005 г.).

Введение включает все необходимые структурные компоненты.

В нем определяются цели и задачи исследования, раскрывается его теоретическая и практическая значимость, аргументируется научная новизна работы и обосновывается актуальность темы, а также характеризуется материал и описываются методы исследования.

В первой главе обосновывается целесообразность введения нового термина — поликодовый — для обозначения сложных вербалыю-изобразительных текстов. С этой целью указанный термин включается в систему других терминов, связанных с обозначением текстов, которые включают гетерогенные составляющие. Поликодовые тексты были противопоставлены попилюдапъпъш (по участию в восприятии текста одной или нескольких перцептивных модальностей) и мультимедийным (по возможности читателя активно участвовать в структурировании воспринимаемого текста).

Проведенный структурно-семантический анализ ПТ позволил обнаружить, что его становление происходит на основе объединения в едином графическом пространстве разных по своей знаковой природе систем, служащих для выражения общего доминантного смысла. Изобразительная и вербальная составляющие П'Г взаимодействуют, порождая особые текстовые единицы, влияющие на психолингвистические механизмы обработки содержащейся в тексте информации. Изучение специфики внутренней организации ПТ позволило выделить набор основных компонентов, выполняющих смыслоформирующую функцию через графическое выделение смысловой доминанты:

• графическая структура ПТ, под которой подразумеваются различные планы и углы зрения,

• цветовое оформление текста,

• дополнительные линии, штрихи и другие конвенциональные элементы рисунка, сближающиеся своей дискретностью с письменным знаком,

• композиция речевого компонента,

• идеограмматизированные графемы и знаки препинания, которые через «семантизацию» графической оболочки объединяют в себе признаки вербального и изобразительного произведений, получая определенные преимущества перед алфавитным письмом в воздействии на процессы смыслопорождения.

Среди характерных черт речевого компонента особое внимание обращает на себя широкое использование восклицательных фраз как в комиксовом, так и в рекламном текстах. По замечанию А. Ван Лие-

ра, они «архаично восклицательные и «обезоруживающе банальны» [Van Lier 1988: 18]. Фразы с восклицательными знаками создают насыщенный эмоциональный фон, помогая создателям ПТ в решении проблемы письменной фиксации особенностей устной речи. Здесь арсенал, которым располагают авторы ПТ, богат и разнообразен. Изображение, в пространстве которого существует текст, дает возможность автору показать (насколько это может позволить схематизм рисунка) позу, жест, выражение лица персонажа, что может стать опорой для верного истолкования вербальной составляющей.

Более того, своеобразная форма ПТ не только помогает решать задачу репрезентации разговорного стиля в письменном тексте, но и вынуждает его к этому. Важнейшим фактором выступает здесь ограниченность пространства изображения, в рамках которого располагаются вербальные произведения. Необходимость разместить в этом пространстве изображение и текст жестко лимитирует графическую протяженность каждой фразы. В результате, как и в устной речи, в вербальной составляющей ПТ исключаются сложные синтаксические конструкции. И разница лишь в том, что ограничивающим фактором становится не время, а пространство.

Вынужденная экономия средств выражения порождает стремление к поиску языковых единиц, обладающих наибольшей выразительностью и максимальным эффектом реализма. К таким единицам относятся в первую очередь те, что выступают как отклонение от нормы литературного языка. Именно элементы функциональных стилей, которые располагаются в иерархической системе ниже нейтрального (сниженная лексика, грамматические явления и варианты произношения, характерные для просторечия, и т.д.), воспринимаются на письме как проявление устного. Авторы ПТ в своем стремлении максимально точно передать живой ритм, акцент, логические ударения и нелогичные построения, языковые тики и оговорки, характеризующие степень неформальности ситуации общения, активно и плодотворно используют эти отклонения. Отступая от неукоснительного выполнения требований кодифицированного языка ради более точной передачи устной речи на письме, создатели ПТ отбирают наиболее значимые для создания иллюзии элементы и формируют у своих читателей новые стереотипы. Постепенно реципиент, привыкший к новому коду, который повторяется из текста в текст, начинает смешивать устное с тем, что на деле является лишь указывающим на него знаком, и уверен, что слышит разговорно-неформальное там, где

работает формальный код [Сонин 1999].

Важно отметить, что, несмотря на выявленную смысловую связь между гетерогенными компонентами, отражающуюся в процессах формально-смысловой адаптации, составляющие ПТ воспринимаются не одинаково. Многие авторы указывают на временной разрыв между восприятием рисунка, глобальным и почти симультанным, и пошаговой обработкой вербальных знаков. В связи с этим первая задача, связанная с построением модели понимания ПТ, заключалась в исихолиигвистической интерпретации указанной особенности взаимодействия гетерогенных составляющих.

Поскольку всякий исследователь, занимающийся изучением механизмов понимания текста как построения ментальной репрезентации его содержания, сталкивается с проблемой выбора формата репрезентации, во второй главе проводится анализ литературы, посвященной этому аспекту исследования ПТ. На его основе было выявлено, что большинство ученых, работающих с текстами, которые включают изобразительную составляющую, предпочитает постулировать аналогический формат ментальной репрезентации. При этом наиболее часто используется теория ментальных моделей П.П. Джонсона-Лэрда. Выбор этой теории вполне объясним. Во-первых, он осуществляется на основе сложившейся традиции увязывать модальность изучаемого текста с модальностью его ментальной репрезентации. Несмотря на то, что такая связь открыто не декларируется, она усматривается во многих когнитивных концепциях, объясняющих понимание вербальных текстов пропозициональной обработкой информации и связывающих понимание иконических текстов с гипотетической манипуляцией ментальными образами или ментальными моделями. Во-вторых, немаловажную роль играет сам характер теории ментальных моделей, созданной как форма критики теории пропозиций. Общий критический пафос заставляет П.Н. Джонсона-Лэрда довольствоваться лишь указанием на возможность трансформации первичных репрезентаций, близких к поверхностной структуре текста, в аналогические репрезентации (ментальные модели), но не формулирует никаких конкретных механизмов, позволяющих осуществлять такую трансформацию.

Рассмотрение ключевых моментов теории ментальных моделей выявило, что постулат, устанавливающий структурное соответствие между модальностью означающего и модальностью означаемого, уязвим и что когнитивные науки на сегодняшний день не располага-

ют необходимым концептуальным аппаратом для описания аналогических ментальных структур. По этой причине аналогический (образный) формат, постулируемый многими авторами для создания моделей понимания ПТ, в настоящей работе не использовался.

Также не был использован и пропозициональный формат, долгое время рассматривавшийся как единственная альтернатива образному. Первый разработан для анализа содержания вербального текста и предполагает покомпонентный перевод фразы в пропозициональные схемы, зависящие от поверхностной структуры этой фразы. Очевидно, что своеобразие структуры изобразительного текста крайне затрудняет однозначное выделение его компонентов для их дальнейшего перевода в пропозициональную схему. Гораздо более гибок в этом плане формат, который предлагают создатели коннекционистских моделей, одинаково успешно используемых как для распознавания изобразительного текста, так и для имитации высших когнитивных функций.

Рассредоточенные сети изначально создавались для имитации принципов работы нейронной сети. Как следствие, они опираются на современные знания о нейрофизиологической основе когнитивных процессов и позволяют предложить с опорой на эти знания конкретные механизмы построения ментальной репрезентации. Кроме того, при использовании указанного формата проблема интерпретации речемыслительных процессов логически независима от проблемы существования специфических подсистем обработки (пропозициональной, аналогической, полимодальной). Даже если постулировать, вслед за Дж. Фодором, модульную организацию когнитивной системы и разделение функций, остается неоспоримым тот факт, что все когнитивные процессы проходят на единой нейронной основе, одинаковой для любого модуля.

Таким образом, для построения модели понимания поликодовых произведений был выбран формат рассредоточенной репрезентации. После обоснования целесообразности его использования возникла необходимость во внесении два принципиальных уточнения, одно из которых касается характеристик компонентов концепта, а другое - связей между ними. В первую очередь была предпринята попытка уточнить, на основе каких компонентов выстраивается значение рассредоточенного концепта. Предложенная во второй главе типология составляющих концепта основана на идее, что в качестве таковых могут рассматриваться хранящиеся в памяти индиви-

да следы взаимодействия с окружающей действительностью. В связи с этим устанавливаются четыре типа составляющих: перцептивные, моторные, эмоциональные и вербальные. Что касается связи между составляющими, в модели использовался постулат семантической гибкости, согласно которому значение прежде всего контекстуально, а контекст может играть активную роль не только в активации, но и дезактивации концептов и их составляющих.

Выбор формата ментальной репрезентации, необходимого для построения модели, и обоснование его преимуществ перед другими форматами заложили основу для установления конкретных когнитивных механизмов, обеспечивающих построение ментальной репрезентации содержания ПТ. Это направление работы нашло свое отражение в третьей главе диссертации. Особенность представленной в ней модели понимания ПТ определяется оригинальностью структуры этого специфического средства коммуникации. В частности, при разработке модели учитывалось то, что ПТ включает две гетерогенные составляющие: вербальный текст и изображение.

Модель постулирует и исследует три этапа обработки текста П'Г:

• первичную структурную обработку;

• лексическую обработку;

• семантическую обработку.

В соответствии с данными нейропсихологических исследований была выдвинута гипотеза о том, что на уровне первичной структурной обработки когнитивные механизмы идентификации вербальной и изобразительной составляющих подобны. В обоих случаях воспринимаемая информация сначала разлагается на отдельные черты, обработка которых ведется рассредоточенно, но не обособленно, так как между специфическими нейронами и группами нейронов существуют многочисленные связи.

После параллельной и рассредоточенной обработки отдельных черт информация комбинируется в ассоциативных зонах коры больших полушарий. Полученная при этом конфигурация ведет к началу следующего этапа обработки, на котором она сравнивается с теми, что уже знакомы системе на основе предыдущих обработок. По-видимому, различия мел еду обработкой гетерогенных составляющих появляются на этом этапе. Активация представлений о форме объекта, связанная с обработкой изобразительного текста, автоматически ведет к построению семантических репрезентаций, ассоциируемых с активированной формой. Активация графического

образа слова, связанная с обработкой письменного вербального текста, ведет к активации лексических репрезентаций. Поэтому прохождение активации неодинаково для разных составляющих.

Формальная обработка гетерогенных составляющих

Семантическая обработка изобразительной составляющей

Лексическая обработка вербальной составляющей

Формирование базовой репрезентации

Семантическая обработка вербальной составляющей

Включение вербальной информации в базовую репрезентацию:

Вербальная информация согласуется с базовой репрезентацией Существенная вербальная информация не согласуется с базовой репрезентацией Несущественная вербальная информация не согласуется с базовой репрезентацией

Усиление и обогащение базовой репрезентации

Пересмотр и перестройка базовой репрезентации

Возврат к исходной базовой репрезентации

При восприятии рисунка обработка проходит по направлению от идентификации к непосредственной активации семантических репре-

зентаций, а лексические репрезентации задействуются. При обработке вербального текста семантические репрезентации, связанные с каждым из слов, активируются уже после того, как в обработке были задействованы лексические сети.

Согласно модели, это различие имеет существенные последствия для когнитивных механизмов построения ментальной репрезентации содержания ПТ. Первый этап построения базовой репрезентации поликодового вербально-изобразительного" текста характеризуется преимущественным учетом содержания изобразительной составляющей. Именно содержание рисунка определяет структуру семантической сети, которая формируется за счет активации одних узлов и дезактивации других. Когда начинается семантическая обработка вербального текста, концепты, совпадающие с базовыми, стабилизируются, в то время как не согласующиеся с базой концепты преимущественно ингибируются. Поскольку формирование базовой репрезентации содержания текста начинается еще до начала семантической обработки вербального текста, влияние последнего на ментальную репрезентацию ПТ может рассматриваться как модулирующее. Обработка текста, начинающаяся идентификацией составляющих и заканчивающаяся построением ментальной репрезентации его содержания, представляет собой цикл процесса понимания.

Для демонстрации функционирования постулируемого механизма может быть рассмотрен следующий пример.

^1яиеа Я| I'уЗое... Н

^ -С - —

Согласно предлагаемой модели, семантический анализ изобразительной составляющей начинается раньше, чем семантический анализ вербальной составляющей того же кадра. Как следствие, первичная обработка кадра может быть связана с активацией представленной ниже семантической сети (предложения о возможной структуре трех приводимых в качестве примера сетей сделаны на основе ответов, полученных от испытуемых, которые устанавливали содер-

16

31 те гезТе <3 Неигегсмэте Рго/1Соп5-ег

1-V- с '

жапие исследуемых текстов в ходе проведенного для этих целей эксперимента).

Вербальный текст допускает несколько конкурирующих интерпретаций. Поскольку лексическая сеть активируется раньше, чем семантическая, количество активируемых концептов возрастает оттого, что каждый узел лексической сети связан с несколькими концептами семантической сети.

Если отдельно предъявляется вербальная составляющая {«До рассвета осталось несколько часов... Воспользуемся этим!..»), фраза может активировать иные концепты. Указание на то, что до рассвета осталось несколько часов, активирует концепт «ночь». Что касается предложения воспользоваться этим временем, то оно получает самые разные интерпретации в зависимости от актуального состояния ассоциативной семантической сети испытуемого. В отсутствие изобразительного контекста с предложением воспользоваться временем, оставшимся до рассвета, ассоциируются такие достаточно противоречивые концепты, как «отдых» и «срочные приготовления», «преступление» и «любовь».

Согласно моделям У. Кинча [Ки^сЬ 1988] и М.А. Гернсбахер [ОегпБЬасЬег 1990], на первом этапе понимания вербального текста активируются все возможные концепты, и лить на втором этапе специфические механизмы усиливают одни концепты и подавляют другие. Однако при включении вербального текста в ПТ понимание осуществляется на основе контекста, создаваемого изобразительной составляющей. Паттерн, установленный в ходе обработки рисунка, влияет на прохождение активации, связанной с обработкой вербального текста. Активации нерелевантных концептов, связанных отрицательной связью с узлами, активированными рисунком, не происходит.

Так, рисунок, изображающий мальчика, который находит на берегу моря раненых умирающих дельфинов, препятствует активации концептов «покой», «секс», «экзамен», «вампир» и облегчает активацию концептов «надежда», «срочно», «намерение».

Протяженность полученной сети больше, чем протяженность базовой сети, созданной на основе обработки изобразительной составляющей, но меньше, чем протяженность сети, которая могла быть построена на основе взятой отдельно вербальной составляющей, поскольку рисуночный контекст предотвращает активацию некоторых нерелевантных концептов, вызванную полисемией слов в составе фразы.

Экспериментальная верификация модели понимания ПТ, опирающейся на приведенные положения, представлена во второй части работы.

• Изложенный в четвертой главе анализ результатов более 370 экспериментальных исследований позволил обнаружить, что наиболее распространенные формы изучения поликодовых и полимодальных текстов — это сравнение в понимании и запоминании вербального текста и его иллюстрированной версии либо двух по-разному иллюстрированных версий одного и того же вербального текста.

В первом случае в подавляющем большинстве экспериментов обнаруживается преимущество ПТ над текстами вербальными. Такой результат вполне предсказуем, однако попытки раскрыть механизм,

обеспечивающий это преимущество, привели к созданию сразу нескольких конкурирующих моделей. Поэтому дальнейший поиск был направлен па выявление тех факторов, которые, влияя на экспериментальные результаты, подтверждали бы основные положения защищаемой модели. В числе таких факторов может быть названо соотношение между объемом вербального текста и количеством иллюстраций: так, была обнаружена четкая зависимость эффективности иллюстрации от доли, которую она занимает в тексте: чем обильней проиллюстрирован текст, тем сильней сказывается положительный эффект от использования иллюстративного материала. Однако и такой результат не позволяет говорить о преимуществах предложенной модели.

Более интересным оказался анализ сравнений разных поликодовых версий одного текста. В частности, лежащее в основе модели » положение об изобразительной составляющей как основе для построения ментальной репрезентации содержания ПТ находит свое подтверждение в результатах экспериментов, в которых выявляется значимость последовательности предъявления гетерогенных компонентов. Манипуляция фактором «Момент предъявления иллюстрации» (до предъявления вербального текста или после него) оказалась исключительно результативной. В 11 из 12 изученных экспериментов влияние иллюстрации, показанной перед текстом, эффективней, чем влияние иллюстрации, предъявленной после предъявления текста. Другими словами, эффект от использования иллюстрации выявляется лишь в тех случаях, когда испытуемому дается возможность создать на основе изображения базу для ментальной репрезентации предъявляемого текста.

Соответствуют положениям представленной модели и результаты эксперимента по рассогласованию вербального и изобразительного ряда. Эксперимент Д.С. Хейза и Д.У. Бернбаума показал, что при несовместимости изображения и звука ухудшается запоминание звуковой, вербальной информации, но не визуальной. Это позволяет в полном соответствии с моделью сделать предположение о доминантном характере визуальной составляющей.

В целом же проведенный анализ не позволил обнаружить достаточное количество эмпирических данных в подтверждение специфических положении предлагаемой модели. В связи с этим был разработан и проведен целый комплекс экспериментальных исследований,

направленных на их верификацию. Каждый из четырех этапов проделанной работы нашел отражение в отдельной главе диссертации.

Главная цель эксперимента, описанного в пятой главе, состояла в получении эмпирических данных, подтверждающих ключевые положения, которые лежат в основе защищаемой модели понимания ПТ. Для операционализации постулатов, описывающих механизмы обработки гетерогенных составляющих ПТ, было выдвинуто 6 гипотез, относящихся к пониманию комиксовых текстов. Эти гипотезы касались:

• протяженности лексических и семантических сетей, формируемых при построении ментальной репрезентации содержания комикса и его отдельно взятых составляющих;

• силы активации доминантных концептов в сети;

• степени участия составляющих кадра комикса в построении ментальной репрезентации его содержания;

• значения покадровой разбивки текста комикса для понимания его содержания.

Для вапидации выдвинутых гипотез было использовано экспериментальное задание на определение основного содержания демонстрируемых текстов.

Ответы испытуемых были проанализированы в рамках трех интерпретаций с вычислением различных показателей, многие из которых подтвердили справедливость верифицируемых гипотез.

Так, два формальных показателя (количество слов в ответе и разнообразие ответов) позволяют подтвердить гипотезы о протяженности сетей, формируемых при построении ментальной репрезентации содерэ1сания кадра комикса и его отдельно взятых составляющих. Испытуемые используют значимо меньшее количество слов в ответах, когда им демонстрируется рисуночная составляющая кадра, и значимо большее количество слов при демонстрации вербальной составляющей. Этот результат может быть интерпретирован как указывающий на меньшую протяженность лексических сетей при восприятии рисуночной составляющей. В связи с этим он подтверждает положения защищаемой модели, согласно которой понимание рисуночных компонентов осуществляется па основе непосредственного перехода от формальной идентификации к семантической обработке с минимальным подключением лексических сетей. При обработке вербальной составляющей

идентификация элементов фразы ведет к активации через лексические сети всех ассоциируемых концептов с последующей контекстуальной дискриминацией неадекватных концептов.

Гипотезы относительно протяженности активируемых сетей подтверждаются также результатами вычисления показателя лексического разнообразия ответов. Наибольшее разнообразие отмечено в ответах, полученных на предъявление вербальной составляющей. Наименьшее разнообразие отличает реакции на демонстрацию рисуночной составляющей. Реакции на предъявление целых кадров комикса значимо разнообразней, чем реакции на рисуночную составляющую, однако они менее разнообразны, чем реакции на вербальный текст. Таким образом, в полном соответствии с положениями, лежащими в основе модели, при понимании текста комикса рисуночная составляющая играет по отношению к вербальному тек- * сту стабилизирующую роль. Разделяемая некоторыми исследователями мысль о том, что изображение не является такой четко выраженной знаковой единицей, как слово, а его семантика по сравнению с последним характеризуется значительно меньшей определенностью, в эксперименте не подтверждается.

Иначе, вербальная составляющая обогащает информацию, полученную на основе обработки рисуночной составляющей. В целом результаты вычисления показателя разнообразия ответов демонстрируют, что комикс как специфическое средство коммуникации более жестко обусловливает пошшание передаваемого содержания по сравнению с вербальным текстом, по при этом более информативен, чем входящий в него рисуночный текст.

После установления специфики протяженности лексических сетей была проанализирована их гомогенность - соотношение доминантных и периферийных концептов. На основе среднего числа доминантных концептов (концептуального ядра) было подсчитано 4 показателя (по 2 соотносимых показателя до семантической группировки слов и после нее). В обоих случаях подсчет был направлен на верификацию гипотез относительно организации лексических и семантических сетей (силы связи между их узлами и общего веса доминантных концептов).

В рамках формальной интерпретации для повышения внутренней валидности экспериментальных результатов описанные сравнения были проведены повторно после семантической группировки реакций испытуемых. Действительно, некоторые лексемы могут быть

тесно связаны между собой и формировать синонимические группы. Кроме того, в любой ситуации есть возможность представить объект, действие или состояние с разных точек зрения. Выбор слова будет определяться точкой зрения, которую принимает испытуемый самим актом называния.

Например, ответы, полученные при демонстрации кадра из альбома Sœur Marie-Thérèse (3. Dieu vous le rendra...) [Maester 1994] и его составляющих, позволили объединить слова в следующие группы:

Текст, апеаторно Текст, упорядочение Рисунок, алеаторно Рисунок, упорядочение Кадр, алеаторно Кадр, упорядочение

Старость Старение Старуха 1 Кокетка Жеманство Живот Толстушка Ожирение Пузо Полнота Пухлячка Живот Толстая Надо худеть Сало Толстуха Ожирение Толстуха Пузо Ожирение Сало Лишние кило Пузо Толстуха Полнота Целлюлит Поправилась

Красота Красавица Забота Тревога Отражение Зеркало Отражение Зеркало Диета Система 6 Зеркало Отражение

В одну группу были объединены ответы «старость», «старение», «старуха», полученные при неупорядоченном предъявлении вербального текста. Эти ответы выражают один и тот же концепт. С одной стороны, он представлен двумя абстрактными понятиями, одно из которых актуализирует динамический компонент («старение» - процесс), второе акцентирует его атрибутивную функцию («старость» -состояние, результат процесса), а с другой - воплощение указанного процесса - «старуха».

Демонстрация рисунка вызывает такие ответы, как «сало», «ожирение», «толстуха», «живот», «надо похудеть». Кроме уже отмеченных отношений (абстрактное понятие — представление: «ожирение» - «толстуха»), основой для объединения ответов в одну группу послужили отношения метонимии («ожирение» - «живот») и логические отношения между констатацией («ожирение») и выводом («надо похудеть»),

В таблице многократно представлены случаи синонимических отношений: «полнота» - «ожирение» - «целлюлит»; «забота» - «беспокойство». Также многочисленны случаи метонимических отпоше-

23

1шй: «красота» - «красавица»; «кокетка» - «жеманство»; «зеркало» -«отражение»; «диета» - «таблетки для похудания». Наконец, нельзя не упомянуть стилистические отношения между нейтральным и разговорным уровнями языка: «живот» - «пузо»; «полная женщина» -«толстуха».

Формирование предлагаемых групп проходило как на основе интуиции исследователя, так и на основе аналитической рефлексии. Сформированные группы представляют собой лишь одну из возможных классификаций экспериментального материала, которая опирается на следующие источники [Александрова 1993; Ожегов & Шведова 1992; Караулов, Сорокин, Тарасов, Уфимцева & Черкасова 1994, 1996].

Как следствие^ итоги формальной интерпретации рассматривались в качестве информирующих о свойствах лексических сетей, а результаты семантической интерпретации были призваны дать дополнительную информацию о свойствах семантических сетей. Впрочем, значения всех четырех показателей характеризуются высокой степенью взаимной корреляции.

Анализ показал, что вес доминантных единиц (соответствующих лексемам в первом случае и концептам - во втором) значимо выше при демонстрации рисуночной составляющей. Связность ответов испытуемых также выше для рисунка при обеих интерпретациях. Самые низкие значения этих показателей характеризуют вербальную составляющую. Понимание целых кадров комикса связано с построением специфических сетей. Их концептуальное ядро в среднем содержит меньше доминантных концептов, чем концептуальное ядро, формируемое при построении ментальной репрезентации содержания рисуночной составляющей, являясь, однако, более сильным, чем концептуальное ядро, полученное на основе обработки вербальной составляющей. Эти результаты полностью согласуются с прогнозом, сделанным на основе верифицируемых гипотез, и позволяют утверждать, что обработка рисуночной составляющей, согласуясь с заявленной в предыдущей главе стратегией понимания ПТ, ведет к построению сети относительно малой протяженности с сильной активацией нескольких доминантных узлов, образующих концепты. В дальнейшем, когда начинается обработка вербального текста, сеть расширяется, что несколько ослабляет активацию доминантных концептов в связи с появлением новых. Таким образом, полученные значения четырех показателей согласу-

ются с результатами подсчета первых двух показателей и подтверждают предложенную модель.

11а иных основаниях осуществлялась группировка ответов испытуемых для категориальной интерпретации. Определяя содержание кадра (или — в зависимости от группы — его составляющих) при помощи одного-двух слов, как того требовало задание, испытуемые имели возможность выбирать по меньшей мере из шести возможностей:

• назвать ситуацию (общий контекст);

• указать на одно из действующих лиц или на один из объектов;

• приписать характеристику элементу ситуации или охарактеризовать ситуацию в целом;

• оценить ситуацию эмоционально: непосредственно или приписав некое эмоциональное состояние персонажу;

• резюмировать содержание ситуации, указав на общий концепт.

Каждая из этих возможностей может быть проиллюстрирована следующим примером.

Среди ответов испытуемых, полученных на демонстрацию кадра комикса Tranches de brie [Margerin 1998], были отмечены следующие:

• «сведение счетов» (3 ответа), «стычка» (4). Эти ответы называют ситуацию, изображенную па рисунке, не указывая ни на действующих в ней лиц, ни на конкретные их действия.

• «слюна» (2), «пена на губах» (3), «круглые глаза» (1). Испытуемые, давшие эти ответы, выбрали для номинации конкретные объекты, фигурирующие в кадре.

• «угрожает» (8), «держит за воротник» (1), «нападает» (1), «схватил руками» (1). Эти ответы указывают на действие персонажей.

• «злой» (2), «монстр» (2), «заика» (1). Некоторые испытуемые дали в своих ответах характеристику персонажу.

• «ярость» (9), «гнев» (5), «ненависть» (2), «страх» (2). В приведенных ответах испытуемые указывают на доминантную эмоцию, опираясь как на рисуночную составляющую, так и на содержание реплики.

• «агрессивность» (2), «жестокость» (2). Эти ответы отсылают к более общим концептам, выводимым на основе содержания кадра.

Необходимо отметить, что отобранные для анализа классифицирующие категории в целом совпадают с группами когнитивных инвариантов, выделяемых различными исследователями. Так, называние ситуации может быть интерпретировано как проявление пре-

25

имущественной активации когнитивного инварианта «событие», определяемого как изменение состояния мира [Denhière & Baudet 1992; Jackendoff 1983]. Указание на действующее лицо или объект может, с этой точки зрения, рассматриваться как доминирование в ментальной репрезентации таких инвариантов, как «агент» или «инструмент». Указание на действие может быть связано с приоритетной активацией особой категории концептов — «действие», постулируемой в частности Т.А. ван Дейком [van Dijk 1980] и Дж. Серлем [Searle 1983], а различные характеристики, приписываемые персонажам и объектам, могут быть обусловлены активацией фундаментальной категории «состояние».

Таким образом, категориальная интерпретация позволила сравнить ответы участников в зависимости от их принадлежности к одной из категорий, выделенных на основе структурного анализа ко-миксового текста. Таких категорий шесть: «Персонаж/объект», «Действие», «Атрибут», «Эмоция», «Ситуация» и «Абстракция». Кроме того, при обработке опросных листов были выявлены случаи пропущенных и неадекватных ответов, которые интерпретировались как свидетельствующие о затруднениях, связанных с выполнением экспериментального задания, и объединялись в особую группу (седьмая категория), условно названную «Брак».

После распределения ответов по категориям была проведена соответствующая интерпретация результатов, которая показала, что:

• при предъявлении вербальной составляющей все категории существенным образом представлены в ответах респондентов с заметным доминированием категорий «Ситуация» и «Персонаж/объект»;

• при демонстрации рисуночной составляющей доминируют те же категории «Ситуация» и «Персонаж/объект». Категории «Действие» и «Эмоция» могут рассматриваться как сильные (в значительной мере представленные в ответах), а категории «Атрибут» и «Абстракция» -как слабые (мало представленные в ответах);

• при демонстрации комикса группа доминантных категорий соответствует доминантным категориям его составляющих («Ситуация» и «Персонаж/объект»). К сильным отнесена категория «Эмоция», а три оставшихся категории «Абстракция», «Атрибут» и «Действие» являются слабыми.

Таким образом, доминантные категории одинаковы для комикса и его составляющих. Однако дополнительный анализ, в ходе которого сравнивались показатели представленности этих категорий

в реакциях на разные виды текста, позволил установить, что доминантность указанных категорий сильнее выражена в реакциях на рисуночную составляющую. Этот результат также подтверждает гипотезы, касающиеся взаимодействия составляющих, и уточняет их, указывая на некоторые нюансы когнитивных механизмов понимания ПТ.

На первом этапе понимания ПТ обработка рисуночной информации ведет к построению относительно небольшой семантической сети с преимущественной активацией ограниченного числа доминантных узлов, формирующих концепты, связанные с представлениями о ситуации (общем контексте описываемых событий) и действующих в ней лицах. Степень активации концептов, связанных с действиями персонажей в описываемой ситуации и соответствующими эмоциями, также высока. Семантическая обработка вербальной информации, как показывает эксперимент, может быть связана с высокой степенью активации любой категории концептов. Однако эта обработка осуществляется уже после начала семантической обработки рисунка. Как следствие, обработка вербальной информации происходит с опорой па сеть, узлы которой активированы и ингибирова-ны на основе обработки рисуночной информации. В итоговой репрезентации содержания кадра остаются только те концепты вербального текста, которые не ингибированы рисунком. Они обогащают первичную сеть, добавляя концепты-атрибуты и концепты-абстракции, по и ослабляя одновременно вес доминантных категорий, активированных рисунком.

Экспериментальные данные совпадают, таким образом, с результатами, прогнозируемыми на основе предлагаемой модели: концепты, связанные общим представлением о ситуации и о действующих лицах остаются доминантными, а все остальные - за исключением эмоции - ослабевают. Подтверждая ключевые положения модели, эти результаты позволяют поставить под сомнение справедливость гипотезы о механизмах понимания комикса, предложенной Делесс. Французский ученый полагает, что последовательность рисунков помогает читателю уловить суть ситуации, а вербальный текст частично блокирует многочисленные возможности интерпретации рисуночного текста. Все данные, полученные в ходе эксперимента, свидетельствуют об обратном: обработка рисуночной информации задает исходную структуру построения репрезентации, блокируя некоторые возможные интерпретации вербального текста.

Еще одним эмпирическим доводом в подтверждение положений модели может служить результат подсчета пропущенных и неадекватных ответов. Наименьшее количество таких ответов обнаружено при демонстрации рисуночной составляющей. А поскольку эти случаи отражают в первую очередь затруднения, с которыми сталкиваются испытуемые в поисках ответа, то указанный результат может свидетельствовать о менее протяженной сети, активируемой рисунком и о лучшей выраженности ее доминантных концептов.

Следующий важный элемент интерпретации результатов эксперимента — совпадение между концептами комикса и его составляющих. Поскольку эксперимент показал, что между пониманием комикса и рисуночной составляющей совпадений значимо больше, чем между пониманием комикса и вербальной составляющей, можно сделать вывод, что влияние рисуночной составляющей на построение ментальной репрезентации содержания комикса сильней. Это хорошо согласуется с ключевым положением модели о том, что первичная база (или, другими словами, направление интерпретации) задается рисуночной составляющей.

В целом почти все экспериментальные данные подтверждают те положения модели, которые касаются механизмов взаимодействия гетерогенных составляющих комикса в процессе построения ментальной репрезентации. Однако гипотеза, касающаяся роли покадрового членения повествования, не подтверждена столь otee безоговорочно. Роль покадрового членения должна была отразиться на результатах сравнения между упорядоченной и алеаторной демонстрацией кадров комикса, но из восьми проанализированных случаев только в четырех изменение порядка представления дало ожидаемые результаты.

Все четыре показателя, для которых влияние порядка демонстрации на ответы испытуемых оказалось значимым, характеризуют гетерогенность и связность ответов. При упорядоченной демонстрации эти показатели выше как при формальной, так и при концептуальной интерпретации. Полученные результаты интерпретируются как свидетельствующие о формировании более стабильной ментальной репрезентации содержания текста с более четко выраженным концептуальным ядром в тех случаях, когда экспериментальный материал демонстрировался упорядочение. Сделанные на основе эксперимента выводы подтверждают гипотезы, относящиеся к роли покадрового членения текста комикса и постули-

рующие циклический механизм обработки информации, при котором каждый новый цикл соответствует новому кадру. Понимание каждого кадра подготавливается и определяется результатами обработки предыдущего кадра, обусловливая при этом понимание кадра последующего. Порядок демонстрации кадров (или их составляющих), соответствующий их расположению в комиксе, помогает испытуемому понять их содержание и облегчает построение соответствующей ментальной репрезентации. Если же кадры демонстрируются алеаторно, то испытуемый не имеет возможности опереться при понимании демонстрируемого кадра на семантическую сеть, сформированную на основе предыдущего кадра. В связи с этим гомогенность и связность ответов значимо снижется.

Вопреки ожиданиям, влияние порядка демонстрации материала на количество слов в ответе и на лексическое разнообразие оказалось незначимым. В соответствии с моделью, при упорядоченной демонстрации обработка предыдущего кадра должна была облегчать понимание каждого последующего, уменьшая число возможных интерпретаций содержания. Последствия постулируемого механизма должны были проявиться в снижении протяженности сети и, как следствие, в снижении количества слов в ответах испытуемых и в меньшем лексическом разнообразии ответов. Однако результаты эксперимента не позволили обнаружить влияния порядка демонстрации материала на эти два показателя, верификация гипотезы не состоялась.

По-видимому, отмеченный факт может объясняться спецификой предложенного испытуемым экспериментального задания, связанного с определением содержания текста. Некоторые испытуемые отмечали после окончания эксперимента те моменты, которые не были предусмотрены при его разработке. А именно: при последовательной демонстрации кадров (составляющих), представляющих одну и ту же историю в ее развитии, участники искали всякий раз новый элемент, который отличал бы этот кадр от предыдущего, продвигая повествование. Если первым в голову приходило слово, которое уже использовалось для определения содержания предыдущего кадра, испытуемые стремились избежать повторения или записывали это слово, сопровождая его другим, — тем, что вводило новый элемент. Разумеется, это повышало значения показателей среднего количества слов в ответах и их лексического разнообразия. Таким образом, отмеченные результаты вычисления двух формальных показателей, не согласую-

щиеся с ожидаемыми, не ставят под сомнение состоятельность предложенной нами модели.

Отсутствие влияния порядка демонстрации материала на два других результата (сила связи концептов в концептуальном ядре и сила связи между компонентами концепта) также не ставит под вопрос валидность модели, поскольку оба показателя рассматривались как дополнительные, уточняющие показатели гомогенности и связности. Их подсчет не связан с непосредственной верификацией какой-либо гипотезы и проводился без учета количества полученных ответов. Результаты анализа показали, что концептуальные ядра (совокупность доминантных концептов) каждой ментальной репрезентации отличаются в зависимости от вида текста средним количеством составляющих ядра концептов. Сила связи между доминантными концептами значимо выше в ментальных репрезентациях, построенных при демонстрации рисунка, по сравнению с другими видами текста, а сила связи между компонентами концепта не отличается, какой бы вид экспериментального текста ни демонстрировался.

Наконец, анализ не был бы полным без сравнения доминантных концептов гетерогенных составляющих комикса. Это сравнение показало, что количество совпадений между концептами, репрезентированными в этих составляющих, незначительно (около 20%). Другими словами, отношения между ними могут определяться как преимущественно комплементарные.

Последнее заключение не может не вызвать следующий вопрос: если совпадение между концептами составляющих столь незначительно, какова основа взаимодействия составляющих при построении ментальной репрезентации содержания кадра? Ответ на этот вопрос необходим, поскольку многие из полученных экспериментальных данных позволяют утверждать, что активируемая комиксом сеть имеет значительно меньшую по сравнению с вербальным текстом протяженность и более выраженные доминантные концепты.

Семантическая интерпретация не позволяет решить эту проблему, однако очертания возможного ответа прорисовываются в категориальном анализе. Его результаты показали, что единственная категория, в равной степени представленная в гетерогенных составляющих комикса, — эмоция. Вместе с тем это единственная из шести категорий, в большей степени представленная в комиксе, чем в его со-

ставляющих. Таким образом, вполне обоснованным представляется предположение, что эмоциональный компонент концепта играет роль универсальной связки между гетерогенными составляющими.

Представленный в шестой главе эксперимент был направлен на уточнение роли эмоциональных компонентов ментальной репрезентации. В его основе лежали два постулата. Согласно первому, построение ментальной репрезентации содержания текста вызывает изменение эмоционального состояния читающего. Согласно второму, отражающему специфику построения ментальной репрезентации ПТ комикса, эмоция, выражаемая его гетерогенными составляющими, является связующим звеном между концептами, представленными в этих составляющих.

Исходя из указанных постулатов основная гипотеза, верифицируемая в эксперименте, состоит в следующем утверждении: благодаря одновременному использованию двух составляющих для выражения доминантной эмоции комикс выражает эту эмоцию более четко, чем его отдельно взятые вербальная и рисуночная составляющие. Проверка этого положения связана с выдвижением четырех операциональных гипотез, касающихся главным образом количества ответов и уровня совпадений между ответами. Осуществление проверки опиралось на подсчет пяти показателей, три из которых основаны на сравнении количества ответов испытуемых, полученных при демонстрации комикса и его составляющих. Два других отражают количество совпадений между ответами участников разных групп. Произведенные подсчеты в целом подтверждают частные гипотезы и, как следствие, позволяют говорить о состоятельности общей гипотезы.

Согласно произведенным вычислениям, наименьшее количество слов в ответах характеризует группу испытуемых, которой был продемонстрирован комикс. В ответах, представляющих реакции на демонстрацию составляющих, используется больше слов. Из этого можно заключить, что участники испытывали меньше затруднений с установлением доминантной эмоции, когда им предъявлялся комикс, а значит, именно этот вид текста более жестко задает доминантную эмоцию. Это заключение подтверждается вычислением значения следующего показателя, отражающего степень разнообразия ответов испытуемых внутри каждой группы. В группах, где представлялся комиксовый текст, разнообразие ответов значимо ниже.

Важным показателем, позволяющим судить о роли эмоциональных компонентов концепта в структурировании ментальной репрезентации комикса, является показатель гомогенности ответов участников внутри каждой группы. Подсчет, выполненный после объединения ответов в эмотивно-смысловые группы, показал, что число совпадений в ответах участников, которым был продемонстрирован комикс, выше, чем значение соответствующего показателя в группах, где участникам демонстрировались отдельные его составляющие. Иначе говоря, по сравнению с демонстрацией отдельных составляющих демонстрация кадра вызывает меньше разногласий между испытуемыми относительно доминантной эмоции, выраженной в тексте. Таким образом, результаты подсчета трех показателей подтверждают центральную гипотезу, согласно которой эмоция более четко выражается в ПТ комикса, чем в его рисуночной и вербальной составляющих. Эти результаты согласуются с результатами, полученными Дж. Пиком, в экспериментах которого иллюстрации к тексту не только влияли на его запоминание, но и способствовали формированию у испытуемых эмоционального отношения к его содержанию. Кроме того, описанные результаты соотносимы с данными, которые были получены Н. Блан и И. Тапьеро. Французские исследователи экспериментально установили, что сочетание вербального текста и иллюстрирующих его рисунков может использоваться как средство формирования эмоционального отношения к содержанию вербального текста.

Вычисление двух других показателей верифицировало постулат, приписывающий эмоциональным компонентам концепта роль связующих элементов между концептами, представленными в гетерогенных составляющих, при построении ментальной репрезентации целого кадра. В первую очередь необходимо подчеркнуть, что эмоции, выделенные на основе ответов испытуемых, которым демонстрировался комикс, в равной мере совпадают с эмоциями, установленными при демонстрации вербальной и рисуночной составляющих. В то же время количество совпадений между эмоциями, выраженными в составляющих ПТ, может рассматриваться как очень высокое - от 86,8% до 96,4% (в зависимости от группы)- Другими словами, если концептуально отношения между составляющими определялись как комплементарные (от 19,7% до 23,6% совпадений между концептами в первом эксперименте), то с точки зрения выражаемых ими эмоций эти отношения характеризуются высокой степе-

нью избыточности. Таким образом, результаты проведенного эксперимента позволяют утверждать, что эмоциональные компоненты концептов служат основой для взаимодействия гетерогенных составляющих в ходе построения ментальной репрезентации содержания ПТ комикса.

Эксперимент, представленный в седьмой главе, был направлен на выявление эффективности ПТнри его использовании в качестве дидактического средства. Для этого понимание и запоминание ПТ сравнивалось с пониманием и запоминанием близкого по смыслу вербального текста. Согласно модели понимания ГТГ, представленной в теоретической части, сочетание двух семантически изоморфных составляющих должно позволить индивиду лучше понять и запомнить его содержание.

Большинство результатов, полученных в ходе эксперимента, подтверждает справедливость предложений, высказанных в форме четырех гипотез. Главный результат эксперимента заключается в том, что испытуемые систематически обнаруживают лучшее понимание и запоминание ПГ по сравнению с текстом вербальным. Этот вывод сделан на основе значимо большего количества точных ответов, полученных в группе испытуемых, которым демонстрировался кулинарный рецепт, составленный в виде ПТ.

Значимое отличие между результатами демонстрации ПГ и вербального текста должно было выявляться в обоих тестах (немедленном и отсроченном). Анализ показал, что при общем рассмотрении двух тестов испытуемые дали значимо больше правильных ответов после прочтения ПТ. Между тем это различие незначимо для первого теста, взятого отдельно. Другими словами, предъявление рецепта в поликодовой форме не обеспечило его лучшего понимания по сравнению с вербальной формой, но привело, однако, к его лучшему запоминанию. (Отметим все же, что результаты теста на понимание достаточно близки к маргинально значимым. Если избрать в качестве порога достоверности результатов а = 10% - то есть признать, что результат заслуживает доверия, если шанс ошибиться не превышает одного из десяти, — то различие между пониманием ГТГ и вербального текста предстает как значимое).

Сходные результаты уже были получены в эксперименте Р. Бернарда, К. Петерсена и М. Элли, предложивших испытуемым иллюстрацию до предъявления иллюстрируемого научного текста. (Испытуемые в контрольной группе читали тот же текст без иллюст-

рации). Исследователи контролировали результаты дважды: сразу после показа текста и две недели спустя. Благодаря тестам было установлено, что различия в показателях испытуемых значимы лишь при отсроченном контроле. Сходные результаты были получены и в эксперименте Н. Блан и И. Тапьеро. Последние объясняют отсутствие различий во время первого контроля тем, что иллюстрации к тексту демонстрировались отдельно, до предъявления самого текста. Однако настоящее исследование показывает, что подобные результаты могут быть получены и в случае, когда иллюстрации сопровождают текст. По-видимому, объяснение может лежать в методологической плоскости. Краткость вербального текста, содержащего всего пять фраз, могла позволить испытуемым удерживать лингвистические структуры предложенного текста в рабочей памяти и отвечать на вопросы, используя эту краткосрочную репрезентацию. Неделю спустя ответы давались уже с опорой на структуры, сформированные в семантической долгосрочной памяти, и тогда преимущество ГТГ перед вербальным стало очевидным. Кроме того, некоторые испытуемые могли недооценить информативную значимость рисунков, сопровождающих вербальный текст. Так, Р. Дин и Р. Калхэви показали, что карта оказывает благотворное влияние на воспроизведение прочитанного текста, описывающего местность, тогда, когда испытуемые сами участвуют в составлении этой карты, и что это влияние значимо слабее, когда карта дается в готовом виде. Возможно, формулируя экспериментальное задание, нужно было подчеркнуть необходимость опереться на рисуночную составляющую.

В остальном результаты полностью соответствуют ожиданиям и подтверждают гипотезы, а вместе с ними и предложенную модель. В частности, количество правильных ответов снижается значительно сильней в группе, где испытуемым предъявлялся рецепт в форме вербального текста, свидетельствуя о том, что чтение ГТГ обеспечивает более стабильную репрезентацию содержания текста, чем чтение вербальной версии рецепта.

Что касается сравнения между разными типами представления информации внутри ПТ, то обе гипотезы, предсказывающие результаты этого сравнения, успешно подтверждены. Количество правильных ответов на вопросы, которые касаются информации, представленной в поликодовой форме, выше, чем количество правильных ответов на вопросы, касающиеся информации, представленной только вербалыю. Эти различие значимо для обоих тестов.

Перечисленные результаты позволяют поставить под сомнение обоснованность интерпретации, опирающейся па теорию ментальных моделей. Согласно этой интерпретации, понимание текста основано на построении ментальной модели его содержания. Построенная ментальная модель, структурно изоморфная фрагменту внешнего мира, позволяет индивиду достраивать информацию об этом фрагменте, даже если эта информация эксплицитно в тексте не представлена. С позиций теории ментальных моделей, обнаруженные преимущества ГГГ перед вербальным текстом объясняются спецификой рисуночной составляющей, аналогически репрезентирующей фрагмент внешнего мира и облегчающей тем самым построение его ментальной модели. Однако если понимание текста осуществляется таким образом, то после построения ментальной модели любая информация должна быть одинаково доступна индивиду вне зависимости от того, представлена ли она эксплицитно или имплицитно, вер-бально или в поликодовой форме. Как следствие, любая информация, представленная в ПГ, должна пониматься и запоминаться одинаково. Но результаты тестов однозначно показали, что испытуемые лучше поняли и запомнили ту информацию в ПТ, что была представлена в поликодовой форме. Эти результаты не согласуются с интерпретацией, предлагаемой на основе теории ментальных моделей.

Таким образом, проведенный эксперимент позволяет утверждать, что ПТ обеспечивает лучшее понимание и запоминание представляемого в нем содержания, чем аналогичный вербальный текст. Полученные результаты в целом подтверждают защищаемую модель понимания ПГ.

Эксперимент, представленный в восьмой главе, был направлен на выявление специфики восприятия поликодового рекламного текста, а также его гетерогенных составляющих (вербальной и изобразительной). Для получения экспериментальных данных использовался метод семантического дифференциала - испытуемые оценивали тексты по 25 однополюсным шкалам, представляющим самые разные сферы субъективной оценки текстов. Это позволило охарактеризовать использованный в эксперименте материал с точки зрения производимого на реципиента эмоционального воздействия («навязчивый», «привлекательный», «приятный»), в связи с анализом его рациональных построений («логичный», «понятный»), на основе выявления его эстетической ценности («оригинальный», «стильный», «удачный»), в связи с формальными особенностями его восприятия

(«яркий»), по его воздействию на чувственную сферу личности реципиента («сексуальный»).

Отбор материала и составление анкет проводились с учетом выдвинутых гипотез, которые касались восприятия гетерогенных составляющих рекламного текста, их влияния на восприятие целого текста, а также когнитивных механизмов, лежащих в основе этих процессов.

Анализ данных (11 750 ответов, полученных в ходе опроса 94 информантов) проводился на основе сравнения средних показателей между разными видами текстов (рекламный текст, вербальная составляющая, изобразительная составляющая) и между разными шкалами.

В ходе эксперимента не была подтверждена гипотеза, касавшаяся свойств поликодового рекламного текста. Предполагалось, что соединение в его графическом пространстве гетерогенных составляющих должно давать этому тексту некоторые преимущества перед монокодовыми произведениями. В частности, ожидалось, что в проводимом эксперименте оценки по шкалам, связанным с положительной эмоцией, при демонстрации полного рекламного текста будут выше, чем при показе отдельных составляющих. Сравнение проводилось по 13 соответствующим шкалам. Эксперимент показал, что наиболее заметно отличие рекламного текста от вербальной составляющей: оценки первого выше в 7 сравнениях из 13 («красивый», «оригинальный», «привлекательный», «приятный», «сексуальный», «стильный», «яркий»). Однако всего в двух случаях оценки рекламного текста выше, чем соответствующие оценки изобразительной составляющей («возвышенный» и «добрый»). Не обнаружено никаких значимых отличий по шкалам «интересный», «радостный», «светлый» и «удачный». Таким образом, предполагаемое преимущество рекламного текста проявилось главным образом по отношению к вербальной составляющей и только в очень незначительной степени по отношению к изображению.

Этот результат не подтверждает гипотезу об «идеальном» рекламном тексте, однако полностью согласуется с защищаемой моделью. В соответствии с ее положениями создание положительной мотивации по отношению к рекламируемому продукту осуществляется главным образом за счет изобразительной составляющей, которая выступает основой для понимания поликодового произведения. По шкалам «оригинальный», «привлекательный»,

«приятный», «стильный», «удачный» и «яркий» оценки рекламного текста близки к оценкам его изобразительной составляющей, в то время как различия между рекламным текстом и вербальной составляющей по всем этим шкалам значимы.

Результаты, полученные по всем шкалам независимо от их «коннотации», вполне сопоставимы с уже представленными. Оценки изобразительной составляющей совпадают с оценками рекламного текста чаще, чем оценки вербальной составляющей (19 из 21 уэ. 13 из 21). Корреляция между оценками изображения и рекламного текста статистически более значима. Это позволяет говорить о большей близости в восприятии рекламного текста и его изобразительной составляющей по сравнению с вербальным текстом. На этом основании можно утверждать, что именно изображение закладывает основу для понимания поликодового рекламного произведения, что вполне согласуется с результатами, полученными на материале ко-миксового текста, и свидетельствует в пользу существования единого механизма, лежащего в основе понимания рекламного и комиксового текстов. Немаловажно отметить и то, что в аналогичном эксперименте, проведенном на ином рекламном материале и с иным набором шкал П.Н. Махниным, получены близкие результаты.

Интересные результаты дало сравнение между самими гетерогенными составляющими рекламного текста. По большинству категорий между ними обнаруживается смысловой изоморфизм (16 шкал из 21). В оставшихся пяти случаях оценки изобразительной составляющей четырежды выше соответствующих оценок вербальной составляющей. Это категории «красивый», «сексуальный», «стильный», «яркий». По категории «логичный» выше оценивается вербальный текст. Эти результаты подтверждают гипотезу о разнохарактерном воздействии гетерогенных составляющих. Как и предполагалось, изобразительная составляющая обладает большим потенциалом для привлечения непроизвольного вшшапия реципиента и создания у пего положительного эмоционального отношения к рекламе с первых секунд ее восприятия. В вербальном тексте важней его логичность.

Что же касается категории «понятный», которая соотносилась с логичностью и предположительно в большей степени должна была проявиться в вербальной составляющей, то какой бы материал ни использовался в экспериментах, какие бы виды текста ни предлагались их участникам, последние неизменно высоко оценивают вос-

принимаемые тексты по шкале «понятный». Это полностью подтверждает одно из основополагающих положений российской психолингвистики, согласно которому всякое восприятие имеет значение, а субъект осмысляет даже «объективно» бессмысленное. Понимание реципиентом воспринимаемого текста связано, таким образом, не с «вычерпыванием» из него заложенных автором смыслов, а с активным процессом порождения собственных смыслов на основе воспринятого.

Одним из интересных продолжений описанного эксперимента может стать более обстоятельное изучение соотношения выраженности некоторых характеристик в рекламном тексте по сравнению с его составляющими. Некоторые результаты позволили уточнить по отношению к рекламному тексту распространенное суждение о том, что целое «не есть простая сумма его составляющих». Так, например, было обнаружено, что для категории «красивый» воздействие составляющих как бы суммируется, усиливаясь при их соединении в полном рекламном тексте. Вместе с этим было отмечено несколько категорий, которые характеризовались как «невыраженные» при демонстрации составляющих, но обнаруживались испытуемыми в самом рекламном тексте (категории «возвышенный», «добрый», «радостный» и «таинственный»). Наконец, в некоторых случаях (не)представленность определенных категорий в рекламе обусловлена только одной из составляющих (например, «сексуальный» и «стильный» были выявлены только в изобразительной составляющей). Если в специальном исследовании проанализировать закономерность реализации категориями их «аддитивности», «эмерджент-ности» или «привязанности», это могло бы не только послужить развитию теоретического осмысления восприятия рекламного текста, но и сформулировать конкретные практические предложения для специалистов по рекламе.

В заключении излагаются и обобщаются основные результаты проведенного исследования, проводится общая интерпретация эмпирических данных, полученных в ходе четырех экспериментов, делаются выводы о соответствии теоретических положений модели этим данным. Значительное место отводится осмыслению наиболее перспективных направлений развития и уточнения модели.

В списке использованной литературы (258 работ) перечислены труды отечественных и зарубежных авторов, цитируемые или упоминаемые в настоящей работе.

Основные положения диссертации отражены в следующих публикациях:

1. Комикс как новая форма художественного повествования // Культура и текст. Выпуск 2. Лингвистика. Часть 1. Материалы международной научной конференции. Барнаул, 1996. - 0,8 п.л.

2. Комикс как компонент культуры современного западного общества // Текст: структура и функционирование: Сб. ст./Под ред. В.А. Пищальниковой. Выпуск 2. Барнаул: Изд-во Алтайского унта, 1997.-0,7 п.л.

3. Специфика репрезентации устной речи на письме (на материале французских комиксов // Человек — коммуникация — текст. Выпуск 2. Часть 2/Под ред. A.A. Чувакииа. Барнаул: Издательство Алт. ун-та, 1998. - 0,2 п.л.

4. Диахронический аспект проблемы формирования комикса как особой знаковой системы // Актуальные проблемы филологии: Тез. докл./Под ред. В.А. Пищальниковой. Барнаул: Изд-во АГУ, 1998.-0,2 п.л.

5. О переложении литературных текстов на язык комиксов // Семантика и прагматика текста./Под общ. ред. В.А. Пищальниковой. Барнаул: Изд-во АлтГТУ, 1998. — 0,4/0,2 п.л. (в соавторстве с Со-ниной Е.Ф.)

6. Проблемы формирования комикса как особой знаковой системы // Текст: структура и функционирование: Сб. ст./Под ред. В.А. Пищальниковой. Выпуск 3. Барнаул: Изд-во Алт. ун-та, 1998. — 0,3 п.л.

7. Гармония формы и смысла текста как результат интегративного синергетического процесса // Языковая картина мира: лингвистические и культурологические аспекты. Материалы международной научно-практической конференции. В 2 т. Т. 2. Бийск: НИЦ БиГПИ, 1998. - 0,4/0,1 п.л. (в соавторстве с Г.Г. Москальчук и В.А. Пищальниковой)

8. Комикс как специфическое лингв о культурное явление // Россия и Китай: интеграция в сфере экономики, науки и образования. Материалы первой международной конференции. Биробиджан, 1998. - 0,5 п.л.

9. О формировании новых орфографических стереотипов // Культура. Образование. Духовность. Материалы Всероссийской научно-практической конференции, посвященной 60-летию БГПИ. В 2 ч. Часть 2. Бийск, 1999. - 0,5 п.л.

10. Комикс: психолингвистический анализ: Монография/Под ред. В.А. Пищальниковой. Барнаул, Изд-во Алт. ун-та, 1999. - 7,0 п.л.

11. Модель концепта в психолингвистическом анализе комикса // Текст: структура и функционирование: Сб. ст./Под ред. В.А. Пищальниковой! Выпуск 4. Барнаул: Изд-во Алт. ун-та, 2000. - 0,4 п.л.

12. Психолингвистические механизмы восприятия текста комиксов И Материалы 13-ого Международного симпозиума по психолингвистике и теории коммуникации. Москва, 2000. - 0,1 п.л.

13. Комикс как средство обучения иностранным языкам // Современное лингвистическое образование: Мир изучаемого языка. Материалы межвузовской научно-практической конференции. В 2-х ч. Часть 2. Барнаул, 2000. - 0,2 п.л.

14. Идеограмма как средство структурной оптимизации текста комиксов // Языковое бытие человека и этноса: психолингвистические и когнитивные аспекты. Сб. ст./Под общ. ред. В.А. Пищальниковой. Выпуск 2. Барнаул, 2000. — 0,3 п.л.

15. О роли гетерогенных текстов в разработке новых подходов к изучению речемыслительной деятельности // Лингвосинергетика: проблемы и перспективы: Материалы первой школы-семинара 12 июля 2000г./Под общ. ред. В.А. Пищальниковой. Барнаул, 2000. - 0,3 п.л.

16. Структурно-содержательная характеристика текста комментариев в комиксе (предварительный анализ) // Текст: структура и функционирование: Сборник научных статей. Вып. 5/Под ред. В.А. Пищальниковой. Барнаул: Изд-во Алт. ун-та, 2001. - 0,4 п.л.

17. Гетерогенные тексты как средство изучения и предмет обучения (о некоторых психологических проблемах содержания школьного образования) // Языковое бытие человека и этноса: психолингвистические и когнитивные аспекты. Сб. ст./Под общ. ред. В.А. Пищальниковой. Выпуск 3. Барнаул, 2001. - 0,6 п.л.

18. Синкретичные компоненты комикса (анализ идеограмматизиро-ванных структур) // Лингвосинергетика: проблемы и перспективы: Материалы второй школы-семинара 2 июля 2001 г./Под общ. ред. В.А. Пищальниковой. Барнаул: Изд-во ААЭП, 2001. - 0,4 п.л.

19. Когнитивная психология и проблемы языка // Когнитивные исследования в языковедении и зарубежной психологии. Хрестома-

тия/В.А. Пищальникова, Е.В. Лукашевич, А.Г. Сонин. Барнаул: Изд-во Алт. ун-та, 2001. - 0,8 п.л.

20. Les processus cognitifs dans la compréhension des textes multimodaux (la bande dessinée) chez des participants adultes russes et français. Communication présentée au 100e Congrès de la SFP à Paris, 11-13 octobre 2001. - 0,1 п.л.

21. Генезис и функционирование когнитивных структур в теориях саморегуляции и самоорганизации // Текст: структура и функционирование: Сборник научных статей. Вып. б/Под ред. В.А. Пищальниковой. Барнаул: Изд-во Алт. ун-та, 2002. - 0,4 пл.

22. Блеск и нищета когнитивизма // Языковое бытие человека и этноса: психолингвистические и когнитивные аспекты. Выпуск 5. Сб. ст. под редакцией В.А. Пищальниковой. М.: МГЭИ, 2002. - 1,4 п.л.

23. Когниция и лингвистика: от модели реальности к реальности модели и назад // Язык. Культура. Коммуникация. Материалы международной научно-практической конференции. Часть 2. Барнаул: Изд-во Б ГПУ, 2002. - 0,3 п.л.

24. Когнитивная лингвистика: становление парадигмы: Монография.

- Барнаул, Изд-во Алт. ун-та, 2002. - 13,0 п.л.

25. Когнитивный структурализм, или О том, чего когнитивная семантика не знает о языковой картине мира // Аспекты исследования картины мира: Монография. Коллектив авторов /Под общ. ред. проф. В.А. Пищальниковой и проф. А.А. Стриженко. Барнаул: Изд-во АлтГТУ, 2003. - 3,3 п.л.

26. Комикс как форма вербально-авербального овнешнения сознания // Методология современной психолингвистики: Сборник статей.

— Москва; Барнаул: Изд-во Алт. ун-та, 2003. - 1,1 пл.

27. Идеограмматизация текста как средство оптимизации межкультурной коммуникации // Барнаул: Изд-во пед. ун-та, 2003. - 0,3 пл.

28. Общепсихологические и когнитивные механизмы понимания мультимедийных текстов // Вопросы психолингвистики. № 1. Москва, 2003-2,0 пл.

29. Экспериментальное исследование понимания и запоминания ко-миксового текста // Языковое бытие человека и этноса: психолингвистические и когнитивные аспекты. Выпуск 7./Под ред. В.А. Пищальниковой. М.: МГЭИ, 2004. - 0,5 п.л.

30. Экспериментальное исследование вербально-изобразительных поликодовых текстов // Вопросы психолингвистики. № 2. Москва, 2С04. - 1,3/0,7 п.л. (в соавторстве с П.Н. Махниным)

31. О когнитивных основаниях восприятия поликодовых текстов // Вестник МГТУ ГА. Москва, 2005. - 1,0 пл.

32. Понимание поликодовых текстов: когнитивный аспект // Москва: Институт языкознания РАН, 2005. - 13,1 п.л.

33. Роль эмоции в понимании поликодовых текстов // Вестник МГЛУ. №511. Серия «Лингвистика». Москва, 2005. - 0,3 п.л.

34. Восприятие поликодовых рекламных текстов: когнитивный аспект // Вестник МГЛУ. № 511. Серия «Лингвистика». Москва, 2005.-0,5 п.л.

35. Кто креолизовал мой текст? (о проблеме систематизации терминологического аппарата) // Языковое бытие человека и этноса: психолингвистический и когнитивный аспекты. — Вып. 9. — М.: МГЭИ, 2005.-0,3 п.л.

36. Экспериментальное исследование поликодовых текстов: основные направления // Вопросы языкознания. № 6. Москва, 2005.-0,5 п.л.

печать 24.10.05. Формат 60x84 1/16. Гарнитура Times. Печать офсетная. Усл. печ. л. 2,7. Тираж 100 экз. Заказ №731.

ГУП «Типография на Люсиновской»: 115093, г. Москва, ул. Люсиновская, 29.

Оглавление научной работы автор диссертации — доктора филологических наук Сонин, Александр Геннадиевич

ВВЕДЕНИЕ.

ЧАСТЬ ПЕРВАЯ: Теоретические основы моделирования процессов понимания поликодового текста.

Глава 1: Анализ структуры поликодового текста.

1.1. Понятие поликодового текста.

1.2. Анализ структурной специфики поликодовых текстов.

1.2.1. Генезис структуры поликодовых текстов.

1.2.2. Анализ вербальной составляющей поликодового текста.

1.2.3. Взаимодействие гетерогенных составляющих поликодового текста.

1.2.4. Формально-смысловая взаимоадаптация составляющих поликодового текста.

1.3. Выводы по главе.

Глава 2: Формат репрезентации.

2.1. Первые концепции формата ментальной репрезентации.

2.1.1. Концепция ментальных образов А. Пэйвио.

2.1.2. Концепция пропозициональной репрезентации.

2.1.3. Компромиссные концепции.

2.1.4. Гипотеза неопределенности.

2.2. Пропозициональный формат.

2.2.1. Модель семантических составляющих.

2.2.2. Понятие пропозиции в модели У. Кинча.

2.3. Теория ментальных моделей П. Джонсона-Лэрда.

2.4. Классические сетевые модели.

2.4.1. Модели иерархических сетей.

2.4 2. Модели сравнения характеристик.

2.4 3. Модель распространения активации А. Коллинт и Э. Лофис.

2.5. Коннекционистские модели рассредоточенной репрезентации.

2.5.1. Становление коннекционизма.

2.5.2. Преимущества коннекционистских моделей.

2.5.3. Принципиальные различия в методологии когнитивизма и коннекционизма.

2.5.4. Коннекционизм и ментальная репрезентация: на пути от объекта к процессу.

2.6. Типология компонентов рассредоточенного концепта.

2.7. Выводы по главе.

Глава 3: Построение ментальной репрезентации содержания поликодового текста.

3.1. Модели понимания поликодового текста в отечественной и зарубежной науке.

3.1.1. Исследование поликодовых текстов в отечественной лингвистике.

3.1.2. Модели понимания поликодовых текстов в зарубежных исследованиях.

3.2. Первый этап: идентификация гетерогенных составляющих (структурный уровень).

3.2.1. Идентификация изображения.

3.2.2. Идентификация слова на письме.

3.2.3. Обратное влияние семантических процессов на первичную идентификацию текста.

3.3. Дальнейшая обработка информации (лексический и семантический уровни).

3.3.1. Обработка изобразительной информации.

3.3.2. Обработка вербальной информации.

3.4. Взаимодействие между вербальной и изобразительной составляющими поликодового текста.

3.4. Выводы по главе.

ЧАСТЬ ВТОРАЯ: экспериментальная верификация модели.

Глава 4: Экспериментальное исследование поликодовых текстов: основные направления.

4.1. Сравнение иллюстрированной и неиллюстрированной версий.

4.2. Сравнение разных иллюстрированных версий одного текста.

4.3. Выводы по главе.

Глава 5: Анализ ментальной репрезентации содержания комикса и его составляющих.

5.1. Общие положения.

5.2. Гипотезы.

5.3. Описание эксперимента.

5.3.1. Состав участников.

5.3.2. Экспериментальный материал.

5.3.3. Предварительный тест.

5.3.4. Порядок проведения эксперимента.

5.3.5. Независимые и зависимые переменные, план эксперимента.

5.4. Результаты эксперимента.

5.4.1. Формальная интерпретация результатов.

5.4.2. Концептуальная интерпретация.

5.4.3. Категориальная интерпретация.

5.5. Выводы по главе.

Глава 6: Эмоция как фактор связанности гетерогенных составляющих поликодового текста.

6.1. Общие положения.

6.2. Гипотезы.

6.3. Описание эксперимента.

6 3.1. Состав участников.

6.3.2. Экспериментальный материал.

6.3.3 Предварительный анализ материала.

6.3.4. Порядок проведения эксперимента.

6.3.5. Независимые и зависимые переменные, план эксперимента.

6.4. Результаты.

6.4.1. Среднее количество ответов.

6.4.2. Разнообразие ответов.

6.4.3. Гомогенность ответов испытуемых.

6.4.4. Процент совпадений между комиксом и его составляющими.

6.4.5. Процент совпадений между составляющими комикса.

6.5. Выводы по главе.

Глава 7: Понимание и запоминание поликодового текста дидактический материал).

7.1. Общие положения.

7.2. Гипотезы.

7.3. Описание эксперимента.

7.3.1. Состав участников.

7.3.2. Экспериментальный материал.

7.3.3. Порядок проведения эксперимента.

7.3.4. Независимые и зависимые переменные, план эксперимента.

7.4. Результаты.

7.4.1. Сравнение между вербальным и поликодовым текстами.

7.4.2. Сравнения между информацией, представленной вербально и в поликодовой форме.

7.5. Выводы по главе.

Глава 8: Экспериментальное исследование восприятия поликодовых рекламных текстов.

8.1. Гипотезы.

8.2. Описание эксперимента.

8.2.1. Подготовительный этап.

8.2.2. Состав участников.

8.2.3. Экспериментальный материал.

8.2.4. Порядок проведения эксперимента.

8.2.5. Независимые и зависимые переменные, план эксперимента.

8.3. Результаты.

8.3.1. Общие итоги сравнения.

8.3.2. Сравнения между модальностями текста по шкалам.

8.4. Выводы по главе.

Введение диссертации2006 год, автореферат по филологии, Сонин, Александр Геннадиевич

На протяжении последнего столетия в недрах цивилизации родилось немало специфических поликодовых систем, построенных на соединении текстов различной семиотической природы. Сначала кинематограф, а заi ем и телевидение, быстро превратившееся в важнейшее орудие формирования общественного сознания, стали неотъемлемой частью жизни современного общества. Если к этим средствам массовой коммуникации добавить комикс, рекламу в ее журнальном, наружном или телевизионном вариантах, массовую компьютеризацию, а также все менее виртуальную сеть Интернета, то с большой долей уверенности можно говорить о заметном повышении роли смешанных веросиь-но-изобразительных поликодовых форм в культуре нового тысячелетия

Зрительная информация получает все более широкое распространение в создаваемых и потребляемых человеком текстах, нарушая монопопию печатного слова. Как справедливо замечает П. Вайан, инструкции по эксплуатации все больше напоминают комиксы, настенные правила безопасности - детский альбом-раскраску, панели управления электробытовых приборов нередко содержат только идеограммы [Vaillant, 1999]. Печатное слово сдает свои позиции под натиском телевидения и Интернета, одновременно сами газеты и журналы продолжают увеличивать долю зрительной информации в предлагаемом чиiaie.no материале.

При этом трудно согласиться с теми исследователями, которые говоря i о революционных изменениях, связанных с использованием поликодовых текстов (ПТ). Едва ли стремление к максимальной очевидности и фительнои наглядности означаемого можно отнести к специфическим чертам коммуникации в современном обществе. Во все времена иконографические знаки предпочитались типографическим как на вывеске перед лавкой торговца или мастерской ремесленника, так и на родовом гербе дворянина, а такой важный злемет христианской культуры, как религиозное образование масс в большой сгеиени опиралось на иконы, фрески или витражи храмов. Таким образом, революционными можно считать лишь достижения технического прогресса, открывающие новые возможности структурирования наглядной иконической информации, но не саКю стремление к ее широкому использованию.

Склонность человека к «совершенствованию изобразительной техники при стабильности вербальных средств информации» отмечается российскими исследователями И.Н. Гореловым и К.Ф. Седовым [Горелов, Седов 1997: 50]. Прослеживая историю совершенствования коммуникативных возможностей человека (одна из возможных схематизации приводится на Илл. 1), ученые приходят к выводу, что «для человека естественно увеличивать объем зрительной информации, ее ресурсы и возможности сравнительно с другими видами и средствами коммуникации» (Ibid).

Наскаль- „ . Фотогра

Скульп- Иллюс- , г

Рисунок ная живо- ► ► ► фия, немое

J тура трация ^ пись кино

Рисунок + Иллюст- Звуковое китекст Ритуалы ► Театр ► рирован- ► но, комикс ► IV ► CD DVD ный текст интернет

Текст Устная ► Письмен- ► Печат- ► Радио речь ная речь ный текст

Hi7 1 Эволюция cpeûcme коммуникации

По мнению П. Вайана, для использования письменных вербальных текстов в качестве основного средства коммуникации необходимо выполнение по меньшей мере трех условий:

• использование языка, общего для всего населения рассматриваемой территории,

• всеобщее начальное образование,

• низкий уровень миграции населения за пределы пространства, на котором используется родной язык [Vaillant 1999].

Положение, отвечавшее всем трем условиям, сложилось во mhoihx европейских странах в начале 20-го столетия, что и обусловило роль, отведенную печатному вербальному тексту. Однако уже во второй половине этого столетия в связи с усилением процессов глобализации положение начинает меняться. В значительной степени расширяются процессы интеграции в мировой экономике, а новые средства коммуникации позволяют следить в режиме on-line за событиями в любой точке мира. В создаваемом совместными усилиями планетарном сообществе межкультурная коммуникация перестает зависеть от миграции населения, а вопрос об использовании единого и понятного всем языка вновь становится актуальным. Новые способы социального взаимодействия приводят к появлению новых типов текста: возникает необходимость использовать в вербальных произведениях идеографические и другие изобразительные элементы, что закономерно вызывает изменение социального статуса смешанных, поликодовых средств коммуникации.

Очевидно, что новые тексты предполагают также новые способы чтения, репрезентации и концептуализации их содержания. Можно предположить, что когнитивные механизмы, используемые при постраничном чтении вербального текста на материальном носителе, опыичаются от тех, что задействованы индивидом при чтении гипертекстов в Интернете, а репрезентация содержания поликодового вербально-изобразительного гексм строиi-ся иначе, чем репрезентация содержания вербального текста. В связи с этим перед наукой встают задачи выяснения специфики мотивационных, когнитивных и других механизмов, используемых для понимания порождаемых цивилизацией текстов нового типа, раскрытия особенностей в отношениях между разными перцептивными модальностями и семиотическими системами в рамках одного текста, установления степени эффективности и целесообразности использования таких текстов и многие другие.

В течение долгого времени наука принимала спонтанно возникшее убеждение, что поликодовые произведения должны характеризоваться большей зффектив-ностью в передаче информации по сравнению с близкими по содержанию вербаль ными произведениями за счет одновременного использования разных каналов передачи информации и за счет их более гибкой структуры. Как следствие, на технологические новшества в сфере передачи информации возлагались надежды, которым не суждено было сбыться по причине отсутствия серьезного осмысления форм и методов их использования. Вместе с этим многие экспериментальные исследования показали, что индивид может сталкиваться с серьезными затруднениями, пытаясь усвоить информацию, предлагаемую в поликодовой форме [Plowman 1994]. Даже опытный пользователь нередко теряется в лабиринтах [ипергексга, осуществляя поиск в Интернете, а ученик, использующий мультимедийна обучающую программу, далеко не всегда справляется с постоянными переходами or учебного видеоматериала к дидактическому комментарию и обратно, будучи не в состоянии освоить новые стратегии восприятия. В настоящее время исследователи также ставят вопрос о когнитивных затратах, связанных с симультанным и квазисимультанным восприятием гетерогенных составляющих ПТ [Lin 1994; Merlet 1998]. Одним словом, радужные ожидания технических разработчиков поликодовой продукции постепенно сменяются многочисленными психологическими и психолингвистическими вопросами и проблемами. Ясно лишь одно простое соположение гетерогенных произведений без концептуального осиыыения общих принципов построения ПТ и специфики его понимания вряд ли приведет к революционным изменениям в отношениях человек - текст.

Таким образом, повышение общественной роли поликодовых произведений, предполагающих новые способы чтения, репрезентации и концептуализации, и отмеченные проблемы, связанные с их распространением, определяют актуальность обращения к научному анализу механизмов их воздействия на человека и к установлению степени эффективности и целесообразности использования таких произведений. Не менее очевидна и собственно научная актуальность темы, так как современное языкознание все настойчивей стремится к более глубокому пониманию лингвистических проблем в контекае изучения функционирования вербальных произведений, выяснения специфики моги-вационных, когнитивных и других механизмов, используемых для понимания вербальных и поликодовых текстов. К середине 20 в. было осознано, что «многие понятия лингвистики предстанут в ином свете, если их восстановить в рамках дискурса - языка, присвоенного говорящим, - в условиях интерсубъектно-сти, без которой невозможна коммуникация» [Вепуепи^е 1966. 266]. В результате осознание информативности для лингвиста отношения текст - изображение, приводит к попыткам создания методик анализ в двойном контексте, через экспликацию значимости различных компонентов ситуации общения на основе движения от текста к изображению и обратно.

Сопряжение в одном тексте вербального и изобразительного дает исследователю возможность оценить, насколько те или иные явления языка связаны с внеязыковыми (с кинетической и мимической модальностями речи, другими компонентами, представленными в кадре). Однако в первую очередь вербаль-но-пиктографические произведения представляют интерес для «внешней», в соссюровском понимании, лингвистики: тех областей языкознания, которые изучают язык через призму его функционирования в обществе, как это делает социолингвистика, и в его отношении к психическим процессам, изучаемом психолингвистикой. Для последней текст, функционирующий вместе с невербальными компонентами изобразительного произведения, позволяет сделать еще одну попытку раскрыть механизм работы «черного ящика» мыслительной деятельности уже не на основе анализа восприятия линейного вербального произведения, а с учетом «экстралингвистических» компонентов речевой ситуации. Значительный интерес представляет анализ таких текстов и для когнитивно ориентированной лингвистики. Появление новых технологий, позволяющих комбинировать письменный текст, рисунок, звук, анимацию, вызывает немало теоретических вопросов относительно воздействия на индивида каждой из отдельно взятых составляющих, относительно когнитивных механизмов их объединения, относительно самой способности индивида к их инте! рации и многие другие. Кроме того, по справедливому замечанию Е.Г. Беляевской, при объединении знаний о мире и знаний о языке на основе общности и учения процессов хранения и обработки информации актуализируется вопрос соошошения между собой языковых и неязыковых когнитивных структур [Беляевская 1994].

В целом настоящее сочинение может рассматриваться как психолингвистическое, поскольку именно к таковым в отечественной науке принято относить работы, «в рамках которых рассматривается (теорежчееки и прл1 мличо-ски, в рамках определенного понятийного аппарата) взаимодействие диады "реципиент - текст", причем реципиентом не является сам исследователь. » [Сорокин 1985: 9]. Однако важную роль в его создании сыграли также характерные для когнитивных исследований приемы моделирования метальных процессов и методики верификации полученных этим путем моделей

Объектом диссертационного исследования являются механизмы понимания ПТ, предметом - специфика функционирования вербальной составляющей ПТ и ее роль в понимании произведений этого типа.

Главная цель исследования заключалась в построении модели понимания поликодовых текстов. Для ее достижения в ходе работы решались следующие задачи:

• исследование структурной специфики поликодовых текстов, обусловливающей протекание процессов их понимания, описание их содержательных компонентов и анализ их функционирования в процессе репрезентации смысла;

• анализ постулируемых современной наукой форматов метальной репрезентации и выбор формата, необходимого для построения модели;

• определение механизмов, участвующих в обработке гетерогенных составляющих поликодового текста, и выявление форм взаимодействия межд\ этими механизмами в процессе понимания;

• обобщение мирового опыта экспериментальных исследований поликодовых текстов и проведение собственной эмпирической верификации положений, лежащих в основе модели.

Последовательное решение поставленных задач определило структур) работы, включающей две части: теоретическую и экспериментального. 1еоре-тическая часть направлена на решение трех первых задач и включае! соогве!ственно три главы. Работа над моделью начинается с изучения структурной специфики ПТ (глава 1). Дальнейшее исследование ведется с учетом выявленных на этом этапе специфических черт структуры ПТ. Переход к непосредственной работе над моделью осуществляется на основе анализа различных 1ео-рий ментальной репрезентации и моделей понимания текстов разной природы (глава 2). Творческое развитие теоретических положений, отобранных по заданным структурным критериям, позволяет положить их в основу предла1ае-мой модели понимания ПТ (глава 3). Вторая часть исследования предсмвляс! в четырех главах серию из четырех экспериментов, направленных на верификацию постулатов, лежащих в основе предложенной модели (главы 5-8) Их проведение позволило не только проверить выдвинутые положения о специфике когнитивных механизмов обработки ПТ, но и внести в них необходимые дополнения и коррективы. Представление указанных экспериментов предваряется обзором экспериментальных исследований понимания ПТ в западной когнито-логии и психолингвистике (глава 4). Итоги проделанной работы подвозятся в заключении. Список цитированной литературы насчитывает 258 работ.

Необходимо отметить сложность проблемы, встающей перед исследователем, который работает над моделью понимания ПТ В самом деле, даже исследование механизмов понимания вербального текста, которые амивно ш\-чаются с момента зарождения психолингвистики, до сих пор не привело к созданию общепризнанной модели. Еще более сложная ситуация складывается с моделями понимания изобразительных произведений. Поэтом) изучение механизмов понимания текстов, комбинирующих вербальные и изобразшельные составляющие, сталкивается с серьезными проблемами. Предлагаемая в работе модель - первый в российской науке опыт моделирования ко[ншивны\ процессов, обеспечивающих понимание ПТ В мировой науке такие модели единичны. Поэтому безусловно важным моментом в исследовательской рабо1е является учет как достижений западных исследователей, гак и важнейших идей российских ученых, способствующих решению проблемы По некоторым причинам знакомство зарубежных ученых с достижениями их российских коллег носит в лучшем случае очень поверхностный характер. Вместе с этим сами российские ученые имеют крайне ограниченный доступ к информации о достижениях зарубежной науки. На этом фоне теоретическое моделирование процессов понимания ПТ, которое объединило учение о смысловой доминанте, разработанное в российской психолингвистике, и западные концепции рассредоточенной ментальной репрезентации, носит исключительный характер и определяет научную новизну работы. Материал, включенный автором в обзоры форматов ментальной репрезентации когнитивных моделей понимания текста и экспериментальных исследований поликодового материала, дает российским специалистам исключительную возможность доступа к информации по указанным темам. Наконец, работа демонстрирует новизну способов интерпретации экспериментальных исследований, основанных на принципах ассоциативного эксперимента.

Теоретическая значимость работы заключается в установлении закономерностей формирования полимодальных знаковых систем и в определении своеобразия механизмов их понимания. В работе предложена орш инальная модель понимания ПТ, представляющая собою определенный вклад в общ\ю теорию понимания текста. Выявление закономерностей функционирования компонентов ПТ и обнаружение специфики механизмов их понимания могут быть широко использованы в разработке поликодовых текстов самой разной (дидактической, пропагандистской, информационной и др.) направленности, что обусловливает также практическую ценность работы.

Материалом для анализа послужили франкоязычные комиксы и дидактические тексты, а также реклама из российской периодической печати.

При работе с исследуемым материалом кроме общенаучных логических были использованы следующие методы:

• метод компонентного анализа, предполагающий разложение значения на семантические составляющие на основе данных толкового словаря, ассоциативного словаря и словарей синонимов;

• метод концептуального анализа, использованный при выявлении доминантных смыслов и доминантных эмоций;

• экспериментальные методы когнитивной психологии, позволяющие установить своеобразие когнитивных механизмов, которые лежат в основе понима ния полимодальных текстов;

• статистические методы обработки данных, полученных в ходе экспериментов.

В основу защищаемой модели легли следующие положения:

1. ПТ - специфическое произведение, возникшее на основе взаимодействия в едином графическом и смысловом пространстве гетерогенных составляющих (изобразительной и вербальной).

2. Психолингвистическая модель понимания ПТ призвана эксплицировать механизмы, определяемые взаимодействием этих составляющих.

3. Наиболее адекватный формат ментальной репрезентации, необходимый для построения модели понимания ПТ, - формат рассредоточенной репрезентации, одинаково успешно используемый в коннекционисгских моделях как для распознавания изобразительного текста, так и для имитации высших когнитивных функций.

4. В свете коннекционистских идей и с учетом положений теории смысловой доминанты концепт (как базовая единица моделирования) предстает в качестве приблизительной символической интерпретации сложных процессов, отправляющихся на нейронном уровне функционирования организма.

5. Основа построения концепта - функционально возникающая специфическая конфигурация нейронной сети, ключевые узлы которой устанавливаются на основе регулярности активации сети в схожих ситуациях взаимодействия индивида со средой. Каждое новое взаимодействие связано с дестабилизацией сети и дальнейшим поиском нового относительно стабильного состояния. При этом значимость одних узлов в основе концепта может ослабевать, а шачи-мость других - усиливаться.

6. В качестве компонентов рассредоточенного концепта мог\т рассмафи-ваться хранимые в памяти индивида следы его взаимодействий со средой Символическая интерпретация этих взаимодействий позволяет выделить перцептивные, моторные и эмоциональные следы. Опыт, обогащаемый речевыми взаимодействиями, не имеет специфической нейронной основы, однако значительно повышает возможности взаимодействия между узлами сети (ее гибкость).

7. Контекст, в котором происходит становление концепта, может играть активную роль не только в активации, но и в дезактивации (ингибиции) концептов и их составляющих.

8. Использование сетевого формата рассредоточенной ментальной репрезентации позволяет выделить в процессе понимания ПТ три этапа его когнитивной обработки: первичную структурную обработку, лексическую обработку, семантическую обработку.

9. В соответствии с данными нейропсихологических исследований на > ровне первичной структурной обработки когнитивные механизмы идентификации вербальной и изобразительной составляющих подобны. В обоих случаях воспринимаемая информация сначала разлагается на отдельные черты, обработка которых ведется рассредоточенно, но не обособлено, так как между специфическими нейронами и группами нейронов существуют многочисленные связи. После параллельной и рассредоточенной обработки отдельных черт полученная информация комбинируется в ассоциативных зонах коры больших полушарии. Полученная при этом конфигурация ведет к началу следующего этапа обрабо1-ки, на котором она сравнивается с теми конфигурациями, которые уже знакомы системе на основе предыдущих перцепций.

10. Принципиальные различия в обработке гетерогенных составляющих проявляются на втором этапе понимания ПТ. Активация представлений о форме объекта, связанная с обработкой изобразительного текста, автоматически подключает семантические репрезентации, ассоциируемые с активированной формой. Активация графического образа слова, связанная с обработкой письменного вербального текста, ведет к активации лексических репрезентаций.

11. Распространение активации отличается, таким образом, для разных сосииляющих. При восприятии рисунка обработка проходит по направлению от идентификации к непосредственной активации семантических репрезентаций, а лексические репрезентации задействуются позже. При обработке вербального текста семантические репрезентации, связанные с каждым из слов, активируются уже после того, как в.обработке были задействованы лексические сеги.

12. Указанное различие имеет существенные последствия для когнитивных механизмов построения ментальной репрезентации содержания ПТ Первый этап построения базовой репрезентации поликодового вербально-изобразительного текста характеризуется преимущественным учетом содержания изобразительной составляющей. Именно содержание рисунка определяет структуру семантической сети, которая формируется за счет активации отнич узлов и ингибиции других.

13. С началом семантической обработки вербального текста концепты, совпадающие с базовыми, усиливаются, в то время как не согласующиеся с базовыми концепты преимущественно ингибируются. Поскотьку формирование баювой репрезентации содержания текста начинается еще до начала семантической обработки вербального текста, влияние последнего на ментальную репрезентацию ПТ может рассматриваться как вторичное, модулирующее.

14. Установленная специфика механизмов позволяет рассматривать ПТ как-особую разновидность сложных текстов, которая за счет использования [ рафи-ческих и вербальных компонентов представления смысловой доминанты позволяет строить ментальную репрезентацию, отличающуюся от репрезентации содержания вербального текста определенными преимуществами на уровне когнитивной обработки. Являясь более информативным, чем входящая в его состав изобразительная составляющая, ПТ жестче (по сравнению с вербальным текстом) обусловливает понимание передаваемого содержания, обеспечивая при этом лучшее его запоминание.

Кроме перечисленных теоретических положений, в ходе их эмпирической верификации был выдвинут ряд частных гипотез, фигурирующих в соогвекч-вующих параграфах глав 5, 6, 7 и 8.

Достоверность результатов обеспечивается проведением серии из 4 экспериментов с использованием разных видов поликодовых текстов (комиксо-рого, дидактического и рекламного) и разных экспериментальных методик (установление смысловой доминанты, сравнение понимания и запоминания, метод семантического дифференциала). Кроме того, изложение эмпирических данных, полученных автором, сопровождается обзором экспериментальных исследований в западной когнитологии и психолингвистике.

Результаты работы апробированы в докладах на международной научно-практической конференции «Человек - коммуникация - текст» (Алтайский ю-сударственный университет, 1998 г.), на краевой научно-практической конференции, посвященной памяти проф. И.А. Воробьевой (Алтайский государственный университет, 1998 г.), на международной научно-практической конференции «Языковая картина мира: лингвистические и культурологические аспекты» (Бийский государственный педагогический институт, 1998 г ), первой международной конференции «Россия и Китай: интеграция в сфере экономики, науки и образования» (Биробиджан, 1998 г), на всероссийской научно-практической конференции «Культура. Образование. Духовность» (Бийскии государственный педагогический институт, 1999 г.), на 13-ом международном симпозиуме по психолингвистике и теории коммуникации'(Москва, 2000 г), на межвузовской научно-практической конференции «Современное лингвистическое образование: Мир изучаемого языка» (Барнаульский государственный педагогический университет, 2000 г.), в ходе работы школы-семинара «Лингвоси-нергетика- проблемы и перспективы» (Барнаул, 2000 г. и 2001 г.), на 100-ом конгрессе Французского психологического общества (Париж, 2001 г ), на международной научно-практической конференции «Язык Культура Коммуникация» (Барнаульский государственный педагогический университет, 2002 г), на международной конференции памяти Ф М. Березина (Москва, 2004 г), на научно-практической конференции «Современные проблемы подготовки переводчиков» (Москва, 2005).

ЧАСТЬ ПЕРВАЯ: ТЕОРЕТИЧЕСКИЕ ОСНОВЫ МОДЕЛИРОВАНИЯ ПРОЦЕССОВ ПОНИМАНИЯ ПОЛИКОДОВОГО ТЕКСТА

Глава 7

АНАЛИЗ СТРУКТУРЫ ПОЛИКОДОВОГО ТЕКСТА

Заключение научной работыдиссертация на тему "Моделирование механизмов понимания поликодовых текстов"

8.4. Выводы по главе

Эксперимент, представленный в этой главе, был направлен на выявление специфики восприятия поликодового РТ, а также его гетерогенных составляющих (вербальной и изобразительной). Для получения экспериментальных данных использовался метод семантического дифференциала - испытуемые оценивали тексты по 25 однополюсным шкалам, представляющим самые разные сферы субъективной оценки текстов. Это позволило охарактеризовать использованный в эксперименте материал с точки зрения производимого на реципиента эмоционального воздействия («навязчивый», «привлекательный», «приятный»), в связи с анализом его рациональных построений («логичный», «понятный»), на основе выявления его эстетической ценности («оригинальный», «стильный», «удачный»), в связи с формальными особенностями его восприятия («яркий»), по его воздействию на чувственную сферу личности реципиента («сексуальный»).

Отбор материала и составление анкет проводились с учетом выдвинутых гипотез, которые касались восприятия гетерогенных составляющих РТ, их влияния на восприятие целого текста, а также когнитивных механизмов, лежащих в основе этих процессов.

Анализ данных (11 750 ответов, полученных в ходе опроса 94 информантов) проводился на основе сравнения средних показателей между разными видами текстов (РТ, вербальная составляющая, изобразительная составляющая) и между разными шкалами.

В ходе эксперимента не была подтверждена гипотеза, касавшаяся свойств поликодового РТ. Поскольку такой текст соединяет в едином графическом пространстве гетерогенные составляющие, предполагалось, что он должен иметь в связи с этим преимущество перед монокодовыми произведениями. В частности, ожидалось, что в проводимом эксперименте оценки по шкалам, связанным с положительной эмоциональной оценкой текста, при демонстрации полного РТ будут выше, чем при демонстрации отдельных составляющих. Сравнение проводилось по 13 соответствующим шкалам. Эксперимент показал, что наиболее заметно отличие в оценках РТ от его вербальной составляющей: оценки по РТ выше в 7 сравнениях из 13 («красивый», «оригинальный», «привлекательный», «приятный», «сексуальный», «стильный», «яркий»). Однако всего в двух случаях оценки РТ выше, чем соответствующие оценки изобразительной составляющей («возвышенный» и «добрый»). Не обнаружено никаких значимых отличий по шкалам «интересный», «радостный», «светлый» и «удачный». Таким образом, предполагаемое преимущество РТ проявилось главным образом по отношению к вербальной составляющей и только в очень незначительной степени по отношению к изображению.

Этот результат не подтверждает гипотезу об «идеальном» РТ, однако полностью согласуется с защищаемой моделью. В соответствии с ее положениями создание положительной мотивации по отношению к рекламируемому продукту осуществляется главным образом за счет изобразительной составляющей, которая выступает основой для понимания поликодового произведения. По шкалам «оригинальный», «привлекательный», «приятный», «стильный», «удачный» и «яркий» оценки РТ близки к оценкам его изобразительной составляющей, в то время как различия между РТ и вербальной составляющей по всем этим шкалам значимы.

Результаты, полученные по всем шкалам независимо от их «коннотации», вполне сопоставимы с уже представленными. Оценки изобразительной составляющей совпадают с оценками РТ чаще, чем оценки вербальной составляющей (19 из 21 уб. 13 из 21). Корреляция между оценками изображения и РТ статистически более значима. Это позволяет говорить о большей близости в восприятии РТ и его изобразительной составляющей по сравнению с вербальным текстом. На этом основании можно утверждать, что оченно изображение закладывает основу для понимания поликодового рекламного произведения, что вполне согласуется с результатами, полученными на материале комиксово-го текста [Зошпе 2003], и свидетельствует в пользу существования единого механизма, лежащего в основе понимания рекламного и комиксового текстов. Немаловажно отметить и то, что в аналогичном эксперименте, проведенном на ином рекламном материале и с иным набором шкал П.Н. Махниным, получены близкие результаты [Сонин, Махнин 2004].

Интересные результаты дало сравнение между самими гетерогенными составляющими РТ. По большинству категорий между ними обнаруживается смысловой изоморфизм (16 шкал из 21). В оставшихся пяти случаях оценки изобразительной составляющей четырежды выше соответствующих оценок вербальной составляющей. Это категории «красивый», «сексуальный», «стильный», «яркий». По категории «логичный» выше оценивается вербальный текст. Эти результаты подтверждают гипотезу о разнохарактерном воздействии гетерогенных составляющих. Как и предполагалось, изобразительная составляющая обладает большим потенциалом для привлечения непроизвольного внимания реципиента и создания у него положительного эмоционального отношения к рекламе с первых секунд ее восприятия. В вербальном тексте важней его логичность.

Что же касается категории «понятный», которая соотносилась с логичностью и предположительно в большей степени должна была проявиться в вербальной составляющей, то какой бы материал ни использовался в экспериментах, какие бы виды текста ни предлагались их участникам, последние неизменно высоко оценивают воспринимаемые тексты по шкале «понятный». Это полностью подтверждает одно из основополагающих положений российской пси-хологингвистики, согласно которой «всякое восприятие имеет значение» [Выготский 1982: 165], а субъект осмысляет даже «объективно» бессмысленное. Понимание реципиентом воспринимаемого текста связано, таким образом, не с «вычерпыванием» из него заложенных автором смыслов, а с активным процессом порождения собственных смыслов на основе воспринятого.

Одним из интересных продолжений описанного эксперимента может стать более обстоятельное изучение соотношения выраженности некоторых характеристик в РТ по сравнению с его составляющими. Некоторые результаты позволили уточнить по отношению к РТ распространенное суждение о том, что целое «не есть простая сумма его составляющих». Так, например, было обнаружено, что для категории «красивый» воздействие составляющих как бы суммируется, усиливаясь при их соединении в полном рекламном тексте. Вместе с этим было отмечено несколько категорий, которые характеризовались как «невыраженные» при демонстрации составляющих, но обнаруживались испытуемыми в самом рекламном тексте (категории «возвышенный», «добрый», «радостный» и «таинственный»). Наконец, в некоторых случаях (не) представленность определенных категорий в рекламе обусловлена только одной из составляющих (например, «сексуальный» и «стильный» были выявлены только в изобразительной составляющей).

Если в специальном исследовании проанализировать закономерность реализации категориями их «аддитивности», «эмерджентности» или «привязанности», это могло бы не только послужить развитию теоретического осмысления восприятия РТ, но и сформулировать конкретные практические предложения для специалистов по рекламе.

ЗАКЛЮЧЕНИЕ

Основные итоги проделанной работы

Главная цель настоящего исследования заключалась в построении теоретической модели понимания ПТ и ее экспериментальной верификации. Работа над моделью начиналась с изучения структурной специфики указанного средства коммуникации (глава 1). Дальнейшее исследование велось с учетом выявленных на этом этапе специфических черт структуры ПТ. Переход к непосредственной работе над моделью был осуществлен на основе анализа различных теорий ментальной репрезентации и моделей понимания текстов разной природы (глава 2). Развитие теоретических положений, отобранных по заданным структурным критериям, позволило положить их в основу предлагаемой модели понимания ПТ (глава 3). Для получения эмпирических данных, верифицирующих основные положения модели, было проведено 4 эксперимента (главы 5-8). Они позволили не только проверить выдвинутые положения о специфике речемыслительных механизмов обработки ПТ, но и внести в них необходимые дополнения и коррективы. Представление указанных экспериментов предваряется обзором экспериментальных исследований понимания ПТ в западной ког-нитологии и психолингвистике (глава 4).

Ниже анализируются основные моменты проведенной работы.

Структурная специфика поликодового текста

Анализ, направленный на установление тех структурных особенностей ПТ, которые могли бы обусловливать когнитивные механизмы его понимания, проводился по двум направлениям1 в историческом аспекте и в синхронном срезе. В ходе анализа были выявлены две центральные характеристики такого текста:

• сопряжение в нем гетерогенных составляющих (изобразительной и вербальной);

• взаимная адаптация этих составляющих с порождением знаков смешанного типа.

Проведенный анализ позволяет заключить, что специфика ПТ обусловлена взаимодействием его составляющих в большей степени, чем структурными особенностями каждой из них. Те свойства вербально-изобразительного текста, которые отличают его как от вербального текста, так и от рисунка появляются в процессе его становления на основе взаимной адаптации составляющих в едином графическом пространстве. В результате происходит формирование специфического поликодового произведения, в котором вербальный текст начинает выполнять повествовательную функцию своей графической формой, а изображение благодаря специфической структурации читается, как вербальный текст.

С одной стороны, это заключение не позволяет принять точку зрения сторонников уподобления механизмов понимания ПТ тем, что используются индивидом при чтении вербального произведения [Toussaint 1976]. С другой стороны, оно дает основание не согласиться с мнением о второстепенности роли последнего [Groensteen 1996, 1999]. Для обоснования позиции, в равной мере противостоящей каждой из приведенных точек зрения, был проведен анализ основных форматов ментальной репрезентации, используемых современной психолингвистикой. Главной целью этого анализа был поиск формата, в наибольшей степени подходящего для объяснения механизмов, лежащих в основе понимания ПТ.

Формат репрезентации

Традиционно в качестве двух основных форматов ментальной репрезентации рассматриваются пропозициональный [Kintsch 1974 и другие], используемый главным образом для анализа репрезентации содержания вербальных текстов, и образный (аналогический) [Paivio 1986 и другие], рассматриваемый как более приспособленный для объяснения специфики когнитивной обработки аналогически представленной информации. Несмотря на то, что сторонники пропозиционального формата неоднократно предпринимали попытки объяснить механизмы обработки изобразительной информации [Kintsch 1998], а адепты образной репрезентации (число которых неуклонно снижается) исследуют образный потенциал вербального произведения (см. обзор в [Denis 1989]), в большинстве исследований постулируемый формат репрезентации совпадает с форматом изучаемого текста. В изучении ПТ использование сложившейся традиции затруднено самой структурой этих произведений. С одной стороны, явно недостаточным представляется применение пропозиционального анализа к вербальной составляющей, которая участвует в смыслопорождении формой букв и своим положением в графическом пространстве текста. С другой стороны, невозможно ограничиться объяснением роли изобразительной составляющей на основе образного формата, если эта составляющая «текстуализирована» и включена в более общую структуру (комбинация текст - изображение).

Наиболее популярна у исследователей ПТ теория ментальных моделей П. Джонсона-Лэрда [Johnson-Laird 1983]. Ее привлекательность объясняется центральным постулатом, который допускает возможность трансформации первичных репрезентаций пропозиционального типа, формально близких «поверхностной структуре текста», в аналогическую образную репрезентацию на более высоких уровнях обработки информации. С позиций сторонников этой теории, рисунок, схема и другие тексты, включающие аналогические элементы, облегчают построение ментальной модели за счет формального изоморфизма с изображаемым фрагментом внешнего мира и, как следствие, с самой ментальной моделью [Gyse-linck 1996]. Однако, как бы привлекательно ни звучали основные положения этой теории, они не описывают конкретных когнитивных механизмов трансформации пропозициональных единиц в аналогическую ментальную модель. Остается неясным и то, каким образом происходит переход от аналогических элементов текста к аналогической их репрезентации.

Принципиально иное решение проблемы - именно оно использовано в работе - предложено авторами моделей в форме рассредоточенных ассоциативных сетей [Rumelhart 1989; Smolensky 1988 и другие]. Одно из существенных преимуществ таких моделей заключается в использовании при их построении современных данных о нейрофизиологических основах речемыслительной деятельности, что позволяет предлагать на их основе детальные механизмы построения ментальной репрезентации. Другое неоспоримое преимущество рассредоточенных моделей состоит в использовании единых псевдонейронных сетей для моделирования ментальной репрезентации текста любого типа - вербального, изобразительного, поликодового. Каждый концепт, входящий в ментальную репрезентацию, не является неделимой единицей (более того, с точки зрения создателей рассредоточенных сетей, речь в данном случае должна идти не о реально существующих единицах репрезентации, а о теоретических конструктах, порождаемых символьной интерпретацией физических процессов). Концепт может рассматриваться как набор элементарных компонентов - оставшихся в нейронной сети следов взаимодействия индивида с внешним миром. Совокупность таких следов составляет перцептивный, моторный, эмоциональный опыт индивида. Как следствие, активация части опыта, традиционно интерпретируемая как построение ментальной репрезентации, может осуществляться на основе как изобразительного, так и вербального текста, поскольку и тот и другой обращены к этому опыту. В связи с вышеизложенным использование рассредоточенного формата представляется наиболее адекватным для моделирования механизмов понимания ПТ.

Когнитивные механизмы понимания поликодового текста

Как уже отмечалось, предлагаемые механизмы понимания ПТ выводились с учетом его основных структурных особенностей. В частности, при построении модели учитывалось то, что ПТ включает изобразительные и вербальные компоненты. В связи с этим некоторые авторы подчеркивают исключительную важность временного интервала между квазисимультанным восприятием изобразительной составляющей и линейно-градуальным восприятием вербального текста [Пойманова 1997; Baetens & Lefevre 1993; Masson, 1985].

Когнитивная интерпретация этой специфической черты рассматривалась как приоритетная задача при построении модели понимания ПТ. Для этого постулировалось три этапа когнитивной обработки: первичная структурная обработка (идентификация), лексическая обработка и семантическая обработка. Созданная модель не относится ни к пошаговым, ни к параллельным моделям, это. - модель каскадного типа. С одной стороны, обработка включает три последовательных этапа. Операции на каждом последующем уровне не производятся, пока не начнется обработка на уровне предыдущем. С другой стороны, механизмы, запускаемые на каждом этапе обработки, могут функционировать параллельно. Полное окончание обработки на одном уровне не является необходимым условием начала обработки на другом. Кроме того, большое количество межуровневых связей позволяет операциям на последующих этапах оказывать влияние на протекание первичной обработки.

По свидетельству многих исследователей в области нейропсихологии [Damasio 1989; Hubel & Wiesel 1962], на первом этапе обработки информации существенных отличий между механизмами идентификации гетерогенных составляющих не обнаруживается. Первичная обработка текста - будь то письменный вербальный текст или изображение - состоит в разложении поступающей информации на мельчайшие компоненты, обработка которых ведется параллельно в разных участках головного мозга специализированными нейронами и группами нейронов. После первичной обработки информация комбинируется в соответствующих центрах и полученный узор активации запускает механизмы следующего этапа. Именно на втором этапе появляются различия в обработке гетерогенных составляющих. Обработка изобразительной составляющей приводит к активации семантических репрезентаций, связанных с идентифицированными формами, активируя лексические репрезентации лишь в силу инерции распространения активации либо при необходимости вербальной интерпретации увиденного [Riddoch & Humphreys 1987; Vitkovitch, Humphreys & Lloyd-Jones 1993]. Обработка вербального текста активирует в первую очередь лексические репрезентации, и лишь затем начинаются операции на семантическом уровне [ХЗегпзЬасЬег 1990; КлтсЬ 1988]. Таким образом, эволюция активаций, связанных с разными составляющими, различна.

Констатация этого отличия принципиальна для предлагаемой модели. Она позволяет заключить, что первый этап построения базовой репрезентации содержания вербально-изобразительного текста связан с семантической обработкой содержания изобразительной составляющей. Этот процесс сопровождается активацией некоторых фрагментов сети и ингибированием других. В тот момент, когда начинается семантическая обработка вербальной составляющей, незначительно сдвинутая во времени по сравнению с обработкой составляющей изобразительной, базовая структура уже установлена. Информация, содержащаяся в вербальном тексте, усваивается в зависимости от конфигурации сети, обусловленной изображением. Как следствие, предлагаемая модель признает за последним определяющую роль в понимании ПТ. Именно изображение задает исходную базовую структуру ментальной репрезентации его содержания. Вербальная составляющая лишь модулирует запущенные механизмы понимания.

Для верификации предложений, лежащих в основе модели, была проведена серия экспериментов, ключевыми в которой стали эксперименты, посвященные изучению ментальной репрезентации содержания комикса и рекламного текста. Два других эксперимента дополняли их, уточняя роль эмоциональных компонентов концепта в понимании содержания ПТ и сравнивая понимание и запоминание разных версий (вербальной и поликодовой) дидактического текста.

Интерпретация экспериментальных результатов

Первый эксперимент был направлен на подтверждение основных положений модели, сформулированных в теоретической части работы. Выдвинутые гипотезы, операционализирующие постулаты о механизмах обработки гетерогенных составляющих ПТ, касались:

• протяженности лексической и семантической сетей, формируемых при обработке содержания кадра и его составляющих,

• силы активации концептов,

• участия каждой из составляющих в построении ментальной репрезентации содержания кадра,

• * роли кадра как базовой содержательной единицы повествования, организующей понимание комикса.

Многие данные, полученные в ходе эксперимента, подтверждают выдвинутые гипотезы. Так, количество слов, использованных испытуемыми для определения содержания кадра (или его составляющих), а также лексическое разнообразие ответов значимо ниже в той группе, где испытуемым демонстрировалась изобразительная составляющая. Эти данные могут свидетельствовать о том, что при демонстрации рисунка активируется менее протяженная лексическая сеть - факт, полностью согласующийся с положением модели о непосредственном переходе от идентификации изобразительной составляющей к ее семантической обработке без промежуточной активации лексических сетей. При обработке вербальной составляющей, напротив, первоначальной активации подвергается лексическая сеть с последующей активацией всех соответствующих концептов, дискриминация которых происходит лишь после семантической обработки [ОегпзЬасКег 1990; КлтБсИ 1988]. Значение упомянутых показателей, полученных при демонстрации кадров комикса, выше, чем в группе, где демонстрировался рисунок, но ниже, чем в группе, реагировавшей на вербальный текст. Это также согласуется с предположениями, выдвинутыми на основе модели. Изобразительная составляющая выполняет стабилизирующую функцию по отношению к составляющей вербальной, а та в свою очередь обогащает информацию, полученную на основе изображения. Таким образом, комикс как разновидность ПТ предстает средством коммуникации, подающим информацию более целенаправленно, чем вербальный текст, и в то же время характеризуется большей информативностью, чем отдельно взятый рисунок.

Эти заключения подтверждаются анализом гомогенности сетей. Концептуальное ядро ментальной репрезентации (совокупность ее доминантных концептов) наиболее четко выражено в реакциях на изобразительную составляющую. При демонстрации вербальной составляющей формируемое концептуальное ядро значимо меньше, а периферийных концептов больше. Демонстрация комикса ведет к созданию специфических сетей, в которых вес доминантных концептов ниже, чем в сетях, формируемых после демонстрации изобразительной составляющей, но значимо выше по сравнению с вербальной составляющей. Другими словами, в полном соответствии с положениями предлагаемой модели обработка изобразительной составляющей ведет к построению относительно ограниченной сети с доминированием нескольких центральных концептов. Последующая семантическая обработка вербальной составляющей расширяет исходную сеть, ослабляя активацию доминантных узлов.

Важный для валидации модели результат получен при анализе количества совпадений между концептами, выделенными участниками при демонстрации комикса, и концептами, названными при демонстрации каждой из составляющих. На основе сопоставления показателей было установлено, что совпадений между кадром комикса и его изобразительной составляющей значимо больше, чем между кадром и вербальной составляющей. Иначе говоря, влияние рисунка на конечную репрезентацию содержания кадра сильней, чем влияние вербального текста. Такой результат полностью согласуется с положениями модели о том, что семантический анализ изображения опережает анализ вербального текста и формирует концептуальную базу для построения ментальной репрезентации всего кадра.

Несмотря на многочисленные результаты, согласующиеся с выдвинутыми гипотезами и подтверждающие обоснованность модели, необходимо признать, что некоторые важные вопросы, поставленные в ходе подготовки эксперимента, остались без ответа. Так, число совпадений между концептами вербальной и изобразительной составляющих крайне низко (в среднем около 20% доминантных концептов). Такой результат не может быть объяснен недостатками организации эксперимента или субъективностью, проявленной при объединении слов в смысловые группы, поскольку сходные данные были получены в экспериментах М. Корнюэжоль [Cornuéjols 2001] при сравнении ассоциаций на слова и рисунки. Опираясь на эти результаты, автор постулирует отдельное существование ассоциативных сетей, связанных с обработкой вербальной информации, и ассоциативных сетей для изобразительной информации. Такая интерпретация противоречит коннекционистским постулатам, которые были использованы для создания нашей модели и, по сути, использует для объяснения полученных данных теорию двойного кодирования [Paivio 1986; Clark & Paivio 1991]. Между тем, начиная со знаменитой статьи 3. Пилишина и по сей день, эта теория является объектом серьезной критики, опирающейся как на теоретические доводы, так и на экспериментальные данные. Не вдаваясь в долгие перечисления, можно отметить, что многочисленные результаты, полученные М. Хегарти и М. Джастом [Hegarty & Just 1993], доказали, что при чтении иллюстрированного текста читатель строит не две независимые репрезентации, а единую репрезентацию, которая включает в себя информацию, исходящую из двух гетерогенных источников. Авторы также подчеркивают, что интеграция осуществляется немедленно, на локальном уровне. Наконец, интерпретация, основанная на постулате о существовании двух типов ассоциативных сетей (вербальной и образной), не позволяет ответить на ключевой вопрос, поставленный в ходе анализа результатов проведенного эксперимента: на какой основе происходит взаимодействие между составляющими при построении ментальной репрезентации содержания ПТ комикса, если концепты, представленные рисунком и вербальным текстом, имеют столь мало общего. В самом деле, эксперимент показал, что сеть, активируемая при демонстрации комикса, имеет меньшую протяженность и более сильное концептуальное ядро, чем сеть, создаваемая при восприятии отдельно взятой вербальной составляющей. Если концептуальная общность между составляющими низка, то такой результат выглядит более чем парадоксально.

Возможное объяснение этого парадокса было подсказано результатами категориального анализа, показавшего, что в отличие or других категорий компонентов концепта, эмоциональный компонент в равной мере представлен обеими составляющими, а частотность эмоциональных реакций на комикс значимо выше, чем число таких реакций на составляющие. Другими словами, важнейшим фактором связности гетерогенных составляющих ПТ может быть признана выражаемая ими эмоция. Экспериментальное исследование было продолжено в этом направлении.

Организационно второй эксперимент был подобен первому, однако новое экспериментальное задание предлагало участникам определить не содержание кадра, а выражаемую в нем эмоцию. Согласно центральной гипотезе, одновременное использование двух составляющих для выражения доминантной эмоции должно позволить комиксу выражать эту эмоцию более целенаправленно по сравнению с его отдельными компонентами. Для интерпретации результатов второго эксперимента было использовано пять разных процедур, направленных на верификацию четырех частных предположений, вытекающих из основной гипотезы. Для установления значения первых трех показателей подсчитывалось и анализировалось количество ответов, полученных в каждой группе. Еще два показателя вычислялись на основе сравнения ответов участников разных групп

Полученные результаты вполне согласуются с экспериментальными ожиданиями. В частности, на этот раз наименьшее количество слов, приходящихся на ответ, и наименьшее лексическое разнообразие ответов характеризуют реакции, полученные на демонстрацию кадров комикса. Это дает основания заключить, что ПТ, позволяющий определить доминантную эмоцию, используя наименьшее количество слов, передает эту эмоцию недвусмысленно, более целенаправленно, чем его составляющие. Кроме того, показатель гомогенности ответов испытуемых более высок, чем тот же показатель в группах, где демонстрировалась одна из составляющих. Все три показателя подтверждают центральную гипотезу, указывая на то, что доминантная эмоция задана в комиксе более жестко, чем в его отдельно взятых составляющих. Эти результаты согласуются с результатами, полученными Р. Спиро, А. Крисмором и Т, Тернером [Spiro, Crismore & Turner 1982], которые обнаружили, что использование эмоционально окрашенных иллюстраций служит дополнительным источником внутритекстовой связности, вводя определенную эмоциональную точку отсчета для интерпретации всей информации, представленной в тексте.

К важным результатам эксперимента может быть отнесено значение показателя совпадений между ответами участников, которым предлагались отдельно взятые составляющие. Уровень совпадений между эмоцией, выраженной в тексте, и эмоцией, представленной в рисунке, колеблется от 86,8% до 96,4%. При этом в первом эксперименте, в ходе которого испытуемые определяли содержание кадра, значение соответствующего показателя в среднем не превышало 20% ответов. Это позволяет заключить, что доминантная эмоция, выраженная в каждой из составляющих комикса, - важнейший фактор их связности и основа построения ментальной репрезентации содержания ПТ. Таким образом, объяснение, выдвинутое на основе результатов первого эксперимента, подтверждено.

Обнаруженные особенности ментальной репрезентации, формируемой при восприятии ПТ, должны были проявиться в третьем эксперименте, который был направлен на сравнение понимания и запоминания вербальной и поликодовой версий одного дидактического текста. В соответствии с предложенной моделью и на основе результатов первого эксперимента, подтверждающих ее положения, была сформулирована гипотеза, согласно которой ментальная репрезентация содержания ПТ должна представлять определенные преимущества с точки зрения связанных с ней когнитивных операций по сравнению с ментальной репрезентацией, полученной на основе прочтения вербального текста.

Для проверки этого предположения было создано две версии рецепта приготовления миндального печенья. Результаты проведенных сравнений их понимания и запоминания можно считать вполне удовлетворительными. Количество правильных ответов, которые дали испытуемые, ознакомленные с поликодовой формой рецепта, превосходит количество правильных ответов, данных испытуемыми, читавшими вербальный текст. Еще один существенный результат был получен при внутригрупповом сравнении ответов участников, читавших ПТ. Было установлено, что ответы на вопросы, которые касались содержания, представленного в поликодовой форме (рисунок + текст), более точны, чем ответы на вопросы, относящиеся исключительно к вербальной информации. Это не только подтверждает положения защищаемой модели, но и опровергает гипотезы, основанные на теории ментальных моделей. Согласно этим гипотезам, демонстрация рисунка должна упрощать построение ментальной модели изображаемого фрагмента действительности и, как следствие, облегчать доступ к любой информации, связанной с этим фрагментом, включая информацию, не представленную эксплицитно на рисунке [Johnson-Laird 1983; Gyselinck 1995, 1996]. Однако эксперимент показал, что лучше усваивается именно та информация, которая представлена в поликодовой форме.

Последний из четырех экспериментов проводился с использованием в качестве материала рекламных текстов, а также с опорой на метод семантического дифференциала - испытуемые оценивали тексты по 25 однополюсным шкалам, представляющим самые разные сферы субъективной оценки текстов. Суть выдвинутых гипотез вновь сводилась к ожиданию большей корреляции между полной версией поликодового (рекламного) текста с его изобразительной составляющей, нежели с вербальным текстом. Результаты эксперимента показали, что в полном соответствии с положениями выдвигаемой модели создание положительной мотивации по отношению к рекламируемому продукту осуществляется главным образом за счет изобразительной составляющей, которая выступает основой для понимания поликодового произведения. По шкалам «оригинальный», «привлекательный», «приятный», «стильный», «удачный» и «яркий» оценки рекламного текста близки к оценкам его изобразительной составляющей, в то время как различия между рекламой и её вербальной составляющей по всем этим шкалам значимы. Кроме того, по совокупности всех шкал независимо от их «коннотации» корреляция между оценками изображения и рекламного текста статистически более значима. Это позволяет говорить о большей близости в восприятии рекламы и его изобразительной составляющей по сравнению с вербальным текстом. Таким образом, последний эксперимент подтвердил результаты предыдущих на новом материале и с опорой на новую методику.

Перспективы исследования

Среди перспективных направлений развития представленного исследования центральное место должно быть отведено изучению роли кадра и влияния покадрового расчленения повествования на понимание ПТ. Результаты эксперимента, представленного в главе 5, оказались противоречивыми в части исследования роли кадра и не позволили сделать окончательных выводов по этой проблеме. Поэтому указанный эксперимент должен быть дополнен с учетом методологических проблем, которые были выявлены в ходе его проведения (С/, выводы по главе 5). Кроме того, серьезно повысить валидность результатов эксперимента могли бы измерения времени реакции испытуемых. Несомненно, этот фактор помог бы выяснить, насколько покадровая разбивка оптимизирует действие когнитивных механизмов, лежащих в основе понимания текста

Другое направление исследования связано с развитием методики эксперимента, представленного в главе 6. Первым шагом в этом направлении мог бы стать сравнительный анализ разных ПТ, устанавливающий степень эмоционального изоморфизма изобразительной и вербальной составляющих. Эга работа может осуществляться на основе уже предложенного эксперимента из главы 6. Затем проанализированный материал может использоваться в эксперименте, определяющем степень понимания и запоминания содержания текстов, по аналогии с экспериментом, описанном в главе 7 Такой эксперимент позволит судить о зависимости протекания когнитивных механизмов понимания 01 степени эмоциональной связности между составляющими.

Эксперимент, направленный на сравнение понимания и запоминания вербальной и поликодовой версий дидактического текста, может получить развитие за счет углубления исследований целесообразности использования ПТ в качестве дидактического инструмента, рекламного инструмента или инструмента пропаганды. Проведенный анализ экспериментальных сравнений эффективности вербальных и поликодовых текстов показывает, что результаты, полученные разными исследователями, нередко противоречивы и не позволяют окончательно заключить ни о более высокой эффективности ПТ [ЯоЬЫпб 1983; Кетиет 1990; von Hoff & Wilson 1984], ни об отсутствии их преимуществ перед текстом вербальным [Duchastel 1981; Reid & Beveridge 1986; Zalud 1985]. По-видимому, полученные результаты могут зависеть от многих факторов: тип текста, возраст испытуемых, уровень их знаний по теме, освещаемой в ПТ, уровень их навыков в работе с ПТ и других. Таким образом, углубление может производиться на основе введения значительно большего количества факторов в экспериментальный план, а также на основе контроля времени ответов испытуемых.

Наконец, интересным вариантом развития эксперимента с рекламой, в котором был использован метод семантического дифференциала, может стать уточнение влияния гетерогенных составляющих на представление о рекламном тексте по каждой отдельной категории. При этом особого внимания заслуживают те случаи их взаимодействия, когда категория характеризует ПТ, но не отмечается реципиентами в его отдельно взятых составляющих.

В целом проделанная работа позволяет представить ПТ как специфическое средство коммуникации, требующее для его понимания формирования особых когнитивных механизмов. Построение модели, которая могла бы отразить функционирование этих механизмов, определило как содержание, так и структуру работы. На основе теоретического анализа, состоявшего в изучении структурной специфики ПТ, в исследовании проблемы формата ментальной репрезентации, а также в ознакомлении с современными моделями понимания текста, были намечены основные постулаты, положенные в основу оригинальной модели понимания ПТ. Дальнейшая верификация этих постулатов проводилась при помощи четырех экспериментальных исследований, в которых использовались разные виды ПТ (развлекательный комиксовый, дидактический и рекламный) и разные экспериментальные методики (установление смысловой доминанты, сравнение понимания и запоминания, метод семантическою дифференциала). Очевидно, что эти исследования лишь обозначили некоторые возможные направления в изучении проблемы понимания ПТ. Даже если многие из изложенных результатов сопоставимы с результатами, полученными другими исследователями, они, конечно же, недостаточны и не позволяют сделать окончательных выводов относительно когнитивных механизмов, постулируемых предложенной моделью. Однако разнообразие предложенных путей исследований позволяет автору выразить определенный оптимизм в отношении их перспектив.

Список научной литературыСонин, Александр Геннадиевич, диссертация по теме "Теория языка"

1. Анисимова Е.Е. Лингвистика текста и межкультурная коммуникация: на материале креолизованных текстов: учебное пособие. М.: Академия, 2003.

2. Бабенко Л.Г. Лексические средства обозначения эмоций в русском языке. Свердловск: Изд-во Урал, ун-та, 1989.

3. Беляевская Е.Г. Когнитивные основания изучения семантики слова // Структуры представления знаний в языке. М., 1994. С. 87-110.

4. Бехтерева Н.П., Гоголицын Ю.Л., Кропотов Ю Д., Медведев C.B. Нейрофизиологические механизмы мышления. Л., 1985.

5. Выготский Л.С. Проблема сознания. Собрание сочинений: В 6-ти т. Т. 1. Проблемы общей психологии/Под ред. В.В. Давыдова М.: Педагогика, 1982.

6. Выготский Л.С. Собр. соч. в 6-и т. Т.З. - Проблемы развития психики. - М.: Педагогика, 1983.

7. Герман И. А., Пищальникова В.А. Введение в лингвосинергетику. Барнаул, 1999.

8. Головина Л.В. Взаимовлияние иконических и вербальных знаков при смысловом восприятии текстов. Дисс. . канд. филол. наук. М., 1986.

9. Горелов И.Н. Проблема функционального базиса речи в онтогенезе. -Челябинск, 1974.

10. Горелов И.Н. Невербальные компоненты коммуникации. М.: Наука, 1980.

11. Горелов И.Н., Седов К.Ф. Основы психолингвистики. М.: Лабиринт, 1997.

12. Залевская A.A. Понимание текста: психолингвистический подход. Калинин: Калининградский гос. ун-т, 1988.

13. Кинцель A.B. Психолингвистическое исследование эмоционально-смысловой доминанты как текстообразующего фактора: Монография. Барнаул: Изд-во Алт. Ун-та, 2000.

14. Кромптон А. Мастерская рекламного текста. М.: Издат. дом «Довгань», 1998

15. Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. М.: Прогресс, 1980. С. 34-48.

16. Лабунская В.А. Невербальное поведение (социально-перцептивный подход). Ростов-на-Дону: Изд-во Ростовского университета, 1986.

17. Леви Ю.Э. Вербальные и невербальные средства воздейственности рекламного текста. Дисс. . канд. филол. наук. М., 2003.

18. Леонтьев A.A. Язык, речь, речевая деятельность. М., 1969.

19. Леонтьев А.Н. Деятельность. Сознание. Личность/Избранные психологические произведения: В 2-х т. Т. 2 М.: Педагогика, 1983. с. 94-231.

20. Мохамед Н.В. Психолингвистическое исследование процессов понимания текста. Автореферат дисс. . д-ра филол. наук. Уфа, 2000.

21. Музыкант В.Л. Рекламный текст и эмоции человека//Психология и психоанализ рекламы личностно-ориентированный подход: учебное пособие для факультетов психологии, социологии, экономики и журналистики. Редактор-составитель Д.А. Райгородский, Самара, 2001

22. Мягкова Е.Ю. Эмоциональная нагрузка слова. Опыт психолингвистического исследования. Воронеж, 1990.

23. Ожегов С.И., Шведова Н.Ю. Толковый словарь русского языка. М.: АЗЪ, 1992.

24. Петренко В.Ф. Основы психосемантики. М., 1997

25. Петренко В.Ф. Психосемантика сознания. М,: МГУ, 1988.

26. Петренко В.Ф., Кучеренко В.В. Взаимосвязь эмоций и цвета// Вестник МГУ -Серия 14: Психология, 1988 N 3, с. 70-81.

27. Пиз А. Язык телодвижений: Как читать мысли других по их жестам. СПб: Издат. дом Гутенберг, 1996.

28. Пищальникова, В.А. Общее языкознание: Учебное пособие. Барнаул- Изд-во Алт ун-та, 2001.

29. Пищальникова В.А. Психопоэтика. Барнаул: Изд-во Алт ун-та, 1999.

30. Плужников М.С., Рязанцев C.B. Среди запахов и звуков. М,: Молодая гвардия, 1991.

31. Пойманова О.В. Семантическое пространство видеовербального текста Дисс. . канд. филол. наук. М., 1997.

32. Портнов А.Н. Язык и сознание: основные парадигмы исследования проблемы в философии XIX XX вв. - Иваново, 1994.

33. Русский ассоциативный словарь. Книга 1. 4.1. / Ю.Н.Караулов, Ю.А.Сорокин, Е.Ф.Тарасов, Н.В.Уфимцева, Г.А.Черкасова. М.: Помовский и партнеры, 1994.

34. Русский ассоциативный словарь. Книга 3 4 2./ Ю.Н.Караулов, Ю А Сорокин, Е.Ф.Тарасов, Н.В.Уфимцева, Г.А.Черкасова. М.: «ИРЯ РАН», 1996

35. Сазонов В.В., Шошников К.В. О соотношении вербальной и визуальной информации в прессе. М.: Изд-во МГУ, 1975.

36. Соколов Е.Н. Нейронные механизмы памяти и обучения. М., 1981

37. Соломоник А. Семиотика и лингвистика. М.: Молодая гвардия, 1995.

38. Сонин А.Г. Комикс: психолингвистический анализ: Монография / Под ред В.А.Пищальниковой. Барнаул: Изд-во Алт. ун-та, 1999.

39. Сонин А.Г. Когнитивная лингвистика: становление парадигмы: Монография. -Барнаул, Изд-во Алт. ун-та, 2002.

40. Сонин А.Г., Махнин П.Н. Экспериментальное исследование восприятия изобразительно-вербальных рекламных текстов//Вопросыпсихолингвистики. Москва, 2004. № 2. С. 77-91.

41. Сорокин Ю.А. Психолингвистические аспекты изучения текста: Монография. М.: Наука, 1985.

42. Сорокин Ю.А., Тарасов Е.Ф. Креолизованные тексты и их коммуникативная функция// Оптимизация речевого воздействия. М.: Наука, 1990.

43. Сыроваткин С.Н., Гарифулин Л.Б. Введение в современную лингвистик>. Челябинск, 1973.

44. Уэллс У., Бернет Дж., Мориарти С. Реклама: принципы и практика: Пер с англ -СПб.: «Питер», 1999.

45. Щекин Г.В. Визуальная психодиагностика и ее методы. 4.1 Киев: ВЗУУП, 1992.

46. Щекин Г.В. Визуальная психодиагностика и ее методы. 4.2. Киев: ВЗУУП, 1992.

47. Anderson, J. R. (1978). Arguments concerning representations for mental imagery, Psychological Review, 85, 249-277.

48. Anderson, J. R. (1983). The Architecture of Cognition Harvard University Press, Cambridge.

49. Anderson, J. R., & Bower, G. H. (1973). Human associative memory, Washington, ОС, Winston.

50. Anderson, J. R., & Paulson, R. (1978). Interference in memory for pictorial information, Cognitive Psychology, 10, 178-202.

51. Anglin, G. J., & Stevens, J. T. (1986). Prose-relevant pictures and recall from science text. Perceptual and Motor Skills, 63, 1 143-1148.

52. Baddeley, A. (1992). Working memory. Science, 255, 556-559.

53. Baddeley, A. (1998). Human memory Boston, MA: Allyn and Bacon.

54. Baetens, J., & Lefèvre, P. (1993). Pour une lecture moderne de la bande dessinée Amsterdam Bruxelles: Sherpa - CBBD.

55. Baird, J. C. (1970). Psychophysical analysis of visual space. New York: Pergamon Press

56. Barclay, J. R., Bransford, J. D., Franks, J. J, McCarrell, N. S., & Nitsch, K. (1974). Comprehension and semantic flexibility. Journal of Verbal Learning and Verbal Behavior, 13,471-481.

57. Bechtel, W. and Abrahamsen, A. (1990). Connectionism and the Mind: An Introduction to Parallel Processing in Networks, Cambridge, Mass : Blackwell

58. Bechtel, W., & Abrahamsen, A. (1993). Le connexionisme et l'esprit Innoduaion au traitement parallèle par réseaux. Paris : Editions de la découverte.

59. Benveniste, E. (1966). Problèmes de linguistique générale, I, Paris, Gallimard.

60. Bernard, R. M., Petersen, C. H., & Ally, M. (1981). Can images provide contextual support for prose? Educational Communication and Technology Journal, 29 (2), 101-108.

61. Blanc, N. & Tapiero, I. (2002). Construire une représentation mentale à partir d'un texte : le rôle des illustrations et de la connotation des informations. Bulletin de Psychologie, 55 (5), 525-535.

62. Block, N. (1986). Advertisement for a Semantics for Psychology. In P.A. French, T.E. Uehling, & H.K. Wettstein (Eds), Midwest Studies in Philosophy (pp 615678), Vol X, Minneapolis: University of Minnesota Press.

63. Boghossian, P.A. (1995). Content. In J. Kim, & E. Sosa (Eds), A Companion to Metaphysics (pp 94-96), Oxford: Blackwell Publishers Ltd.

64. Bower, G. H. (1981). Mood and memory. American Psychologist, 36, 129-148

65. Bower, G. H., Gilligan, S. G., & Monteiro, K. P. (1981). Selectivity of learning caused by affective states. Journal of Experimental Psychology, 110 (4), 451-473.

66. Bower, G.H., & Cohen, P.R. (1982). « Emotional influences in memory and thinking-data and theory ». In M.S. Clark & S T. Fiske (Eds.), Ajject and Cognition, (pp. 291-332). Hillsdale, NJ: Lawrence Erlbaum.

67. Bower, G.H., Monteiro, K.P., & Gilligan, S.G. (1978). Emotional mood as a context for learning and recall. Journal of Verbal Learning and Verbal Behavior, 17, 573585.

68. Bransford, J. D., & Johnson, M. K. (1972). Contextual prerequisites for understanding: some investigations of comprehension and recall. Journal of Verbal Learning and Verbal Behavior, 4 (2), 717-726.

69. Bruner, J. S. (1964). The course of cognitive growth, American Psychologist, 19, 115.

70. Cavazza, M. (1993). Modèles mentaux et sciences cognitives, In M.-F. Ehrlich, H. Tardieu, M. Cavazza (Eds). Les modèles mentaux approche cognitive des représentations (pp. 121-141). Paris : Masson.

71. Chalmers, D. (1993). Connectionism and compositionality: why Fodor and Pylyshyn were wrong, Philosophical Psychology, 6, 305-319.

72. Chandler, P., & Sweller, J. (1991). Cognitive load theory and the format of instruction. Cognition and Instruction, 8, 293-332

73. Changeux, J.-P. (1983). L'homme neuronal Paris: Fayard.

74. Channouf, A. & Rouan, G. (Eds). (2002). Emotions et cognitions. Bruxelles : De Boeck Université.

75. Chase, W. G., & Clark, H. H. (1972), Mental operations in the comparison of sentences and pictures. In L. W. Gregg (Ed.), Cognition in learning and memory (p. 205-232), New York, Wiley.

76. Clark, J. M., & Paivio, A. (1991). Dual coding theory and education. Educational Psychology Review, 3 (3), 149-210.

77. Collins, A. M., & Loftus, E. F. (1975). A spreading activation theory of semantic processing. Psychological Review, 82 (6), 407-428.

78. Collins, A. M., & Quillian, M. R. (1969). Retrieval time from semantic memory Journal of Verbal Learning and Verbal Behavior, 8 (2), 240-247.

79. Cornuéjols, M. (2001). Sens du mot, sens de l'image. Paris : L'Harmattan.

80. Corson, Y. (1991). Processus d'activation sémantique rôle des concepts et des contextes. Thèse de Doctorat d'Etat. Université de Paris 8.

81. Cox, R., & Brna, P. (1995). Supporting the use of external representations in problem solving: the need for flexible learning environments. Journal oj Artificial Intelligence in Education, 6 (2/3), 239-302

82. Damasio, A. R. (1989). Time-locked multiregional retroactivation: A systems-level proposal for the neural substrates of recall and recognition. Cognition, 33, 25-62.

83. Damasio A. R., & Tranel, D. (1992). Knowledge systems. Current Opinion m Neurobiology, 2, 186-190.

84. Dean, R. S., & Enemoh, P. A. C. (1983). Pictorial organization in prose learning. Contemporary Educational Psychology, 8, 20-27.

85. Dean, R. S., & Kulhavy, R. W. (1981). Influence of spatial organization in prose learning. Journal of Educational Psychology, 73 ( 1 ), 57-64.

86. Delesse, C. (1994). Image, texte, métaopération Thèse de doctorat. Université de Paris 3.

87. Denhière, G. (1975). Mémoire sémantique, conceptuelle ou lexicale ? Langages, 40, 41-73.

88. Denhière, G., & Baudet, S. (1992). Lecture, compréhension de textes et science cognitive Paris: Presses Universitaires de France.

89. Denis, M. (1989). Image et cognition Paris: Presses Universitaires de France.

90. Dretske, F. (1981). Knowledge and the Flow of Information, Cambridge, Massachusetts: MIT Press.

91. Duchastel, P. C. (1981). Illustrations in text: a retentional role. Programmed Learning and Educational Technology, 18(1), 11-15.

92. Dwyer, F.M. (1970). Exploratory studies in the effectiveness of visual illustrations. Communication Review, 18,235-249.

93. Dwyer, F.M. (1978). Strategies for Improving Visual Learning. State College, Pennsylvania: Learning Services.

94. Ekman, P. (1994). Strong evidence for universals in facial expressions: A reply to Russell's mistaken critique. Psychological Bulletin, 115, 268-287

95. Falkenhainer, B., Forbus, K. D., & Gentner, D. (1989). The structure-mapping engine-algorithm and examples. Artificial Intelligence, 41, 1-63.

96. Feyereisen, P. & Lannoy, J.-D de. (1985). Psychologie du geste Biuxelles. Mardaga.

97. Fodor, J A. (1975). The Language of thought Cambridge, Massachusetts: Harvard University Press

98. Fodor, J.A. (1987). Psychosemantics. The Problem of Meaning in the Philosophy of Mind, MIT Press, Cambridge, Mass.

99. Fodor J. A., & Pylyshyn Z. W. (1988). Connectionism and cognitive architecture : a critical analysis, Cognition, 28, 3-71.

100. Forgas, J. P. (1995). Mood and judgement : the Affect Infusion Model (AIM). Psychological Bulletin, 117, 1-28.

101. Forgas, J.P. (1999). « Network Theory and Beyond ». In T. Dalgleish & M. Power (Eds.), Handbook of Cognition and Emotion. Chap. 28, (pp. 591-611). Chichester Wiley.

102. Fraisse, P. (1974). Mémoire de dessins et de phrases en fonction de la durée de présentation. L'Année psychologique, 74, 145-156.

103. Fresnault-Deruelle, P. (1971). Aux frontières de la langue: les onomatopées dans la BD. In Les cahiers de lexicologie, (pp. 79-88). Larousse.

104. Friedman, A., & Bouffie, L. E., Jr. (1976). Encoding the levels of information in pictures and words, Journal of Experimental Psychology: General, 105, 169-190.

105. Gernsbacher, M. A. (1990). Language comprehension as structure building. Hillsdale, N. J.: Lawrence Erlbaum.

106. Gernsbacher, M. A. (1996). «The structure-building framework: What it is, what it might also be, and why ». In B. K. Britton & A. C. Graesser (Eds.), Models of understanding text, (pp. 289-311). Hillsdale, N. J. : Lawrence Erlbaum.

107. Gernsbacher, M. A., & Faust, M. (1990). Fine-tuning in the activation of lexical representations during comprehension. In G. B. Simpson (Ed.), Comprehending word and sentence. Amsterdam: North Holland.

108. Gernsbacher, M. A., & Faust, M. (1991). The mechanism of suppression, a component of general comprehension skill. Journal of Experimental Psychology Learning, Memory and Cognition, 17, 245-262.

109. Glenberg, A. M., & Langston, W. E. (1992). Comprehension of illustrated text : Pictures help to build mental models, Journal of Memory and Language, 31, 129151.

110. Greimas, A.G. (1986). Sémantique structurale. Paris: Presses Universitaires de France. (Collection «Formes sémiotiques»).

111. Grevisse, M. (1993). Le bon usage Grammaire française avec des remarques sur la langue française d'aujourd'hui. Paris : Duculot.

112. Groensteen, T. (1996). Système de la bande dessinée. Thèse de doctorat. Université de Toulouse 2.

113. Groensteen, T. (1999). Système de la bande dessinée. Paris : Presses Universitaires de France.

114. Gyselinck, V. (1995). Les modèles mentaux dans la compréhension de textes■ le rôle des illustrations. Thèse de doctorat. Université de Paris 5.

115. Gyselinck, V. (1996). Illustrations et modèles mentaux dans la compréhension de textes. L'Année Psychologique, 96, 495-516.

116. Hayes, D.S., & Birnbaum D.W. (1980). Preschooler's retention of televised events: Is a picture worth a thousand words? Developmental Psychology, 16 (5), 410-416.

117. Hebb, D. 0. (1949). The organization of behavior, a neuropsychological theory New York : Wiley.

118. Hegarty, M., & Just, M.A. (1993). Constructing mental models of machines from text and diagrams. Journal of Memory and Language, 32, 717-742.

119. Hinton, G. (Ed.) (1991). Connectionist Symbol Processing, Cambridge, Mass : MIT Press

120. Hollan, J. (1975). Features and semantic memory : Set theoretic or network model9 Psychological Review, 82, 154-155.

121. Hubel, D. H., & Wiesel, T. N. (1962). Receptive fields, binocular interaction and functional architecture in the cat's visual cortex. Journal of Physiology, 160, 10654.

122. Jackendoff, R. (1983). Semantics and Cognition Cambridge : MIT Press.

123. Johnson-Laird, P. N. (1980). Mental models in cognitive science. Cognitive Science, 4,71-115.

124. Johnson-Laird, P. N. (1983). Mental Models Cambridge: Cambridge University Press.

125. Johnson-Laird, P.N. (1993). « La théorie des modèles mentaux ». In M.-F. Ehrlich, H. Tardieu, M. Cavazza (Eds.). Les modèles mentaux approche cognitive des représentations, (pp. 1 -22). Paris : Masson.

126. Just, M. A. & Carpenter, P. A. (1987). The psychology of reading and language comprehension. Boston, MA: Allyn and Bacon, Inc.

127. Just, M. A., & Carpenter, P. A. (1992). A capacity theory of comprehension: Individual differences in working memory. Psychological Review, 99 (1), 122-149.

128. Kapra, F. (1996). The Web of Life: A New Scientific Understanding of Living Systems. Anchor Books Ed.

129. Katz J. J. (1972). La philosophie du langage, Paris, Payot.

130. Katz, J.J., & Fodor, J. A. (1963). Structure of a semantic theory, Language, 38, pp. 170-210.

131. Kintsch, W. (1974). The representation of meaning in memory Hillsdale, N.J.: Erlbaum.

132. Kintsch, W. (1986). Learning from text, Cognition and Instruction, 3, 87-102.

133. Kintsch, W. (1988). The role of knowledge in discourse comprehension: A construction-integration model. Psychological Review, 95 (2), 163-182.

134. Kintsch, W. (1998). Comprehension A paradigm for cognition Cambridge : Cambridge University Press.

135. Kintsch, W., & van Dijk, T. A. (1978). Toward a model of text comprehension and production. Psychological Review, 85 (5), 363-394.

136. Kolp, M. (1992). Le langage cinématographique en BD. Paris: Ed. de l'Université de Bruxelles.

137. Kosslyn, S. M. (1975). Information representation in visual images. Cognitive Psychology, 7, 341-370.

138. Kosslyn, S. M. (1994). Image and brain The resolution or the imagery debate Cambridge, MA : MIT Press.

139. Doux, J.E. (1995). Emotion : Clues from the Brain. Annual Review oj Psychology, 46, 209-235.

140. Ny, J.-F. (1979). La Sémantique Psychologique. Paris : Presses Universitaires de France.

141. Marr, D. (1982). Vision. San Francisco: Freeman

142. Marschark, M., Richman, C. L., Yuille, J. C"., & Hunt, R. R. (1987) The role of imagery in memory : On shared and distinctive information, Psychological Bulletin, 102,28-41.

143. Marshall, J. C., & Newcombe, F. (1973). Patterns of paralexia: A psycholinguistic approach. Journal of Psycholinguistic Research, 2 (3), 175-199.

144. Martins, D. (1993). Les facteurs affectifs dam la compréhension et la mémorisation des textes. Paris : PUF, coll. « Le psychologue ».

145. Masson, P. (1989). B.D. et critique (Autour de la relation texte-image). Europe, 720, 47-53.

146. Maturana, H.R. (1978). «Biology of Language: The Epistemology of Reality ». In G.A. Miller & E. Lenneberg (Eds.), Psychology and Biology oj Language and Thought, (pp. 27-63). New York: Academic Press.

147. Maturana, H.R., Mpodozis, J., & Letelier, J. C. (1995). Brain, Language and the Origin of Human Mental Functions. Biological Research, 28, 15-26

148. Mayer, R. E. (1997). Multimedia learning: Are we asking the right questions? Educational Psychologist, 32, 1-19.

149. Mayer, R.E. (2001). Multimedia learning New York: Cambridge University Press.

150. Mayer, R.E. (2003). The promise of multimedia learning: using the same instructional design methods across different media. Learning and Instruction, 13, 125139.

151. McClelland, J. L., & Rumelhart, D. E. (1981). An interactive activation model of context effects in letter perception: Part 1. An account of basic findings Psychological Review, 88, 375-407.

152. McCulloch, W., et Pitts, W., 1943, A Logical Calculus of the Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, 5, pp. 115-133.

153. Minsky, M., & Papert, S. (1969). Perceptrons. Cambridge, Massachusetts: The MIT Press.

154. Moran, L. J., & Swartz, J. D. (1970). Longitudinal study of cognitive dictionaries from ages nine to seventeen. Developmental Psychology, 3(1), 21-28.

155. Morris, D., Dubois, Y., & Mauvais, Y. (1978). La clé des gestes. Paris : B. Grasset.

156. Morton, J. (1969). Interaction of information in word recognition. Psychological Review, 76 (2), 165-178.

157. Mowrer, O. H. (1960), Learning theory and the symbolic processes, New York, John Wiley & Sons.

158. Neisser, U. (1967). Cognitive psychology New York, Appleton-Century-Crofts

159. Nelson, D. L., Reed, V. S., & McEvoy, C. L. (1977). Learning to order pictures and words : A model of sensory and semantic encoding, Journal of Experimental Psychology : Human Learning and Memory, 3, 485-497.

160. Newell, A. (1990) Unified theories of cognition. Cambridge, MA, Harvard University Press.

161. Niedenthal, P., Dalle, N. & Rohmann, A. (2002). « Emotion et cognition sociale ». In A. Channouf & G. Rouan (Eds), Emotions et cognitions, (pp. 141-166). Bruxelles : Editions De Boeck Université.

162. Nissen, M. J., Ross, J. L., Willingham, D. B., Mackenzie, T. B., & Schacter, A. (1988). Memory and awareness in a patient with multiple personality disorder. Brain & Cognition. 8 (1), 117-134.

163. Norman, D. A., & Rumelhart, D. E. (1975). Explorations in cognition San Francisco, W. H. Freeman.

164. O'Keefe E.J., & Solman, R.T. (1987). The influence of illustrations on children's comprehension of written stories. Journal of Reading Behavior, 19 (4), 353-377.

165. Paivio, A. (1966), Latency of verbal associations and imagery to noun stimuli as a function of abstractness and generality, Canadian Journal of Psychology, 20, 378387.

166. Paivio, A. (1971). Imagery and verbal processes New York: Wiley.

167. Paivio, A. (1975). Neomentalism, Canadian Journal of Psychology, 29, 263-291.

168. Paivio, A. (1986). Mental representations A dual-coding approach. New York: Oxford University Press.

169. Paivio, A., & Csapo, K. (1973). Picture superiority in free recall: Imagery or dual coding ? Cognitive Psychology, 5, 176-206.

170. Peek, J. (1994). « The perspective-inducing function of text illustrations ». In H. van Oostendorp & R. A. Zwaan (Eds.), Naturalistic text comprehension, (pp. 135148). Norwood, N.J, Ablex.

171. Peeters, B. (1993). La bande dessinée • un exposé pour comprendre, un essai pour réfléchir. Paris : Flammarion.

172. Pennacchioini, I. (1982). La nostalgie en images (une sociologie du récit dessiné), préfacé de P. Naville. Paris : Librairie des Méridiens.

173. Penney, C.G. (1989). Modality effect and the structure of short-term memory. Memory and cognition, 17, 389 422.

174. Perrig, W., & Kintsch, W. (1985). Prepositional and situational representations of text, Journal of Memory and Language, 24, 503-518.

175. Piaget, J., & Inhelder, B. (1966). L'image mentale chez l'enfant, Paris, PUF

176. Pichert, J W., & Anderson R.C. (1977). Taking different perspectives on a story. Journal of educational psychology, 69, 309-315.

177. Pierre, M. (1976). La bande dessinée Paris: Larousse.

178. Plowman L. (1994). The Primitive Mode of Representation and the evolution of interactive multimedia. Journal of Educational Multimedia and Hypet media, 3 (3/4), 275-293.

179. Potter, M. С. (1979). Mundane symbolism : The relations among objects, names, and ideas. In N. R. Smith & M. B. Franklin (Eds.), Symbolic functioning in childhood (p. 41-65), Hillsdale, N., Lawrence Erlbaum Associates.

180. Prigogine, I. & Stengers, I. (1984). Order out of Chaos Man's new dialogue with nature, New York : Bantam.

181. Pylyshyn, Z. W. (1973). What the mind's eye tells the mind's brain : A critique of mental imagery, Psychological Bulletin, 80, 1-24.

182. Quillian, M.R. (1968). Semantic memory. In M. Minsky (Edit.), Semantic information processing, Cambridge (MA), MIT Press, 216-270.

183. Rastier, F. (1991). Sémantique et recherches cognitives. Paris: Presses Universitaires de France.

184. Reed, S.K. (1999). Cognition Théories et applications. Bruxelles: De Boeck Université.

185. Reicher, G. M. (1969). Perceptual recognition as a function of meaningfulness of stimulus material. Journal of Experimental Psychology, 81 (2), 275-280.

186. Reid, D. J., & Beveridge, M. (1986). Effects of text illustration on children's learning of a school science topic. British Journal of Educational Psychology, 56, 294-303.

187. Reinwein, J. (1993). L'effet de la mise en page d'un livre sur l'appariement texte -illustration en lecture. Revue de l'Association canadienne de linguistique appliquée, 15(l),41-58.

188. Reinwein, J. (1998). L'illustration et le texte revue analytique des recherches expérimentales. Diffusion restreinte, 799 pages (web-версия доступна с октября 1999 по адресу: http://www.unites.uqam.ca:lireimage).

189. Rey, А. (1978). Les Spectres de la bande. Essai sur la B.D. Paris, Editions de Minuit, coll. «Critique».

190. Reynolds, R. I. (1985). The role of object-hypothesis in the organisation of fragmented figures. Perception, 14, 49-52.

191. Riddoch, M. J., & Humphreys, G. W. (1987). « Picture naming». In G. W. Humphreys, M. J. Riddoch (Eds), Visual object processing• A cognitive neuropsychological approach, (pp. 107-143). Hillsdale, N. J.: Lawrence Erlbaum.

192. Robbins, N. L. (1983). The effects of signed text on the reading comprehension of hearing-impaired children. American Annals of the Deaf 128 (1), 40-44.

193. Rosch, E., & Mervis, C. B. (1975). Family resemblances : Studies in the internal structure of categories. Cognitive Psychology, 1 (4), 573-605.

194. Rosch, E. (1975). Cognitive Representations of Semantic Categories. Journal oj Experimental Psychology, 104, pp. 192-233.

195. Rosenblatt, E. (1962). Principles of Neurodynamics : Perceptrons and the Theory of Brain Dynamics, New York : Spartan Books.

196. Rouayranc, C. (1988). Recherches sur le langage populaire et argotique. Thèse de doctorat d'Etat. Université de Paris 3.

197. Rumelhart, D. E. (1989). The architecture of mind : A connectionist approach. In M. I. Posner (Ed.), Foundations of cognitive science Cambridige, MA . MIT Press.

198. Rumelhart, D. E., McClelland, J. L., & PDP Research Group (Eds.). (1986). Parallel distributed processing : Foundations Cambridge, MA: MIT Press.

199. Rumelhart, D.E., Lindsay, P. H., & Norman, D. A. (1972). A process model for long-term memory, in Tulving, E., Donaldson W. (Eds). Organization of Memory, New York, Academic Press, pp. 197-246.

200. Ryle, G. (1949). The Concept of Mind. London : Hutchinson.

201. Sanford A.J. & Garrod, S.C. (1981). Understanding written language New York: John Wiley and Sons.

202. Schare, M. L., Lisman, S. A., & Spear, N. E. (1984). The effects of mood variation on state dependent retention. Cognitive Therapy and Research, 8 (4), 387-407.

203. Schnotz, W. (1993). On the relation between dual coding and mental models in graphics comprehension. Learning and Instruction, 3, 247-249.

204. Schnotz, W., & Bannert, M. (2003). Construction and interference in learning from multiple representation. Learning and Instruction, IS, 141-156.

205. Schródinger, E. (1986). Qu'est-ce que la vie ? Paris : Christian Bourgeois

206. Schubert, L., Goebel, G., & Cercone, N. (1979). The structure and organization of a semantic net for comprehension and inference, in Findler, N. (Ed.). Associative Networks (122-178), New York, Academic Press.

207. Searle, J. R. (1983). Intentionality. Cambridge : Cambridge University Press

208. Sedgwick, H. A. (1986). «Space perception». In K. R. Boff, L. Kaufman & J.-P Thomas (Eds), Handbook of perception and human performance Vol I Sen.soi \ processes and perception, (pp. 21.1-21.57). New York : Wiley.

209. Selfridge, 0. G. (1959). « Pandemonium: A paradigm for learning ». In D. V. Blake & A. M. Uttley (Eds.), Proceedings of the Symposium on Mechanization of Thought Processes (pp. 511-529). London: H. M. Stationery Office.

210. Smith, E. E. (1978). « Theories of semantic memories ». In W.K. Estes (Ed.), Handbook of Learning and Cognitive Processes. Vol. 6. Lawrence Erlbaum Associates.

211. Smith, E. E., Shoben, E. I., & Rips, L. I. (1974). Structure and process in semantic memory : A featural model for semantic decisions. Psychological Review, 81 (3), 214-241.

212. Smolensky, P. (1988). On the proper treatment of connectionism. Behavioral and Brain Sciences, 11, 1-74.

213. Smolensky, P. (1989). Connectionism, Constituency, and the Language of Thought, manuscript

214. Snyder, M., & White, P. (1982). Moods and memories : elation, depression and the remembering of the events of one's life. Journal of Personality, 50, 149-167.

215. Sonine, A.G. (2003). Compréhension des textes multimodaux: exemple de la bande dessinée. Thèse de doctorat. Université de Nantes.

216. Spiro, R. J, Crismore, A., & Turner, T. J (1982). On the role of pervasive experiential coloration in memory, Text, 2, 253-262.

217. Stein, N. L., & Trabasso, T. (1989). «Children's understanding of changing emotional states ». In P. Harris & C. Saarni (Eds.), The development of emotional understanding, (pp. 45-73). Cambridge : Cambridge University Press.

218. Tabossi, P., & Johnson-Laird, P. N. (1980). Linguistic context and the priming of semantic information, Quarterly Journal of Experimental Psychology, 32, 595603.

219. Toussaint, B. (1976). L'idéographie et bande dessinée. Communications, 24, 84-93.

220. Traité de psychologie cognitive. 2. (Le traitement de l'information symbolique) (1993). Paris: Bordas.

221. Tversky, A. (1977). Features of similarity. Psvchological Review, 84 (4), 327-352.

222. Van Gelder, T. (1990). Compositionality: A connectionist variation on a theme. Cognitive Science, 14: 355-384.van Someren, M. W., Reimann, P., Boshuizen, H. P. A., & DeJong, T. (Eds.). (1998). Learning with multiple representations Oxford: Elsevier.

223. Varela, F. J. (1989). Autonomie et connaissance Essai sur le Vivant. Pans : Editions du Seuil.

224. Varela, F., & Thompson, E., & Rosch, E. (1993) L'inscription corporelle de l'esprit. Paris: Seuil.

225. Vegliante, J.-Ch. (Ed.). (1990). Lecture du geste. Paris : Presses de la Sorbonne nouvelle.

226. Vitkovitch, M., & Humphreys, G. W. (1991). Persévérant responding in speeded naming of pictures: It's in the links. Journal of Experimental Psychology Learning, Memory, & Cognition, 17 (4), 664-680.

227. Weisstein, N., & Harris, C. S. (1974). Visual detection of the line segments . An object-superiority effect. Science, 186, 752-755.

228. Winn, W. D. (1994). Contributions of perceptual and cognitive processes to the comprehension of graphics. In W. Schnotz, & R. Kulhavy (Eds.), Comprehension of graphics (pp. 3-27). Amsterdam: Elsevier.

229. Wittrock, M. C. (1989). Generative processes of comprehension Educational Pwcholo-gist, 24, 345-376.

230. Zalud, G.G. (1985). The effects of textually redundant illustrations on second giade pupils' comprehension of mam ideas, details, and relations University of Georgia.

231. Zeki, S., Watson, J. D. G., Lueck, C. J., Friston, K. J., Kennard, C., & Franckowiak, R. S. J. (1991). A direct demonstration of functional specialization in human visual cortex. The Journal ofNeuroscience, 11, 641-649.