автореферат диссертации по филологии, специальность ВАК РФ 10.02.21
диссертация на тему: Формальные методы оценки эффективности систем автоматической обработки текста

Полный текст автореферата диссертации по теме "Формальные методы оценки эффективности систем автоматической обработки текста"

На правах рукописи

МАКСИМЕНКО ОЛЬГА ИВАНОВНА

ФОРМАЛЬНЫЕ МЕТОДЫ ОЦЕНКИ ЭФФЕКТИВНОСТИ СИСТЕМ АВТОМАТИЧЕСКОЙ ОБРАБОТКИ ТЕКСТА

Специальность 10.02.21 - прикладная и математическая лингвистика

Автореферат диссертации на соискание ученой степени доктора филологических наук

Москва 2003

Диссертация выполнена на кафедре теоретической и прикладной лингвистики Московского государственного областного университета.

Официальные оппоненты: доктор филологических наук, профессор

О.П. Крюкова доктор филологических наук, доцент

А.А. Поликарпов доктор филологических наук, профессор А.И. Новиков

Ведущая организация: Московский государственный лингвистический университет

Защита состоится Застал 2003 года в 11.30 час. на заседании диссертационного совета Д 212.155.04 по защите диссертаций на соискание ученой степени доктора филологических наук при Московском государственном областном университете по адресу: 107042 г. Москва, Переведеновский переулок д. 5/7, ауд. 33.

С диссертацией можно ознакомиться в библиотеке Московского государственного областного университета по адресу: 105005, г. Москва, ул. Радио, 10А

Автореферат разослан ^ 2003

г.

Ученый секретарь диссертационного совета доктор филологических наук профессор

ахль-ч вв09

Реферируемая работа посвящена исследованию формальных методов оценки эффективности интеллектуальных систем обработки текста, результатом которого явилось создание действующих экспертных систем на базе нечеткой логики.

За последнее десятилетие существенно возросло количество и произошли качественные изменения систем автоматической обработки текста, опирающихся на глубинные структуры языка и оперирующих сложными, плохо формализуемыми элементами. (Апресян Ю.Д., Белоногов Г.Г., Берштейн JI.C., Гринбаум О.Н., Иомдин JI.JI., Кузнецов И.П., Нариньяни A.C., Пиотровский Р.Г., Arnold D., Carl М., Graven М., Streiter О. и мн. др.). Подобные системы требуют серьезной экспертной оценки. В наши дни наблюдается существенный разрыв между возможностями аппаратных средств компьютеров и применяемыми методами решения прикладных задач. Наиболее освоенные на сегодня методы базируются на хорошо формализованных алгоритмах, полученных в результате построения математических моделей предметных областей. Чаще всего это трудоемкие расчеты по известным формулам, либо сравнительно простые последовательности действий, приводящие после многократного повторения к желаемому результату (итерационные алгоритмы). В практической же деятельности многие актуальные задачи относятся к типу плохо формализуемых, особенно если дело касается естественного языка, для которого неизвестны аналитические зависимости или цепочки действий, приводящие к результату без интеллектуального вмешательства человека. До последнего времени для решения плохо формализуемых лингвистических задач просто не хватало ресурсов вычислительной техники, и поэтому было бессмысленно ставить саму проблему серьезного их решения. Сегодня создание алгоритмов и прикладных программ, наиболее полно использующих ресурсы современных компьютеров для решения нечетких задач, к которым относятся и лингвистические, является весьма актуальной проблемой.

Как правило, в плохо формализуемых задачах имеется некоторый набор параметров, описывающих объекты предметной области, причем, нельзя с уверенностью сказать, что этот набор параметров наверняка полон и адекватен, а сами измеренные значения параметров также в совокупности полны, непротиворечивы и не искажены. Все это не позволяет применять для решения плохо формализуемых задач традиционные статистические методы, методы оптимизации и аппроксимации.

3 | РОС НАЦИОМ\„|bhAfl

ЬИЮИО Г Г К А

II Псн'рбург 200^ PK

Современные методы, основанные на нейросетевых алгоритмах, нечеткой логике, генетических алгоритмах, а также экспертные системы и ряд других направлений, составляют базу современных технологий прогнозирования на основе временных рядов данных, извлечения закономерностей из данных, создания систем поддержки принятия решений, что аккумулируется термином "интеллектуальный анализ данных" (Дударь З.В., Кемени Дж., Кузьмин В.Б., Моисеев H.H., Орлов А.И., Подиновский В.В., Потапова Р.К. и мн. др.). Нечеткая логика позволяет работать с параметрами, имеющими скорее качественную природу типа: "большой -маленький", а не точное значение, выражаемое определенной цифрой. Экспертные системы служат способом привлечения знаний экспертов для решения плохо формализованных задач. Все более широкое распространение получают экспертные системы на базе нечеткой логики (Вишневский Р.В., Масалович А.И., Феклистов А.И. др.).

Современное общество называют информационным - в последние десятилетия резко возросли потоки информации во всех сферах человеческой деятельности и появились мощные технические средства ее передачи и обработки, однако, для обмена информацией по-прежнему основной трудностью остается языковой барьер. Традиционные методы преодоления языковых барьеров - это изучение иностранных языков и переводческая деятельность. Но с ростом экономических, политических и культурных связей между странами, а также в связи с повышением интенсивности информационных потоков, эти методы становятся недостаточными. Поэтому, несмотря на все трудности, используя многие доступные формальные методы, продолжают развиваться интеллектуальные лингвистические системы, такие как системы машинного перевода, переводческие накопители, огромные по размеру и наполнению базы знаний поисковых систем, действующие как автономно, так и в среде сети Интернет - в этом серьезная роль и большая заслуга прикладной лингвистики, к задачам которой относится и оценка этих интеллектуальных систем. Актуальность темы: в условиях информационного общества обилие разработанных и разрабатываемых интеллектуальных систем обработки текста, к которым относятся системы машинного перевода и информационно-поисковые системы в том числе, требует быстрой и адекватной оценки. Важно иметь представление о качестве систем как на стадии начальной разработки, так и на стадии готового продукта. Решение подобной задачи традиционными экспертными способами чрезвычайно трудоемко и, как правило, дает субъективный результат. Создание формальной методики решения этой проблемы - веление

времени, тем самым тема диссертационной работы актуальна, как в

теоретическом, так и практическом смысле.

Научная новизна работы определяется следующими результатами:

1. Разработан новый подход к оценке эффективности систем автоматической обработки текста с применением современного математического аппарата нечеткой логики, по сути экспертная система оценки интеллектуальных систем на базе нечеткой математики.

2. Создан новый комплекс критериев оценки интеллектуальных систем.

3. Разработанный подход является универсальным: нечеткие экспертные системы позволяют оценивать качество интеллектуальных систем с единых позиций в зависимости от требуемой степени точности и сложности оценки.

4. Проведено тестирование созданных действующих систем оценки качества на трех разных типах интеллектуальных систем автоматической обработки текста - автоматизированном дистрибутивно-статистическом анализе (ДСА), системе машинного перевода (СМП), информационно-поисковой системе (ИПС), в разработке которых автор также принимал активное участие.

5. В работе предложена новая типологическая классификация электронных словарей и экспериментальная классификация серьезности ошибок при русско-английском МП.

Научные положения, изложенные в работе, опираются на обширные аналитические исследования имеющихся в мировой науке работ по близкой тематике. В итоге создано новое направление оценки плохо формализуемых интеллектуальных систем на базе нечеткой логики.

Объект исследования: существующие на настоящий момент формальные методы оценки различных по типу интеллектуальных систем автоматической обработки текста, таких как автоматизированный дистрибутивно-статистический анализ, системы машинного перевода и информационно-поисковые системы. Цели и задачи:

изучение и анализ существующих современных формальных методов автоматической обработки естественного языка; изучение и анализ формальных методов оценки интеллектуальных систем (ИС);

обоснование необходимости формального метода оценки интеллектуальных лингвистических систем на базе нечеткой

логики и создание универсальной системы оценки на базе этого метода;

тестирование разработанной системы на ИС разного типа: автоматизированном варианте ДСА, СМП и ИПС. Теоретическая значимость: системы экспертных оценок представляют собой сложный аппарат, строящийся, как правило, на статистических методах. Такие методики не слишком хороши для систем автоматической обработки текста на естественном языке, поскольку язык относится к числу плохо формализуемых систем. Результаты исследования и оценок автоматических систем обработки текста способны внести существенный вклад как в прикладное, так и теоретическое языкознание. Научные результаты фактически открывают новое направление создания систем оценки интеллектуальных лингвистических систем.

Практическая ценность: впервые создана универсальная система оценки автоматических систем обработки текста на базе нечеткой логики, способная оценивать эффективность разнообразных интеллектуальных систем по комплексу изменяемых критериев. Экспертная система на базе нечеткой логики реально действует в интегрированной среде МАТЪАВ.

Методы исследования: в первую очередь системный метод анализа существующих достижений в области создания автоматизированных систем и разнообразных систем оценки и определении научной целесообразности применения аппарата нечеткой логики для оценки лингвистических систем; метод моделирования при проектировании и разработке собственно экспертной системы на базе нечеткой логики; описательно-аналитический и типологический методы при сравнении полученных результатов оценки.

Материалом исследования послужили следующие автоматизированные системы обработки текста:

1) автоматизированный дистрибутивно-статический анализ, которым был обработан массив текстов объемом более 100 тыс. словоупотреблений, состоящий из текстов разных жанров (монография, научные статьи, рефераты из реферативного журнала, массив толкований терминологического словаря научно-технической терминологии по системам связи и управления);

2) система машинного перевода АСПЕРА, тестирование которой проводилось на текстах по 5 тематикам (бизнес, история философии, охрана окружающей среды, информатика, медицина) общим объемом 100 Кб;

3) информационно-поисковая система КАСКАД, содержащая около 1000 статей.

Объем исследования подтверждает достоверность полученных результатов.

Апробация: результаты исследования изложены в монографии "Формальные методы в современной прикладной лингвистике" (2002 г.) и других печатных работах автора, а также представлены в виде докладов и выступлений на конференциях:

Третья конференция по Машинному фонду русского языка. Москва, ИРЯ АН СССР, 1989 г.;

Международный семинар «ЭВМ и перевод», Тбилиси, 1989 г. ; Вторая Республиканская конференция "Компьютерные программы в обучении белорусскому и иностранным языкам". Минск, 1995 г.; Научно-методический симпозиум «Язык в действию), МАПРЯЛ, Тбилисский государственный университет, 1997 г.; Международная конференция "Актуальные проблемы обучения иностранных студентов", Харьковский государственный политехнический университет, 1998 г.;

Межвузовская научно-методическая конференция

"Информационные технологии и фундаментализация высшего образования", Москва, РГУ им. Губкина, 1999 г.; Межвузовская научно-практическая конференция "Традиционные и новые концепции, методы и приемы обучения иностранным языкам", Москва, МГИМО, 2000 г.;

Научно-практическая конференция "Проблемы обучения иностранных граждан на современном этапе" Волгогорадский ГПУ, 2000 г.;

Научно-практическая конференция студентов, аспирантов и преподавателей МПУ, Москва, 2001 г.;

Межвузовский научно-практический семинар «Теория и практика преподавания русского языка иностранным учащимся в вузе". Москва, МГИМО, 1997 г., 1998 г., 1999 г., 2000 г., 2002 г., 2003 г.

Результаты исследования использованы в теоретических курсах "Математические методы в лингвистике", "Формальные модели в лингвистике", "Автоматическая обработка естественного языка", которые читаются студентам кафедры теоретической и прикладной лингвистики МГОУ.

Структура работы: в соответствии с поставленными задачами диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и ряда приложений.

Диссертация прошла предварительную экспертизу на совместном заседании кафедр теоретической и прикладной лингвистики; переводоведения; теории языка и англистики МГОУ в июне 2003 года.

По теме диссертации опубликовано более 20 научных работ, общим объемом более 40 п.л., включая монографию (16 п.л.) и два учебных пособия.

В Главе 1 дан обзор формальных методов, использующихся в современной науке и, в частности, прикладной лингвистике. Развитие научных исследований невозможно без определенной формализации. Эта мысль подтверждается многочисленными наблюдениями за развитием гуманитарных наук в наши дни. Даже те области знания, где ранее формальные методы применялись редко или неэффективно, проявляют закономерный интерес к более строгим средствам описания и интерпретации интересующих их фактов и экспериментов (Бутенко И.А., Калеватых A.B., Карпова H.A., Кононенко И., Раушенбах Г.В., Cushing В.Е., Deboeck G. J., Fung Р., и др.).

Формальные методы представляют собой искусственно созданные человеком приемы познания, поскольку они не содержатся в предметах или окружающей действительности наподобие закономерностей, правил, отношений. Однако методы не существуют в отрыве от этих закономерностей, правил и отношений. Правильно выбранный и примененный в исследовании метод помогает вскрывать и фиксировать закономерности и свойства, не лежащие на поверхности явлений. Выбор методов определяется спецификой предмета, накопленными знаниями о нем, целью исследования, а также зависит от того, какие стороны и свойства предмета предстоит анализировать. Учет всех этих факторов обеспечивает эффективность применения методов.

Исключительное внимание следует уделять интерпретации полученных результатов, чтобы теоретические выводы и заключения не навязывались материалу, а естественно вытекали из него в ходе использования того или иного метода. Метод часто представляет собой формализуемую процедуру анализа, но сам процесс его использования и интерпретация полученных при этом результатов - качественное явление, основанное на опыте, знаниях и интуиции специалиста. Наибольшего доверия заслуживает в науке тот метод, при использовании которого получают результаты, способные воспроизводиться в других экспериментах на новом материале, то есть проверяемые результаты.

Поскольку язык сам служит исследовательским инструментом, для его познания необходимо применить новый инструмент, или, как его называют в современной лингвистике, метаязык описания или исследования. На протяжении фактически всей истории языкознания специалисты использовали в качестве метаязыка сам язык, т. е. сущность языка раскрывалась и описывалась с помощью того же языка. Если метод - это прием исследования, то метаязык - инструмент исследования. Прием и инструмент, или метод и метаязык, представляют собой необходимые компоненты всякого научного анализа языковых фактов.

Развитие лингвистики в направлении формализации понятий и методов обусловлено как внутренними, так и внешними факторами. С одной стороны, внутреннее развитие лингвистики в XX веке привело к использованию более точных и объективных методов для изучения естественного языка (ЕЯ) и созданных на его основе текстов. С другой стороны, бурное развитие вычислительной техники, зарождение и становление кибернетики, достижения в смежных науках о человеке явились внешними факторами, активизировавшими использование точных методов в лингвистике в связи с применением ЕЯ в автоматизированных информационных системах, системах искусственного интеллекта, в организации диалога человека с компьютером и т.д.

Первой из математических наук в лингвистику пришла статистика, заложив основы квантитативной лингвистики (Алексеев П.М., Мартыненко Г., Орлов А.И., Поликарпов A.A., Скороходько Э.Ф., Сухотин Б.В., Фрумкина P.M., Тулдава Ю., Abney S., Kaski S. и др.). Построение частотных словарей, словарей-индексов, конкордансов, создание машинных фондов лексики - все это невозможно без применения методов квантитативной лингвистики. Грамматический и семантический аспекты квантитативного исследования лексики привели к построению математической теории словообразования, определению лексико-семантических групп. Такие современные методы анализа текстов как кластерный анализ, контент-анализ, лексико-стилистический анализ также используют достижения квантитативной лингвистики. Метод дистрибутивно-статистического анализа, используемый для обработки текстов, представляет особый интерес (Поликарпов A.A., Шайкевич А.Я. и др.)

В последнее время появились так называемые компьютерные "интеллектуальные системы", способные достаточно адекватно работать с естественным языком. К ним относятся, в первую очередь, информационно-поисковые системы, системы машинного перевода и

экспертные системы. При создании таких систем применяются самые разнообразные формальные методы. Активное применение компьютерных технологий вынуждает исследователей пытаться формализовать те уровни языка и языковые явления, о возможности формализации которых ранее и речи не шло.

Лингвистическими проблемами искусственного интеллекта являются проблемы, связанные с исследованием, проектированием и реализацией лингвистических процессоров. В их число входят семантические языки и способы представления знаний в лингвистических процессорах, анализаторы текста как модели различных видов понимания, алгоритмы синтеза текста для вербализации заданного содержания; алгоритмы организации диалога между человеком и системой; алгоритмы перевода (Апресян Ю.Д., Белоногов Г.Г., Иомдин JI., Королев Э.И., Марчук Ю.Н., Нариньяни A.C., Пиотровский Р.Г., Потапова Р.Г., Узилевский Г.Я. и др.)

В течение нескольких последних десятилетий продолжались исследования в области автоматической обработки текста (АОТ), в результате которых были выработаны основные принципы анализа текста на естественном языке: семантически-ориентированный подход; эффективное использование знаний (как проблемных, так и общих) во время и после лингвистических этапов процесса анализа; организованное сообщество активных агентов, выступающее в качестве аппарата спецификации лингвистического обеспечения; распределенная, идущая "снизу-вверх" организация процесса обработки, базирующаяся на управлении по данным и\шш событиям.

В качестве примера системы АОТ в работе рассматривается американская система Link Grammar Parser (LinkParser), доведенная до программной реализации. Она включает в себя все элементы анализа текста - от начального (графематического) до первичного семантического (условно) анализа английского языка.

Одно из наиболее интересных направлений формализации языкового мира представляют собой семантические сети, в частности, нейронные семантические сети. Самые простые сети, использующиеся в системах искусственного интеллекта, - это реляционные графы, состоящие из узлов, соединенных дугами. Для представления связного текста разработаны препозиционные сети, узлы которых представляют собой целые предложения. В системах МП семантическая сеть помогает парсеру разрешить семантическую неоднозначность при порождении языка. Семантическая сеть может быть использована для автоматической классификации документов в задачах классификации и полнотекстового поиска. Семантические нейронные сети применяются

в качестве формального языка описания и обработки смысла текста на естественном языке. Последние версии семантических сетей стали более мощными и гибкими и составляют конкуренцию фреймовым системам, логическому программированию и другим языкам представления (Дударь З.В., Шуклин Д.Е., Феклистов А.И., Харламов A.A., Шингарева Е.А., Щетинин В.Г., Graven М., Toshio F. и др.)

Дистрибутивно-статистический метод анализа лексики (ДСА) (Поликарпов A.A., Прицкер А.И., Шайкевич А.Я. и др.), окончательно сформировавшийся в последние десятилетия XX века, дает один из наиболее адекватных результатов описания поведения лексики, как ядерной, так и терминологической, позволяя, в частности, различать жанры произведений в информационном потоке. Дистрибутивный вариант ДСА основан на сходстве распределений слов, т.е. всех возможных контекстов, в которых эти слова могут встречаться. Статистический вариант ДСА базируется на числовых характеристиках совместной встречаемости элементов текста в контекстах определенной длины.

Эксперимент по оценке алгоритма ДСА (Максименко 1989) заключался в анализе с помощью дистрибутивной и статистической методик текстов на естественном языке и построении графов дистрибутивных связей с различными порогами и графов статистической связности с разными уровнями доверительной вероятности. Также были определены оптимальные дистрибутивные пороги и уровни доверительной вероятности в задаче жанровой атрибуции текстов, для чего был разработан специальный алгоритм, описанный в Главе 2, где также дается оценка эффективности предложенного алгоритма. Анализ проводился на массиве текстов, общий объем которого превышал 100 тыс. словоупотреблений. В массив вошли тексты разных жанров (монография, главы из книги, статьи отдельных авторов, рефераты из реферативного журнала (РЖ) и толковательная часть терминологического словаря). Все тексты относились к одной тематической области - системы связи и управления. Единственно возможными параметрами сравнения оказались полнота и точность лексики графов. Было определено, что для разных жанров текста характерны разные типы оптимальных графов. Монография и статьи характеризуются компактностью дистрибутивных графов, в которых особенно насыщен второй уровень. Оба члена заглавной пары коррелируют со всеми членами второго уровня. Статистический граф имеет 5-7 уровней, основная масса терминологических гиперлексем (единиц анализа), включая родовые, находится на 3 - 5 уровнях. Выборка из РЖ характеризуется близостью

структуры дистрибутивного и статистического графов, в которых основная масса гиперлексем располагается на 3-ем и последующих уровнях. Разделы главы книги описываются дистрибутивным графом с одинаковым количеством членов на 2 - 4 уровнях и 5-уровневым статистическим графом с основной массой терминологических гиперлексем на 2-ом и 4-ом уровнях. Словарь отличается возможностью использования более жестких порогов (дистрибутивный - 0,4 - 0,5 и статистический - 0,99). Однако терминологические гиперлексемы в единый граф не объединяются, а расходятся по 6 - 9 отдельным графам, причем статистическая методика при анализе словарного текста склонна игнорировать родовые термины.

Нечеткая логика представляет собой, по всей видимости, одну из наиболее спорных, но мощных и своеобразных методик, используемых для формализации плохо формализуемых систем и работы с ними. Достижения нечеткой логики в последнее время стали использоваться в ряде гуманитарных исследований. (Аверкин А.Н., Вишневский Р.В., Масалович А.И., Мелихова О.А., ХадеЪ. Ь., гешапкоуа-ЬеесИ М. и др.). На наш взгляд, теория нечеткой логики может быть использована для формализации задачи оценки эффективности, например, систем машинного перевода или информационно-поисковых систем. В последующих главах работы приводятся варианты нечетких экспертных систем оценки качества таких лингвистических ИС.

Прикладная лингвистика зачастую имеет дело со слабо формализованными или трудно формализуемыми задачами. Аппарат нечеткой логики как нельзя лучше подходит для описания условий и метода решения таких задач на языке, близком к естественному, для построения моделей приближенных рассуждений человека и использования их в компьютерных системах. Однако до настоящего времени в прикладной лингвистике аппарат нечеткой логики практически не использовался и никаких оценочных (экспертных) систем, а также систем принятия решений на базе нечеткой логики создано не было.

У систем, построенных на базе нечеткой логики, есть ряд отличительных особенностей: возможность оперирования входными данными, заданными нечетко, например, значениями, которые невозможно задать однозначно (мнения экспертов); возможность формализации нечетких критериев оценки и сравнения, таких как, "хороший", "плохой", "хуже", "лучше" и пр.; возможность проведения качественных оценок как входных данных, так и выходных результатов: исследователь оперирует не только самими значениями

данных, но и степенью их достоверности; возможность быстрого моделирования сложных систем и их сравнительного анализа с заданной степенью точности: оперируя принципами поведения системы, которые описаны методами нечеткой логики, исследователь может оценить разные варианты выходных значений, не составляя точных уравнений.

При построении нечетких экспертных систем оценки качества, предлагаемых в работе, использовались следующие основные понятия нечеткой логики (Круглов В.В.):

- нечеткое подмножество А универсального множества X (нечеткое множество) определяется как множество упорядоченных пар А = , где Ма(х) " характеристическая функция

принадлежности (ФП), принимающая значения в некотором множестве М (например, М = [0,1]), х - элемент универсального множества X. Функция принадлежности указывает степень принадлежности элемента * подмножеству А;

- нечеткая переменная характеризуется тройкой параметров (а, X, А), где а - наименование переменной, X - универсальное множество (область определения а), А - нечеткое множество на X, описывающее ограничения на значения нечеткой переменной а (т.е. ФП/лА(х));

- лингвистическая переменная (ЛП) - набор из пяти параметров (р, Т, X, О, М), где [3 - наименование ЛП, Т- множество ее значений (базовое терм-множество), представляющих собой наименования нечетких переменных, областью определения каждой из которых является множество X, й - синтаксическая процедура, позволяющая оперировать элементами терм-множества Т, в частности, генерировать новые термы (значения), формируя С(Т) - множество сгенерированных термов. И наконец, М - семантическая процедура, позволяющая превратить каждое новое значение ЛП, образуемое процедурой в, в нечеткую переменную, т. е. сформировать соответствующее нечеткое множество;

- нечеткое число определяется как нечеткое множество А на множестве действительных чисел с ФП /иА(х) е [0, 1], где х - действительное число. Особым классом являются нечеткие числа (Ь-Я)-типа, ФП которых относятся к типу так называемых (Ь-Я)-функций, среди которых треугольная, трапецеидальная, прямоугольная, экспоненциальная функции, а также функция Гаусса и некоторые другие. При использовании функций (Ь-Я)-типа нечеткое число А (нечеткое множество) задается следующим образом:

¿(л:,а), приж^ц цл(х) = '\ , ярицсх^ ' к{х,$), при х >£¡2

где а > 0, (3 > 0 - левый и правый коэффициенты нечеткости, а( и аг границы толерантности, определяющие промежуток [ау, а2], в котором значение ФП равно 1. Таким образом, при выбранных функциях Ь и К нечеткое число задается четверкой параметров А = (вЛ а2, а, р);

- нечеткое отношение (импликация) между множествами X и У

определяется как функция /?: (X X У) -» [0, 1], которая ставит в

соответствие каждой паре элементов (х, у) е X X У величину /ик(х,у) е [0» 1]- Нечеткое отношение кратко записывается в видехЯу\

- композиция (свертка) двух нечетких отношений. Пусть Л/ - нечеткое

отношение К/. (X х У) [0, 1] между множествами X и У , а Я2 -

нечеткое отношение (У X 2) [0, 1] между множествами У и 2. Нечеткое отношение между X и 2, обозначаемое Я2 ° Я/ и определенное через и Я2 выражением

= т (х, у,), цл% (у, г))),

называется (тах - тт)-композицией отношений Я/ и Л*. Операция МИНИМУМ может быть заменена алгебраическим умножением, тогда говорят о (тах - рго<1)-композиции;

- база знаний (правил вывода) - это формируемая специалистами предметной области совокупность нечетких предикатных правил вида: Щ: если х есть А/, то у есть В1; П2: если х есть А2, то у есть В2 ; и т.д. Здесь х - входная ЛП, у - выходная ЛП (переменная вывода), А к В -ФП, определенные соответственно на множествах значений х а у.

- композиционное правило вывода заключается в следующем: знание эксперта, выраженное в базе правил вывода, отражает нечеткое отношение предпосылки А и заключения В, т.е. Л: А -» В, где "->" -операция нечеткой импликации. Процесс получения нечеткого результата вывода В' с использованием данного наблюдения А' и знания А-у В представляется в виде формулы:

где иоп - операция композиции. Данное правило лежит в основе работы большинства нечетких экспертных систем.

Общий логический вывод в предлагаемых нечетких экспертных системах оценки качества осуществляется в четыре этапа.

1. Введение нечеткости (фазификация). Функции принадлежности, определенные на входных ЛП, применяются к их фактическим значениям для определения степени истинности каждой предпосылки каждого правила вывода.

2. Логический вывод (импликация). Вычисленное значение истинности для предпосылок каждого правила применяется к заключениям каждого правила. Это приводит к модифицированному нечеткому множеству, которое будет назначено каждой переменной вывода для каждого правила. В качестве правил логического вывода обычно используются только операции min (МИНИМУМ) или prod (УМНОЖЕНИЕ).

3. Объединение (композиция). Все модифицированные нечеткие множества для каждой переменной вывода (во всех правилах), объединяются вместе, чтобы сформировать одно комбинированное нечеткое множество для каждой переменной вывода. При подобном объединении обычно используются операции max (МАКСИМУМ) или sum (СУММА).

4. Приведение к четкости (дефазификация). Процесс преобразования выходного нечеткого множества в скалярное четкое значение. Чаще всего в качестве итогового значения используется "цешр тяжести" ФП выходного нечеткого множества (центроидный метод дефазификации, см. ниже).

Наиболее распространенными являются два алгоритма нечеткого вывода - алгоритм Mamdani и алгоритм Larsen. Пусть, для простоты, базу знаний составляют два нечетких правила вывода: Пр если х есть Ainy есть Bh то г есть С/, П2: если х есть А2 и у есть В2, то z есть С2,

где х и у - входные ЛП, z - переменная вывода, А1, А2, В,, В2, Ch С2 -заданные ФП. Если четкое значение zn необходимо определить на основе данной информации для четких значений х0 и у0, то алгоритм вывода Mamdani записывается так:

/ф) =C(z) = max(c,(z),c2(z)) = max(min(a; ,С, (z)), min(a2, C2(z))), а алгоритм вывода Larsen выглядит следующим образом:

A;(z) = C(z) = max(c ¡(z),C2(z)) = max(a,C|(z), a2C2(z)). Здесь оц и a2 - степени истинности предпосылок каждого из правил для данных значений хп и у0 , C(z) - комбинированное нечеткое множество выходной переменной, соответствующее логическому выводу. Приведение к четкости (для нахождения z0) в обоих алгоритмах осуществляется с применением центроидного метода:

\zC{z)dz

Z°~ JC(z)dz n

Для нечетких экспертных и управляющих систем характерны определенные недостатки, например, исходный набор постулируемых нечетких правил формулируется экспертом-человеком и может оказаться неполным или противоречивым; вид и параметры ФП, описывающих входные и выходные переменные, выбираются субъективно и могут оказаться не вполне отражающими реальную действительность. Несмотря на это возможность эффективного использования аппарата нечеткой логики в системах принятия решений и экспертных системах доказана к настоящему времени целым рядом теорем.

Алгоритмы нечетких выводов реализованы в пакетах нечеткой логики. Один из наиболее развитых пакетов - Fuzzy Logic Toolbox, входящий в систему технических вычислений MATLAB, представляет собой совокупность прикладных программ, относящихся к теории нечетких множеств и позволяющих конструировать нечеткие экспертные и/или управляющие системы. Предлагаемые в настоящей работе экспертные системы оценки качества лингвистических ИС реализованы в прикладном пакете Fuzzy Logic Toolbox.

В целом приведенный в Главе 1 обзор показывает широту формальных методов, отработанных за столетия и появившихся в последнее время. Однако становится ясно, что многие формальные методы, как правило, вероятностно-статистического направления, активно применяющиеся в лингвистике, оказываются либо излишне сложными, либо малоэффективными, поэтому для создания экспертных систем оценки интеллектуальных лингвистических систем был выбран аппарат нечеткой логики.

В Главе 2 рассмотрены современные методы оценки интеллектуальных систем (ИС), изложены основные положения предлагаемого в работе формального подхода к оценке лингвистических ИС, базирующегося на нечеткой логике, а также приведены основные результаты оценки автоматизированного ДСА с помощью предлагаемого метода.

Экспертные оценки эффективности необходимы в любых областях науки, в частности, такие оценки требуются интеллектуальным системам (ИС) (Бешелев С.Д., Винокуров A.A., Григорьев В.А., Емельянов C.B., Жигалов В.А., Ивакин Я.А.,

Кормышев В.М., Лахути Д.Г., Панкова Л.А. и др.). Современные методы оценки отличаются широким диапазоном возможностей, но принципиальные вопросы, определяющие надежность и компетентность оценок, по-прежнему не решены. Современные математические методы экспертных оценок - это в основном статистические методы, применяемые к объектам нечисловой природы. Экспертные оценки объединяют методы организации работы со специалистами-экспертами и методы обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений лицами, принимающими решения (ЛПР). В настоящее время не существует научно обоснованной классификации методов экспертных оценок и, тем более, однозначных рекомендаций по их применению.

Эффективность информационных систем, содержащих элементы искусственного интеллекта, решающим образом определяется качеством баз знаний, имеющихся в системе. Однако до последнего времени отсутствовали надежные методы определения степени достоверности экспертных заключений при заполнении баз знаний. Аппарат теории нечетких множеств позволяет учесть нечеткий вид экспертных знаний и правил, а также такие трудно формализуемые факторы, как теоретические знания эксперта; его практический опыт; особенности памяти; логические способности; "инженерное чутье", интуицию и т.д. Недавно появились нечеткие алгоритмы определения компетентности эксперта.

Важную роль в методе экспертных оценок играют математические модели поведения экспертов, которые в основном базируются на предположении о возможности вероятностно-статистического описания поведения экспертов с помощью непрерывных функций распределения (Григорьев В.А.). Методы анализа экспертных оценок основаны на предположении, что эксперты оценивают интересующий ЛПР параметр с некоторыми ошибками, поэтому при анализе мнений экспертов применяются самые разнообразные статистические методы, а также методы статистики объектов нечисловой природы. Однако традиционная теория вероятностей и математическая статистика испытывают серьезные трудности при применении в методе экспертных оценок. В первую очередь проблема состоит в том, что распределение ответов экспертов не всегда подчиняется заранее известному закону, например, закону Гаусса (нормальное распределение). Выходом вновь является использование аппарата нечеткой логики, который оказывается

гораздо более эффективным при реализации метода экспертных оценок, чем традиционная теория вероятностей.

Задачи получения оценок, в частности оценок эффективности, решаются в различных областях человеческой деятельности. В задачах управления и контроля часто используется модель принятия решений на основе композиционного правила вывода. Нечеткие выводы широко используются в задачах классификации и диагностики. Отдельную проблему представляет собой оценка знаний. Под процессом оценивания знаний понимается взаимодействие эксперта и обучаемого, состоящее из двух фаз: фазы представления модели знаний обучаемого и фазы восприятия экспертом этой модели. Важной является проблема оценки эффективности информационного обеспечения (ИО) той или иной области человеческой деятельности. Доказано, что эффективность ИО определяется в первую очередь эффективностью имеющихся в информационной системе специфических методов обработки информации. Для оценки информационных технологий (ИТ) используется целая гамма специальных методик, призванных оценивать нематериальные преимущества, которые дают ИТ. Большинство подходов заимствовано из мира финансов и стратегии бизнеса.

В настоящее время не существует единого формального метода оценки лингвистических систем. Существуют разрозненные методы оценки качества СМП, ИПС и других систем обработки текстов. Например, метод оценки качества СМП, совмещающий оценку качества программного обеспечения и лингвистической характеристики, метод оценки соответствия смысла запроса на естественном языке (ЕЯ) предметной области ИПС, основанный на вычислении функции семантической корреляции, которая оценивает вероятность выдачи релевантного ответа на конкретный запрос ИПС с определенной предметной областью. Традиционно оценка качества систем обработки текстовой информации проводится по следующим параметрам: качество программного обеспечения; удобство интерфейса пользователя; лингвистическая характеристика; организационное значение; цена.

Можно с уверенностью говорить об отставании темпов продвижения методов оценки качества лингвистических систем от бурного роста и развития самих систем. Одной из причин этого является сложность формализации понятия "качество системы". Традиционные подходы к оценке эффективности лингвистических систем основаны в основном на методе экспертных оценок. Суть экспертного тестирования в случае лингвистической системы чаще

всего сводится к определению максимально достижимого уровня сложности запросов, эффективно обрабатываемых этой системой. Ранжирование запросов по уровню сложности позволяет получить представление о качестве функционирования системы независимо от мнений экспертов и экспериментально подтвердить адекватность оценки. К другим методам оценки относятся методы фреймов и нечетких множеств. Последние являются эффективным способом формализации некоторых свойств естественного интеллекта.

Базой для формирования единого подхода к оценке качества функционирования ИС, на наш взгляд, являются методы теории нечеткой логики. Новый формальный метод оценки качества интеллектуальных лингвистических систем (СМП, ИПС и т.д.) базируется на создании нечетких экспертных систем оценки качества на основе композиционного правила вывода. Предлагаемый подход претендует на универсальность, поскольку нечеткие экспертные системы позволяют оценивать качество работы ИС с единых позиций в зависимости от степени сложности требуемой оценки. Основные этапы предлагаемого подхода следующие.

Определяется критерий оценки качества ИС, который выбирается экспертом-филологом, тестирующим систему, в зависимости от конкретного типа ИС. Для формализации этого параметра вводится соответствующая ЛП "Выбранный критерий". В предлагаемых экспертных системах ее базовое терм-множество состоит из трех нечетких переменных Т = {"А,", "А2", "А3"}, определенных в некотором диапазоне от X/ до Х2. Выбранный критерий оценки качества представляет из себя входную переменную нечеткой экспертной системы.

Формализация понятия "качество системы" осуществляется с помощью введения ЛП "Качество" (О). Понятие "качество" определяется, в первую очередь, критерием оценки, взятым за основу при конструировании нечеткой экспертной системы. "Качество" является переменной вывода экспертной системы. Ее базовое терм-множество состоит из трех нечетких переменных Тд = {"Плохое", "Среднее", "Хорошее"}. Было решено оценивать качество функционирования системы в процентах, поэтому областью определения ЛП "Качество" является отрезок 2 = [0, 100].

Процедура задания на области определения ЛП соответствующих ФП носит в большинстве случаев субъективный характер. В нашем случае автор сам задавал для каждой нечеткой переменной значения ее ФП. От выбора ФП во многом зависит конкретный результат работы экспертной системы. Во всех

предлагаемых экспертных системах значениями ЛП являются нечеткие числа, что позволяет использовать для задания их ФП нечеткие числа (Ь-Я) - типа. Вопрос о выборе оптимальных ФП пока остается открытым.

Нечеткие переменные С/ = "Плохое", С2 = "Среднее", С3 = "Хорошее" были представлены нечеткими числами (Ь-Я) - типа с

Границы толерантности д,иа2,а также коэффициенты нечеткости а и Р , для каждого нечеткого числа подбирались экспериментально.

Основой оценивающей экспертной системы является база нечетких правил логического вывода. Правила формулируются экспертом (автором), исходя из его компетентности и логических соображений. Система обрабатывает все правила вывода одновременно, определяя степень их влияния на оценку качества функционирования СМП, ИПС или системы обработки текста с помощью автоматизированного ДСА. В работе не ставилась цель выбора оптимального алгоритма нечеткого вывода, поэтому использовались два наиболее распространенных алгоритма Матс1аш и Ьагееп. Результаты работы алгоритмов оказались очень близки. Таким образом, было доказано, что конкретная реализация алгоритма нечеткого вывода не играет существенной роли при создании экспертных систем оценки качества ИС.

Предлагаемые нечеткие экспертные системы оценки качества допускают неограниченное включение различных критериев (не обязательно количественных), определяющих итоговое понятие качества. Для этого достаточно формализовать новый критерий путем введения соответствующей ЛП и модифицировать базу правил вывода, чтобы, наряду с имеющимися, она включала новый критерий оценки качества лингвистической системы. После этого необходимо предоставить нечеткой экспертной системе конкретные значения входных переменных (критериев качества), определенные экспертом. В результате совместной обработки базы правил вывода будет получена итоговая оценка. Предлагаемая формальная методика позволяет количественно сравнивать эффективность работы различных лингвистических систем одного типа.

Продолжением эксперимента по использованию автоматизированного ДСА для обработки корпуса текстов различных жанров, принадлежащих к одной тематической области, описанного в Главе 1, явилась разработка модели полуавтоматической динамической

гауссовскими функциями

экспертной системы, построенной на базе нечетких правил вывода, которая может быть использована для оценки качества обработки текста с помощью автоматизированного ДСА в задаче жанровой атрибуции текстов. Предлагается использовать количество терминов, выделенных из текста с помощью ДСА, и наличие их в тезаурусе той предметной области, которой принадлежит текст, в качестве критериев оптимальности выбора значений дистрибутивного порога и уровня доверительной вероятности и, как следствие, качества построенных в результате ДСА графов дистрибутивной и статистической связности. Для определения оптимального порогового значения разработаны итерационные алгоритмы для обоих видов ДСА. Ниже приведено краткое описание и результаты работы алгоритма для дистрибутивного варианта ДСА.

Будем характеризовать систему обработки текста с помощью ДСА рассмотренным ранее понятием "качество". Качество считается наивысшим, если в результате анализа построен оптимальный (в соответствии с введенными критериями) граф дистрибутивной связности. Оценка качества осуществляется с помощью специально разработанной для этой цели нечеткой экспертной системы. Работа алгоритма начинается с задания некоторого (достаточно низкого) начального значения дистрибутивного порога (6). Затем проводится автоматизированный ДСА выбранного текста, и эксперт определяет количество ключевых слов в получающемся дистрибутивном графе и процент ключевых слов, содержащихся в тезаурусе. По полученным данным описанная ниже экспертная система определяет начальную оценку качества ДСА (д). Далее вычисляется новое значение дистрибутивного порога: Ь = Ь + 0,1 *(1 - 0,01Коэффициент 0,1 определяет скорость сходимости алгоритма и подбирается эмпирически. Проводится ДСА с найденным порогом. Вновь определяются конкретные значения выбранных критериев оценки качества, которые вводятся в экспертную систему для получения нового значения оценки качества ДСА, которое сравнивается с предыдущим. Если новое значение выше предыдущего, то значение дистрибутивного порога увеличивается, в противном случае осуществляется уменьшение порога. Таким образом, дистрибутивный порог итерационно повышается, если "качество" ДСА возрастает, и понижается, если "качество" начинает падать. Процесс прекращается, когда "качество" перестает меняться. В результате описанной процедуры для выбранного текста определяется оптимальное значение дистрибутивного порога и строится граф связности, по

характеристикам которого эксперт осуществляет жанровую атрибуцию текста.

При работе с текстами различных жанров (монография, главы из книги, статьи из специализированных журналов, РЖ) удавалось достичь наивысшего значения оценки качества за сравнительно небольшое число итераций. Удовлетворительное значение полноты и точности лексики графов, построенных при оптимальных значениях порогов, позволило произвести жанровую атрибуцию исследованных текстов с высокой степенью достоверности. На рисунке 1 показана динамика поведения дистрибутивных порогов для нескольких типов текстов. Динамика оценки качества дистрибутивного варианта автоматизированного ДСА для соответствующих текстов показана на рисунке 2. Все оптимальные пороги соответствовали "хорошему" качеству системы. Для монографии и одной из статей оптимальный дистрибутивный порог равен 0,9, для РЖ и остальных статей - 0,8. Эксперимент всегда начинался с самого низкого значения дистрибутивного порога, равного 0,6.

рис. 2

Общие принципы построения нечеткой экспертной системы были рассмотрены выше. Для формального описания критериев

0123456789 10 Номер итерации

рис. 1

оценки качества были введены две ЛП: "Количество терминов" (Ы) и "Процент в тезаурусе" (Р), которые являются входными переменными нечеткой экспертной системы. Их базовые терм-множества состоят из трех нечетких переменных Тц = {А/ = "Малое", А2 = "Среднее", А3 = "Большое"}, ТР = {В1 = "Небольшой", В2 = "Средний", В3 = "Большой"}. Областью определения переменных А1 был взят отрезок Л' == [0, 20]. Выбор значения для максимального количества выделенных терминов определялся результатами проведенного автором эксперимента по ДСА. Областью определения переменных В, является отрезок У= [0, 100]. В рассматриваемой нечеткой экспертной системе нечеткие множества А, к В, были заданы следующими наборами параметров: А} = (-3, 3, 3, 3); А2 = (8, 12, 3, 3); А3 = (17,23,3,3); В, = (20, 20, 10, 10); В2 = (40, 60, 10, 10); В3 = (80, 120, 10, 10). Выходной переменной экспертной системы является ЛП "Качество" ДСА. Соответствующие ФП нечетких множеств С, имеют параметры: С1 = (10, 10,20,20); С2 = (40,60,20,20); С3 = (90,110,20,20).

База правил вывода была сформулирована на основе результатов эксперимента по использованию автоматизированного ДСА. База правил состоит из девяти утверждений: Если количество терминов малое, и процент наличия их в тезаурусе небольшой, то качество системы плохое;

Если количество терминов малое, и процент их наличия в тезаурусе средний, то качество системы плохое;

Если количество терминов малое, и процент их наличия в тезаурусе большой, то качество системы хорошее;

Если количество терминов среднее, и процент их наличия в тезаурусе небольшой, то качество системы плохое;

Если количество терминов среднее, и процент их наличия в тезаурусе средний, то качество системы среднее;

Если количество терминов среднее, и процент их наличия в тезаурусе большой, то качество системы хорошее;

Если количество терминов большое, и процент их наличия в тезаурусе небольшой, то качество системы среднее;

Если количество терминов большое, и процент их наличия в тезаурусе средний, то качество системы хорошее;

Если количество терминов большое, и процент их наличия в тезаурусе большой, то качество системы хорошее.

Поскольку в левой части всех правил вывода используется связка "И", нахождение степени истинности для предпосылок каждого из правил осуществлялось с помощью операции МИНИМУМ. Полученные значения степени истинности использовались для

нахождения модифицированных ФП заключений правил либо в качестве уровней "отсечения" (алгоритм Mamdani), либо в качестве весовых коэффициентов (алгоритм Larsen). Композиция модифицированных нечетких подмножеств переменной вывода осуществлялась с помощью операции МАКСИМУМ. Для получения четкого значения оценки "качества" ДСА проводилась операция приведения к четкости с помощью центроидного метода.

Ниже приведены некоторые результаты моделирования работы системы в пакете нечеткой логики Fuzzy Logic Toolbox. На рисунке 3 (а, б) показаны ФП входных нечетких переменных экспертной системы. Левая и правая области нечеткости всех переменных определяются функциями Гаусса заданной ширины. Область толерантности подбиралась экспериментально. ФП нечетких переменных, являющихся значениями ЛП "Качество" ДСА, показаны на рисунке 4. Итоговая поверхность отклика исследуемой экспертной системы представлена на рисунке 5. Переменные X.Y соответствуют входным переменным, а переменная Z отражает "качество" работы автоматизированного ДСА.

рис. За рис. 36

cUpl vtrtattt "качает »о-ДСА"

рис. 4 рис. 5

Проведенный эксперимент показал, что жанровую атрибуцию текстов можно осуществлять и с использованием графов статистической связности. Проблема заключается в оптимальном выборе уровня доверительной вероятности при построении графа. Для решения этой задачи была разработана нечеткая экспертная система оценки качества статистического варианта автоматизированного ДСА, с помощью которой можно получить оптимальное значение уровня

доверительной вероятности и построить наиболее полный и точный граф статистической связности. Данная система принципиально ничем не отличается от описанной выше. Для монографии и РЖ оптимальный уровень доверительной вероятности равен 0,9, для статей - либо 0,8, либо 0,7. Качество системы при этих уровнях оценивалось как "хорошее". Жанровая атрибуция с использованием оптимальных графов статистической связности была проведена с высокой степенью точности.

Глава 3 посвящена формальным решениям в системах машинного перевода (СМП). Создание СМП является одной из наиболее интересных проблем, связанных с моделированием языковой деятельности человека. Чтобы получить идеальный машинный перевод текста, необходимо воссоздать на компьютере, как минимум, три модели человеческой деятельности: модель мышления, модель речевой деятельности и модель мира, в котором живет человек.

За последние полвека активных работ предлагалось большое количество формальных решений по созданию СМП. В настоящее время перспектива появления более совершенных систем, обеспечивающих лучшее качество собственно машинного перевода, связана с разработкой моделей, более точно воспроизводящих действия человека-переводчика, использующих формализованные синтаксические и семантические методы анализа и синтеза, эквивалентно преобразующих смысловое содержание в тех пределах, которые допустимы для того, чтобы перевод мог бы еще называться переводом, а не переходил бы в реферирование. Прогресс в этих направлениях дается с большим трудом.

В данный момент существуют следующие типы компьютерного перевода:

1. Системы машинного перевода - программы, осуществляющие полностью автоматизированный перевод. Большинство современных программ машинного перевода выполняет перевод, опирающийся на набор заранее определенных правил.

2. Системы с функцией Translation Memory (переводческие накопители), предоставляющие средства для перевода, выполняемого человеком с помощью компьютера. Переводческий накопитель представляет собой специальным образом организованную индивидуальную базу данных.

3. Контролируемый язык и машинный перевод на основе базы знаний. Используется, чтобы упростить выражения исходного текста и повысить качество перевода.

4. Онлайновые переводчики, выполняющие перевод текста прямо в окне браузера сети Интернет, не требуя установки программы на компьютер пользователя.

5. Онлайновые словари, способные переводить слова и словосочетания, вводимые с клавиатуры, а также осуществлять поиск переводных эквивалентов.

6. Услуги по переводу в сети Интернет, предлагаемые компаниями-производителями СМП.

По современным представлениям процесс машинного перевода текстов с одного естественного языка на другой может быть разделен на три этапа: семантико-синтаксический анализ текста на входном языке; трансфер; семантико-синтаксический синтез текста на выходном языке. В различных СМП эти этапы не всегда бывают четко выделены, но, тем не менее, они всегда присутствуют.

Получить полноценный машинный перевод довольно трудно -существенно мешает омонимия и полисемия слов, несовпадение типов языка (аналитический, синтетический) и связанные с этим проблемы, и многое другое. Наиболее часто встречающимися ошибками при текстовом анализе являются неправильное распознавание антецедентов местоимений, анафорических отношений и эллиптических структур, что влечет за собой ошибки в синтезе. Кроме того в каждом языке и культуре существуют свои особенности, которые иногда весьма трудно предусмотреть при машинном переводе. Современные СМП можно использовать для перевода больших массивов однородных текстов с небольшим узкоспециализированным словарным запасом и упрощенной грамматикой.

Одним из решений перевода с помощью компьютера являются электронные словари. В работе предлагается их типологическая классификация. Все многообразие существующих словарей, созданных и использующихся при помощи компьютера, будем называть "электронными словарями" (родовое понятие), в то время как "машинными словарями" имеет смысл называть словари, созданные для работы в среде ИПС, "автоматическими словарями" - словари, работающие в СМП со встроенным в структуру машинного перевода языком-посредником, а "компьютерными словарями" - словари любого типа (переводные, учебные, терминологические, толковые и т.п.), предназначенные для использования на современных компьютерах, т.е. словари, обладающие свойствами развитой поисковой системы, дружелюбным интерфейсом (со структурой гиперссылок и пр.), активно использующие мультимедийные средства.

Особенностью лучших современных российских компьютерных переводных словарей являются их обратимость, гибкость и динамичность. Под обратимостью переводного словаря понимается возможность произвольно, по желанию пользователя, менять местами входной и выходной языки. Обратимый словарь должен иметь два разноязычных входа. Переводной эквивалент в словарной статье такого словаря фиксирует равенство абсолютных ценностей двух разноязычных слов. Гибкость компьютерного словаря -это комплекс лингвистических и программных приемов, которые упрощают обращение к словарю, расширяют возможности пользователя при работе с иноязычным текстом, снижают требования к уровню знания входного языка, а также позволяют использовать компьютерный словарь не только для хранения лексических массивов, но и для решения других задач АОТ и автоматизации лексикографических работ. Наиболее важным средством повышения гибкости словаря является упрощение формы запроса, т.е. обращения к словарю. Динамичность компьютерных словарей означает, что отбор лексики не прекращается после составления словаря, а продолжается в течение всего времени его функционирования. Переменность состава и способность воспринимать изменения в ходе функционирования являются принципиальными характеристиками, отличающими компьютерные словари от обычных.

Проблема обращения к компьютерным словарям в естественной языковой форме является одной из основных при их построении. Без решения этой проблемы в полном объеме компьютерный словарь не может претендовать на успешное решение своих основных задач - помощь человеку при работе с иноязычными текстами и автоматизацию лексикографических работ.

Что касается формальных решений с точки зрения теории машинного перевода, то наиболее интересными разработками, на наш взгляд, являются следующие: СМП ЭТАП-3, базирующаяся на компьютерной модели естественного языка на основе лингвистической теории "Смысл <--> Текст" И.А. Мельчука (ИППИ РАН); система фразеологического машинного перевода ЯЕТПАКБ, рассматривающая фразеологические сочетания, выражающие понятия, отношения между понятиями и типовые ситуации в качестве основных единиц смысла при переводе текста (ВИНИТИ); комплекс ЯРАП для лингвистических исследований по японско-русскому автоматическому переводу (Институт востоковедения РАН). Годы исследований показали, что ни один из подходов изолированно не решит все проблемы машинного перевода за обозримый промежуток времени. В той же степени

маловероятно, что в ближайшее время появится и будет до определенного уровня разработан новый "идеальный" подход. Существенный прогресс может быть достигнут только при сочетании преимуществ разных подходов.

В Главе 3 дается описание системы русско-английского машинного перевода АСПЕРА, которая создавалась преимущественно в ВЦП РАН под руководством д.ф.н. Королева Э.И. с участием автора диссертации. Это описание позволяет получить подтверждение адекватности проведенного эксперимента по оценке эффективности СМП.

Существует немало методик оценки СМП, чаще всего они опираются на статистические данные и мнение эксперта-переводчика, реже на мнение конечного пользователя. Основной проблемой при сравнении считается неравноценность программ перевода. По-прежнему важным является практический подход к оценке переводов, выполненных с помощью СМП, который до настоящего времени осуществляется в большей степени эмпирическим путем на основании профессионального опыта и знаний оценивающего. С точки зрения теории перевода адекватность переводов традиционно сводится к категориям семантической (смысловой) полноты и точности, дополняемым стилистической эквивалентностью, включающей, в частности, принцип соответствия текста перевода стилистическим нормам языка перевода (Комиссаров В.Н., Нелюбин Л.Л. и др.). Именно на основе этих параметров чаще всего и выводятся оценки качества перевода.

Многие разработчики и эксперты полагают, что основными критериями эффективности перевода являются понятность и адекватность. Существуют различные методики оценки понятности переведенного машиной текста, вводятся разнообразные шкалы понятности (Марчук Ю.Н., Nagao М., Wall R.E. и пр.) . Критерий адекватности необходим для подтверждения правильной передачи смысла оригинала. Для обоих критериев оценки качества перевода формальных методик пока нет.

Необходимо учитывать также тот факт, что, собственно, оценивается - сама система или перевод, выполненный ею. Оценка самой системы, ее лингвистического обеспечения вызывает особые трудности. Едва ли не единственным методом тестирования является метод "черного ящика". Оценки качества машинного перевода, как правило, опираются на мнения экспертов, которые, в свою очередь, базируются на типах ошибок, встречающихся при переводе. Единого стандарта определения эффективности действующих систем не

создано. Однако весьма перспективной и отражающей реальную ситуацию может стать оценка эффективности СМП с помощью нечетких экспертных систем.

Предложенные в работе нечеткие экспертные системы на основе композиционного правила вывода могут использовать различные критерии оценки качества СМП. Наиболее простым критерием является количество ошибок, допущенных системой при переводе контрольного текста. Более сложным критерием, требующим разработки специальной шкалы оценок, является степень серьезности ошибок машинного перевода.

Для проведения экспертизы оцениваемой СМП предъявляется заранее подобранный контрольный текст определенной длины и заданной тематики. Впоследствии результат работы СПМ обрабатывается экспертом-филологом, который определяет количество допущенных при переводе ошибок или степень их серьезности, после чего полученное значение критерия оценки качества вводится в экспертную систему, оценивающую качество работы тестируемой СМП. Определение единого понятия "качество" для текстов разной тематики позволяет сравнить работу различных СМП количественно в рамках единой шкалы оценок. Используя один и тот же контрольный текст, можно сравнивать СМП, находящиеся на одной стадии функционирования (разработка, отладка, коммерческий продукт).

Количество ошибок, допущенных СМП при переводе, представляет собой входную переменную нечеткой экспертной системы. Базовое терм-множество ЛП "Количество ошибок" состоит из трех нечетких переменных Тм= {А, = "Малое", А2 = "Среднее", А3 = "Большое"}, определенных в диапазоне от 0 до 40. В описываемом ниже эксперименте с СМП АСПЕРА использовались контрольные тексты средним объемом 2 Кб (одна машинописная страница). Выбор такого размера текста определялся рядом причин, в частности тем, что для фрагмента меньшего размера (предложения или абзаца) может получиться более качественный перевод, поскольку в них есть возможность более точно учитывать особенности связного текста, анафорические связи и пр. Если количество ошибок при переводе такого текста превышает 40, то, на наш взгляд, подобную СМП нельзя считать работоспособной. Входные нечеткие переменные были представлены нечеткими числами (Ь-Я) - типа со следующими параметрами: А, = (-6, 6, 6, 6); А2 = (16, 24, 4, 4); А3 = (34, 46, 6, 6). Соответствующие ФП приведены на рисунке 6. Выходной переменной нечеткой экспертной системы является ЛП "Качество" СМП. Нечеткие множества С,, использующиеся в экспертных системах, оценивающих

качество СМП и ИПС, были заданы параметрами: С, = (-10,10,20,20); С2 = (40, 60, 10, 10); С, = (90,110,20,20).

Нечеткая экспертная система работает на основе следующей базы правил вывода:

Если количество ошибок малое, то качество системы хорошее; Если количество ошибок среднее, то качество системы среднее; Если количество ошибок большое, то качество системы плохое.

Для получения логического вывода используется алгоритм Ьагееп на основе композиционного правила. Результат работы системы представлен на рисунке 7 в виде графика зависимости оценки качества СМП от количества ошибок перевода. На этом же рисунке различными символами отмечены оценки качества СМП АСПЕРА, полученные с помощью описанной нечеткой экспертной системы для контрольных текстов различной тематики: информатика и вычислительная техника (•), медицина (♦), история философии (а), охрана природы (*), бизнес (■). Выбор тематики был определен знанием автора состава словаря СМП АСПЕРА. Количественные результаты тестирования сведены в Таблице 1 (см. ниже).

Другим вариантом экспертной системы, оценивающей качество СМП, как уже упоминалось, является система, критерием оценки в которой является характер допущенных при переводе ошибок (степень их серьезности). Чтобы использовать степень серьезности ошибок в качестве критерия оценки эффективности СМП, необходимо создать "шкалу серьезности" ошибок, т.е. расположить (ранжировать) возможные ошибки, допускаемые при машинном переводе, например, в порядке возрастания их степени серьезности, присвоив каждой ошибке некоторый коэффициент. Это задача эксперта-филолога, которая решается путем анализа заданного корпуса текстов и их переводов различными СМП. Очевидно, что разные эксперты могут получить разные шкалы, и соответственно оценки качества одной и той же СМП будут различными. Вопрос разработки универсальной, единой оценочной шкалы ошибок весьма непрост. В работе предлагается

10 15 20 25 я ГрЛ <тШт •мг*ст|о-о«мбок"

Рис. 6

Рис.7

алгоритм построения нечеткой экспертной системы на основе разработанного варианта такой шкалы.

Пусть необходимо оценить качество С МП по степени серьезности допущенных при переводе ошибок. При наличии нескольких ошибок различной степени серьезности вычисляется итоговый коэффициент серьезности. Предложено несколько вариантов его расчета, оптимальным оказалось вычисление среднего значения. Средний коэффициент серьезности ошибок используется в качестве входной переменной нечеткой экспертной системы. Формально он описывается с помощью ЛП "Коэффициент серьезности ошибок" с базовым терм-множеством Т0 = {2?/ = "Небольшой", В2 = "Средний", В3 = "Большой"}. Шкала серьезности ошибок может быть нормирована, поэтому областью определения ЛП "Коэффициент серьезности ошибок" является отрезок ¥ - [0, 1]. Входные нечеткие множества имеют параметры: В, = (-0.01, 0.01, 0.2, 0.2); В2 = (0.45, 0.55, 0.15, 0.15); В3 = (0.99, 1.01, 0.2, 0.2). ФП нечетких чисел В, показаны на рисунке 8. Выходной переменной по-прежнему является ЛП "Качество" СМП.

База правил вывода в данном случае имеет вид: Если коэффициент серьезности ошибок небольшой, то качество системы хорошее;

Если коэффициент серьезности ошибок средний, то качество системы среднее;

Если коэффициент серьезности ошибок большой, то качество системы плохое.

Логический вывод производится на основе композиционного правила вывода с использованием алгоритма Матс1аш. График зависимости оценки качества СМП от коэффициента серьезности ошибок перевода изображен на рисунке 9. Символами на графике отмечены результаты оценки качества СМП АСПЕРА.

При переводе текста по информатике были допущены лишь несущественные ошибки. В текстах по медицине и истории философии встретились ошибки средней степени серьезности (от 0.4 до 0.7).

Грубые ошибки были зафиксированы в переводах текстов по бизнесу и охране природы. Количественные результаты тестирования представлены в Таблице 1 (см. ниже).

Исследование показало, что наиболее оптимальной является экспертная система оценки качества СМП, использующая оба приведенных выше критерия. Такая система определяет комбинированную оценку качества, в которой учитывается как общее количество ошибок, допущенных СМП при переводе, так и степень их серьезности. Для формального описания входных переменных используем введенные ранее ЛП "Количество ошибок" с областью определения X = [0, 40] и "Коэффициент серьезности ошибок" с областью определения У = [0, 1]. Выходной переменной экспертной системы является введенная ранее ЛП "Качество" СМП, определенная на отрезке 2 = [0,100].

База правил вывода состоит из девяти утверждений: Если количество ошибок малое, и коэффициент серьезности ошибок небольшой, то качество системы хорошее;

Если количество ошибок малое, и коэффициент серьезности ошибок средний, то качество системы хорошее;

Если количество ошибок малое, и коэффициент серьезности ошибок большой, то качество системы среднее;

Если количество ошибок среднее, и коэффициент серьезности ошибок небольшой, то качество системы хорошее;

Если количество ошибок среднее, и коэффициент серьезности ошибок средний, то качество системы среднее;

Если количество ошибок среднее, и коэффициент серьезности ошибок большой, то качество системы плохое;

Если количество ошибок большое, и коэффициент серьезности ошибок небольшой, то качество системы среднее;

Если количество ошибок большое, и коэффициент серьезности ошибок средний, то качество системы плохое;

Если количество ошибок большое, и коэффициент серьезности ошибок большой, то качество системы плохое.

Использовались оба рассмотренных в работе алгоритма нечеткого вывода. Итоговая поверхность отклика экспертной системы представлена на рисунке 10. В виде плоской "карты уровней" поверхность отклика показана на рисунке 11. В левом нижнем углу находится область "хорошего" качества СМП, соответствующая малому количеству ошибок и небольшим значениям коэффициента серьезности, правый верхний угол соответствует "плохому" качеству.

« о 02 „"а ' . и ПмТГТТЖ'^

рис. 10 рис. 11

Результаты оценки качества СМП АСПЕРА на основе анализа перевода контрольных текстов отмечены символами на поверхности отклика. Значения итоговых оценок качества СМП АСПЕРА приведены в Таблице 1. Видно, что все три экспертные системы выставили близкие оценки качества на основе анализа одного и того же текста конкретной тематики.

Таблица 1___ _ _

Тематика текста Количество / ошибок / / Коэф-/ фициент / серьезности Качество / "1",% X /Качество / "2", % Качество СМП АСПЕРА, %

Информатика 10 ^^ —^ 0.24 92 ^^ ^^ 86 88

Бизнес 16 ^^ 0.41 63 60 67

Медицина 14 0.371 71 ^^^ ^--- 65 74

История философии 14 0.314 71 77

Охрана природы 18 --- 0.433 56 —--— 57 59

Эксперимент, проведенный с СМП АСПЕРА, позволяет сделать вывод об эффективности и перспективности предлагаемого формального подхода к оценке качества систем машинного перевода. Предлагаемая методика позволяет создавать нечеткие экспертные системы оценки качества СМП, использующие различные подходы к выбору критерия оценки. Например, при разделении ошибок перевода на грамматические, синтаксические и семантические можно проводить оценку качества системы перевода по типам ошибок. В этом случае

качество СМП будет характеризоваться несколькими параметрами, и способ оценки станет более гибким.

Глава 4 посвящена формальным решениям в информационно-поисковых системах (ИПС). В последнее время существенно возросла скорость появления и накопления новых данных в самых разных областях человеческой деятельности. В связи с этим появилась необходимость создания информационных систем (ИС), которые не только содержали бы в себе средства поиска фактических данных (информации), но и помогали бы находить нетривиальные способы решения разнообразных проблем. Несколько лет назад возникло новое направление - data mining (буквально - добыча данных). Результатом его реализации должны стать системы, которые самостоятельно "рассмотрев" данные, будут делать нетривиальные выводы. Особенно актуальна проблема "добычи данных" в сети Интернет. Извлекать даже простые знания из текстовых баз данных весьма непросто, и существующие в настоящее время поисковые системы сети Интернет еще далеки от совершенства.

Автоматизированная ИПС (АИПС) является формальной моделью таких сложных интеллектуальных процессов, как анализ, синтез, обобщение, логический вывод, экстракция сведений и т.д. Данные процессы моделируются в АИПС посредством двух типов формализованных процедур: составления поисковых образов документов (индексирования) и информационного поиска. АИПС на базе программных продуктов с открытым словарем реализуют также имитацию освоения предметной области путем накопления и интерпретации лексики.

Для оценки степени соответствия поисковых образов документа (ПОД) и запроса (ПОЗ) формулируется критерий смыслового соответствия, состоящий из меры их формальной релевантности (меры близости) и ее порогового значения, при превышении которого документ признается формально релевантным запросу. Однако на практике формальная релевантность вовсе не означает содержательного соответствия выданного документа запросу. Таким образом, множество формально релевантных (выданных) документов необходимо рассматривать совместно с множеством истинно релевантных документов. Применяются различные способы оценки качества, именуемые критериями оценки эффективности АИПС или способности системы выдавать релевантные и задерживать нерелевантные запросу документы.

В целях количественного описания уровня качества поиска АИПС исторически первыми были предложены частные критерии оценки: полнота и точность. Коэффициент полноты поиска определяется отношением количества выданных релевантных документов к общему числу релевантных документов в базе. Коэффициент точности поиска представляет собой отношение количества выданных релевантных документов к общему числу документов в выдаче (формально релевантных). Эти показатели измеряют на основе экспериментов в контролируемых условиях и, как правило, в процентах. Это требует наличия экспериментальной системы с фиксированным числом документов, стандартного набора запросов и множества документов, как релевантных, так и нерелевантных каждому из обрабатываемых в эксперименте запросов. Доказано, что одновременно достигнуть стопроцентной полноты и точности поиска принципиально невозможно. К тому же ясно, что отдельно взятое значение одного из частных критериев не отражает полностью качество поиска, поэтому для оценки поисковых систем обычно используют пару критериев, однозначно описывающую выдачу. Используя эту пару критериев, можно разработать нечеткую экспертную систему оценки качества ИПС.

В Главе 4 описана структура автоматизированной многоязычной базы данных с поисковыми элементами КАСКАД, в разработке которой автор принимал участие. Эта ИПС предназначена для обеспечения зарубежных пользователей информацией об отечественных программных продуктах.

На основе наиболее широко распространенных частных критериев оценки эффективности АИПС - коэффициентов полноты и точности поиска - была сконструирована универсальная нечеткая экспертная система оценки качества, входными переменными которой являются коэффициенты полноты и точности, определяемые экспертом, а переменной выхода служит оценка качества тестируемой АИПС. Входные переменные описываются ЛП "Коэффициент полноты" и "Коэффициент точности", выходная переменная описывается ЛП "Качество" ИПС. Базовые терм-множества входных ЛП одинаковы и состоят из трех нечетких переменных: А] = = "Небольшой", А2 = В2 = "Средний", А3 = В3 = "Большой", определенных на отрезке [0, 1]. Для каждой введенной нечеткой переменной задана ее ФП (нечеткое множество на области определения). Поскольку рассматриваемые критерии оценки качества АИПС равнозначны и в равной степени должны влиять на переменную выхода, ФП нечетких множеств А, и В, одинаковы. Они показаны на рисунке 12. Нечеткие

множества А, и В,, представленные нечеткими числами (Ь-Я) - типа с гауссовскими ФП, имеют параметры: Л/ = В1 = (-0.2, 0.2, 0.1, 0.1); А2 = Ъ2 = (0.4, 0.7, 0.1, 0.1); А} = В3 = (0.9, 1.1, 0.1, 0.1). Границы толерантности и левый и правый коэффициенты нечеткости были подобраны экспериментально. Нечеткие множества С, базового терм-множества ЛП "Качество" ИПС были определены ранее.

База правил вывода экспертной системы имеет вид: Если коэффициент полноты небольшой, и коэффициент точности небольшой, то качество системы плохое;

Если коэффициент полноты небольшой, и коэффициент точности средний, то качество системы плохое;

Если коэффициент полноты небольшой, и коэффициент точности большой, то качество системы среднее;

Если коэффициент полноты средний, и коэффициент точности небольшой, то качество системы плохое;

Если коэффициент полноты средний, и коэффициент точности средний, то качество системы среднее;

Если коэффициент полноты средний, и коэффициент точности большой, то качество системы хорошее;

Если коэффициент полноты большой, и коэффициент точности небольшой, то качество системы среднее;

Если коэффициент полноты большой, и коэффициент точности средний, то качество системы хорошее;

Если коэффициент полноты большой, и коэффициент точности большой, то качество системы хорошее.

Итоговая поверхность отклика в виде плоской "карты уровней" изображена на рисунке 13. Область "хорошей" оценки качества ИПС (>90%) занимает правый верхний угол рисунка. Эта область соответствует большим значениям коэффициентов полноты и точности (> 0,9). Малые значения коэффициентов (< 0,2) определяют область "плохой" оценки качества (< 10%). Если один из коэффициентов "большой", а второй - "небольшой", то оценка качества ИПС составляет около 50%.

Нечеткая экспертная система была использована для получения оценки качества ИПС КАСКАД. Состав базы данных этой ИПС известен автору, поэтому тестирование проводилось на контрольном наборе документов. Оценка качества ИПС, полученная на основе анализа материала, выданного в ответ на первоначальный запрос, сформулированный на ЕЯ, составила Q = 54% (коэффициент точности Р = 0,675, коэффициент полноты Я = 0,49). Наличие "информационного шума" в выдаче объясняется тем, что одно лишь упоминание слов запроса в выданной статье еще не гарантирует ее истинной релевантности запросу. Путем применения методики модификации запроса удалось повысить коэффициент точности до значения Р = 0,76. Оценка качества ИПС при этом возросла до £ = 69%. Увеличить значение коэффициента полноты можно путем добавления в запрос синонимов ключевых слов. Если поисковая система не имеет словаря синонимов, или добавленный синоним не содержится в имеющемся словаре, то количество релевантных документов в выдаче увеличивается. При тестировании ИПС КАСКАД добавление синонимов существенно повысило значение коэффициента полноты (К = 0,62). Коэффициент точности стал равен Р = 0,8. Оценка качества составила б = 82%.

В то же время добавление синонимов-словосочетаний в случае, если поисковая система не имеет словаря словосочетаний, приводит к выдаче как дополнительных релевантных, так и нерелевантных документов, поскольку словосочетание интерпретируется как набор отдельных слов. В нашем эксперименте добавление синонимов-словосочетаний повысило коэффициенты полноты и точности до значений К = 0,86 и Р = 0,81, соответственно. При этом качество системы было оценено как "хорошее" {<2 = 92%). Итоговая оценка качества ИПС КАСКАД отмечена точкой на рисунке 13.

Таким образом, оценка качества ИПС определяется не только техническими характеристиками самой системы (наличием словаря синонимов, словаря словосочетаний, мощностью базы данных), но во многом зависит и от формулировки запроса, и может быть улучшена путем модификации запроса. Эксперимент показал, что предлагаемая нечеткая экспертная система может с успехом быть использована для формальной оценки качества поисковых систем.

В Заключении подводятся итоги исследования, определяется значимость полученных результатов и перспективы развития предложенного направления оценки интеллектуальных систем.

Основной теоретический вывод выполненной работы в том, что впервые предложено использовать теорию нечетких множеств для создания нового подхода к проведению оценки лингвистических интеллектуальных систем на базе нечеткой логики. Подход претендует на универсальность, т.к. с его помощью можно оценить эффективность ИС разного типа. Это подтвердил проведенный эксперимент, в результате которого были созданы действующие модели систем оценки качества СМП, ИПС и систем обработки текстов с помощью ДСА.

Основные положения предлагаемого подхода таковы: в ряде естественных и гуманитарных наук применяются нечеткие экспертные системы, использующие композиционное правило вывода для получения тех или иных заключений на основе определенного набора входных параметров. Принцип работы таких систем состоит в том, что существует определенный набор предпосылок и определенный набор заключений, связанных друг с другом с помощью так называемой базы правил вывода. Нечеткое правило вывода - это нечеткое отношение предпосылки и заключения. При конкретных значениях входных параметров степень влияния каждой предпосылки на каждое заключение различна, т.к. для математического описания предпосылок (и заключений) используются нечеткие множества. Степень истинности предпосылок модифицирует функции принадлежности заключений правил вывода, осуществляя тем самым операцию, называемую в теории нечеткой логики нечеткой импликацией. Существуют различные алгоритмы нечеткой импликации. Все модифицированные функции принадлежности одного и того же заключения объединяются, таким образом осуществляется второй этап алгоритма нечеткого вывода - композиция. Получаемое выходное нечеткое множество приводится к четкости тем или иным способом, что дает конкретное значение выходной переменной.

Для создания нечеткой экспертной системы оценки качества ИС необходимо: 1) формализовать понятие качества системы, 2) определить критерии качества, 3) формализовать эти критерии, 4) разработать базу правил вывода, связывающую предпосылки (формализованные критерии оценки) и заключение (оценку качества ИС). Формализация входных и выходного параметров осуществляется в предлагаемом подходе с помощью введения соответствующих лингвистических переменных, значениями которых служат нечеткие переменные. Их формальное описание осуществляется с помощью нечетких множеств. Критерии качества являются входными переменными экспертной системы. Оценка качества служит выходной

переменной. Ядром системы является база правил вывода. Разработка базы правил вывода - наиболее сложная часть создания экспертной системы, которая является основной задачей эксперта-лингвиста, создающего нечеткую оценивающую систему. Преимуществами предлагаемого подхода являются:

1) универсальность, включающая в себя единое понятие качества для всех ИС, а также независимость от типа конкретной ИС, что позволяет производить сравнительную оценку эффективности однотипных ИС на одинаковой стадии разработки и функционирования;

2) открытость, подразумевающая возможность учета любых критериев (факторов), влияющих на оценку качества ИС, не обязательно количественных, а таких, как, например, удобство использования и др., которые могут быть формализованы с помощью введения нечетких множеств. Нечеткая логика позволяет количественно описать такие понятия как плохой, хороший, много, мало и т.д.;

3) простота, что выражается в возможности достаточно быстрой реализации предлагаемых экспертных систем в современных математических пакетах, таких как MATLAB, содержащих элементы нечеткой логики;

4) наглядность, т.е. формальное описание таких оценок как "качество системы хорошее, если она допускает мало ошибок" и т.д.

В диссертационной работе описана идеология созданных действующих моделей экспертных систем оценки качества интеллектуальных лингвистических систем разного типа, разработаны критерии оценки и базы правил вывода для всех систем. Тестирование предложенных систем оценки на базе нечеткой логики проводилось на трех типах интеллектуальных систем автоматизированной обработки текста (ДСА, СМП, ИПС).

Впервые в интегрированной среде MATLAB Fuzzy Logic Toolbox разработаны действующие модели нечетких экспертных систем оценки качества СМП, ИПС и ДСА на основе композиционного правила вывода. Результаты исследования и оценок автоматических систем способны внести заметный вклад как в прикладное, так и теоретическое языкознание.

Проведенные эксперименты подтвердили эффективность предлагаемого подхода, позволяющего создавать универсальные оценивающие нечеткие экспертные системы для любого типа ИС при любом количестве критериев оценки качества. Тем самым, идея

использовать нечеткие экспертные системы для оценки эффективности ИС открывает новое направление в компьютерной лингвистике: создание универсальных систем оценки качества интеллектуальных лингвистических систем.

Основное содержание диссертации отражено в следующих публикациях:

Монография и учебно-методические пособия:

1. Формальные методы в современной прикладной лингвистике. -"Народный учитель", МГОУ, М., 2002 г. -16 п.л.

2. Краткий справочник по курсу «Новые информационные технологии» для студентов-филологов. Часть I, II, III Внешсигма, М., 1998-1999. - 6 п.л.

3. Словарь Computing and multimedia. Внешсигма, М., 1996.- 10 п.л. Статьи и материалы конференций:

1. Лингвистические проблемы применения дистрибутивной и статистической методик в автоматизированном варианте для анализа научно-технических текстов. //Материалы Третьей конференция по Машинному фонду русского языка. М., ИРЯ АН СССР, 1989 - 0,1 п.л.

2. Сопоставительный анализ автоматизированных дистрибутивной и статистической методик // Материалы Международного семинара «ЭВМ и перевод». Тбилиси, 1989 - 0,1 п.л.

3. Система автоматической классификации текстовой информации. //Техника средств связи. М., № 3, 1989. - 0,5 п.л. (в соавт.)

4. Особенности применения автоматизированного ДСМ для анализа НТТ по системам связи и управления. МГУ им. Ломоносова, М., 1989 //Деп. ИНИОН АН СССР № 37622 - 0,5 п.л.

5. Лингвистические проблемы применения автоматизированной ДС методики для анализа НТТ по системам связи и управления. //Автореферат кандидатской диссертации, М., 1989. - 1 п.л.

6. Проблемы курса «Компьютерная лингвистика».// Материалы Второй Республиканской конференции "Компьютерные программы в обучении белорусскому и иностранным языкам". Минск, 1995 г. Минск: МГЛУ ин. яз., 1995.-0,1 п.л.

7. Проблемы снятия полисемии и омонимии терминов и ядерной лексики в системах машинного перевода. //Материалы научно-методического симпозиума «Язык в действии», МАПРЯЛ, ТГУ, 1997. -0,1 п.л.

8. Возможности использования систем машинного перевода в обучении русскому языку как иностранному. //Материалы

межвузовского научно-практического семинара "Теория и практика преподавания русского языка иностранным учащимся в вузе", М., 1997. - 0,1

9. Преподавание русского языка как иностранного и автоматизированные обучающие системы. //Вестник Центра международного образования МГУ им. М.В. Ломоносова, М., 1998 г. -0,5 п.л. (в соавт.)

10. Использование систем машинного перевода при разработке автоматизированных обучающих систем. // Компьютерная лингвистика и обучение языкам. Сборник научных статей. Минский ГЛУ, 2000. 0,5 п.л.

11. Использование электронных словарей при обучении русскому языку как иностранному. //Материалы ежегодного межвузовского научно-методического семинара «Теория и практика преподавания русского языка иностранным учащимся в вузе». Май 1999г., МГИМО. -0,2 п.л. (в соавт.)

12. Некоторые формальные методы в лингвистике. // Филологические науки. Сборник научных трудов № 3 (18). МГИМО, 2000. - 0,4 п.л.

13. Новые перспективы автоматизации обучения языкам //Филологические науки. Сборник научных трудов № 5 (19).МГИМО, 2000. 0,4 п.л.

14. Формальные методы в современной лингвистике. // Материалы научно-практической конференции МПУ, апрель 2001. - 0,2 п.л.

15. Некоторые вопросы использования формальных методов в преподавании языков. // Материалы научно-практической конференции МГИМО, 2002 г. - 0,1 п.л.

16. Методы оценки эффективности интеллектуальных систем. //Филологические науки. Сборник научных трудов № 13 (28). МГИМО, 2003. -0,8 п.л.

17. Нечеткая логика в лингвистике. //Филологические науки. Сборник научных трудов № 12 (27). МГИМО, 2003. -0,6 п.л.

18. Электронные словари и машинный перевод. //Филологические науки. Сборник научных трудов № 14 (29). МГИМО, 2003. -0,8 п.л.

19. Экспертные оценки в гуманитарных науках. //Сборник научных трудов N1, МГОУ, 2003. -0,6 п.л.

20. Методы оценки систем машинного перевода. //Филологические науки. Сборник научных трудов № 15 (30). МГИМО, 2003. -0,6 п.л.

21. Типологии ошибок при машинном переводе. //Филологические науки. Сборник научных трудов № 16 (31). МГИМО, 2003. - 0,6 п.л.

Подписано в печать- 10.07. 2003 г. Бумага офсетная. Гарнитура «Times New Roman». Печать офсетная. Формат бумаги 60/84 шб Усл. пл. 2,6.

_Тираж 100 экз. Заказ № 230._

Отпечатано в Издательстве МГОУ с готового оригинал-макета. 105005. г. Москва, ул. Радио, д. 10-а, тел.: 265-41-63, факс:265-41-62.

РНБ Русский фонд

2006-4 9909

. i

i

2 5 аН i-03

Оглавление научной работы автор диссертации — доктора филологических наук Максименко, Ольга Ивановна

Введение

ГЛАВА 1. ФОРМАЛЬНЫЕ МЕТОДЫ В СОВРЕМЕННОЙ ЛИНГВИСТИКЕ

1.1. Формальные методы в современной науке

1.2. Компьютерная лингвистика

1.3. Анализ электронных текстов

1.4. Искусственные языки

1.5. Автоматическое понимание текста

1.6. Современные зарубежные методы АОТ

1.7. Корпусная лингвистика

1.8. Формальная семантика

1.9. Семантические сети

1.9.1. Применение семантических сетей

1.9.2. Семантическая нейронная сеть

1.10. Дистрибутивно-статистический анализ лексики

1.10.1. Эксперимент для опенки алгоритма ДСА

1.11. Нечеткая логика

1.12. Решение задач с применением нечеткой логики

1.12.1. Элементы теории нечетких множеств

1.12.2. Нечеткие выводы

1.12.3. Эффективность нечетких экспертных систем

1.13. Пакеты нечеткой логики

1.13.1. Пакет Fuzzy Logic Toolbox

1. 14. Выводы к Главе

ГЛАВА 2. МЕТОДЫ ОЦЕНКИ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ

2.1. Экспертные опенки

2.2. Математические модели поведения экспертов и анализа экспертных оценок

2.3. Экспертные оценки в различных областях человеческой деятельности

2.3.1. Нечеткие выводы в задачах управления и диагностики

2.3.2. Оценка знаний в педагогике

2.3.3. Оценка информационного обеспечения

2.3.4. Оценка информационных технологий и эффективности инвестиций

2.4. Оценка лингвистических систем

2.4.1. Оценка систем машинного перевода

2.4.2. Оценка информационно-поисковых систем

2.4.3. Оценка качества интеллектуальных информационных систем (ИИС)

2.5. Оценка ИС с помощью нечетких экспертных систем

2.6. Нечеткая экспертная система для оценки ДСА

2.7. Выводы к Главе

ГЛЛВЛ 3. ФОРМАЛЬНЫЕ РЕШЕНИЯ В СИСТЕМАХ МАШИННОГО ПЕРЕВОДА

3.1. Современное состояние машинного перевода

3.2. Проблемы машинного перевода

3.3. Электронные словари и машинный перевод

3.3.1. Свойства компьютерных словарей

3.3.2. Типология электронных словарей

3.4. Некоторые современные российские системы МП

3.4.1. Технология компаний ПРОМТ и АРСЕНАЛЪ

3.4.2. Лексические функции и машинный перевод

3.4.3. Перевод восточных языков

3.4.4. Системы фразеологического машинного перевода

3.5. Система машинного перевода АСПЕРА

3.6. Методы оценки систем машинного перевода

3.7. Типологии ошибок

3.8. Оценка СМП с помощью нечетких экспертных систем

3.9. Выводы к Главе

ГЛАВА 4. ФОРМАЛЬНЫЕ РЕШЕНИЯ В ИНФОРМАЦИОННО-ПОИСКОВЫХ СИСТЕМАХ

4.1. Информация и знание

4.1.1 Автоматизированное извлечение знаний

4.1.2. Содержательный поиск в текстах

4.1.3. Оперативный анализ текстов

4.2. Автоматизированные информационно-поисковые системы

4.2.1. Методы автоматизированного индексирования, рубрицирования и аннотирования

4.2.2. Модели поиска и эффективность поиска информации

4.2.3. Поиск в сети Интернет

4.2.4. Информационно-поисковый гипертекст

4.3. Информационно-поисковая система КАСКАД 374 4.4.0ценка качества ИПС нечеткими экспертными системами 380 4.5. Выводы к Главе

Введение диссертации2003 год, автореферат по филологии, Максименко, Ольга Ивановна

Круг проблем, связанных с необходимостью изучения внутренней структуры языка и применения результатов таких исследований на практике, к настоящему времени стал чрезвычайно широк. Вызвано это в первую очередь тем, что за последнее десятилетие существенно возросло количество и произошли качественные изменения систем автоматической обработки текста, опирающихся на глубинные структуры языка и оперирующих сложными плохо формализуемыми элементами. Подобные системы требуют серьезной экспертной оценки.

Современные экспертные оценки опираются на сложный математический аппарат, в основе которого, по большей части, лежат методы математической статистики и теории вероятностей. Такой тип экспертных оценок далеко не всегда подходит для систем автоматической обработки текста на естественном языке, который принадлежит числу плохо формализуемых систем. На первый взгляд, если преследовать сугубо конкретную цель, как, например, создание новой системы оценки и проведение собственно процесса оценки, то невозможно говорить о влиянии полученных результатов (как практических, так и теоретических) на формирование каких-либо общих теорий, имеющих ценность для языкознания в целом. Тем не менее, в прикладном языкознании действует тот же закон, что и в других науках - закон взаимного влияния сугубо прикладных исследований на теоретические и наоборот. Это подтверждается созданием прикладных моделей в разных областях лингвистики.

За последнее десятилетие XX века рост быстродействия компьютеров, объемов их оперативной и внешней памяти, пропускной способности внешних устройств и каналов связи качественно изменил ситуацию в вычислительной технике и сферах ее применения. Современная прикладная лингвистика не обходится без активного использования вычислительной техники, а компьютер превратился по сути в новое орудие труда прикладного лингвиста. Однако в наши дни наблюдается существенный разрыв между возможностями аппаратных средств компьютеров и применяемыми методами решения прикладных задач. Наиболее освоенные на сегодня методы базируются на хорошо формализованных алгоритмах, полученных в результате построения математических моделей предметных областей. Чаще всего это трудоемкие расчеты по известным формулам, либо сравнительно простые последовательности действий, приводящие после многократного повторения к желаемому результату (итерационные алгоритмы). В практической же деятельности многие актуальные задачи относятся к типу плохо формализуемых, особенно если дело касается естественного языка, для которого неизвестны аналитические зависимости или цепочки действий, приводящие к результату без интеллектуального вмешательства человека.

До последнего времени для решения плохо формализуемых лингвистических задач просто не хватало ресурсов вычислительной техники, и поэтому было бессмысленно ставить саму проблему серьезного их решения. Сегодня создание алгоритмов и прикладных программ, наиболее полно использующих ресурсы современных компьютеров для решения нечетких задач, к которым относятся и лингвистические, является весьма актуальной проблемой.

Как правило, в плохо формализуемых задачах имеется некоторый набор параметров, описывающих объекты предметной области, причем, нельзя с уверенностью сказать, что этот набор параметров наверняка полон и адекватен, а сами измеренные значения параметров также в совокупности полны, непротиворечивы и не искажены. Все это не позволяет применять для решения плохо формализуемых задач традиционные статистические методы, методы оптимизации и аппроксимации.

Методы решения плохо формализуемых задач базируются, как правило, на обработке эмпирических данных, накопленных в результате ряда измерений и экспериментов. Соответственно, одной из основных проблем является разработка способов организации хранения информации в базах данных, осуществления выборки и оценки результатов выборки данных о предметных областях в зависимости от решаемой задачи.

В связи с появлением мощных компьютеров в разных отраслях знания широко используется метод математических моделей, который применяется для решения прикладных задач в технических науках, при исследовании проблем экономики и социологии, в вопросах биологии, геологии и лингвистики, а также в тех разделах науки, которые несколько десятилетий тому назад казались недоступными для математического изучения. По мнению В.М. Глушкова, все более широкое использование компьютеров для изучения математических сторон различных научных проблем привело к тому, что математика обрела новое средство для своего развития, своеобразную форму научной практики, каким является математический эксперимент (или имитационное, численное моделирование).

Методы, основанные на нейросетевых алгоритмах, нечеткой логике, генетических алгоритмах, а также экспертные системы и ряд других направлений, составляют базу современных технологий прогнозирования на основе временных рядов данных, извлечения закономерностей из данных (data mining), создания систем поддержки принятия решений (DSS decision support system), что аккумулируется термином "интеллектуальный анализ данных".

Для решения задач, относящихся к классу статистических, применяются обучаемые методом "проб и ошибок" нейронные сети, являющиеся байесовскими классификаторами, работающими в условиях отсутствия знания функций распределения вероятности. Нечеткая логика позволяет работать с параметрами, имеющими скорее качественную природу типа: "большой - маленький", а не точное значение, выражаемое определенной цифрой. Экспертные системы служат способом привлечения знаний экспертов для решения плохо формализованных задач. Все более широкое распространение получают экспертные системы на базе нечеткой логики.

Современное общество называют информационным. Для этого есть серьезные основания: в последние десятилетия резко возросли потоки информации во всех сферах человеческой деятельности и появились мощные технические средства ее передачи и обработки, однако, общение между странами и народами по-прежнему затруднено, и одной из основных трудностей остается языковой барьер. Традиционные методы преодоления языковых барьеров - это изучение иностранных языков и переводческая деятельность. Но с ростом экономических, политических и культурных связей между странами, а также в связи с повышением интенсивности информационных потоков между ними эти методы становятся недостаточными. Поэтому, несмотря на все трудности и используя многие доступные формальные методы, продолжают развиваться интеллектуальные системы, такие как системы машинного перевода, переводческие накопители, огромные по размеру и наполнению базы знаний поисковых систем, действующие как автономно, так и в среде сети Интернет, - в этом серьезная роль и большая заслуга прикладной лингвистики, к задачам которой относится и оценка этих интеллектуальных систем.

Актуальность темы: в условиях информационного общества обилие разработанных и разрабатываемых интеллектуальных систем обработки текста, к которым относятся информационно-поисковые системы и системы машинного перевода в том числе, требует быстрой и адекватной оценки. Важно иметь представление о качестве систем как на стадии начальной разработки, так и на стадии готового продукта. Решение подобной задачи традиционными экспертными способами чрезвычайно трудоемко и, как правило, дает субъективный результат. Создание формальной методики решения этой проблемы - веление времени, тем самым тема диссертационной работы актуальна, как в теоретическом, так и практическом смысле

Научная новизна работы определяется следующими результатами:

1. Разработан новый подход к оценке эффективности систем автоматической обработки текста с применением современного математического аппарата нечеткой логики, по сути экспертная система оценки интеллектуальных систем на базе нечеткой математики.

2. Создан новый комплекс критериев оценки интеллектуальных систем.

3. Разработанный подход является универсальным: нечеткие экспертные системы позволяют оценивать качество интеллектуальных систем с единых позиций в зависимости от требуемой степени точности и сложности оценки.

4. Проведено тестирование созданной системы оценки качества на трех типах интеллектуальных систем автоматической обработки текста -автоматизированном дистрибутивно-статистическом анализе (ДСА), системе машинного перевода (СМП), информационно-поисковой системе (ИПС), в разработке которых автор принимал активное участие.

5. В работе предложена новая типологическая классификация электронных словарей и экспериментальная классификация серьезности ошибок при русско-английском машинном переводе.

Научные положения, изложенные в работе, опираются на обширные аналитические исследования имеющихся в мировой науке работ по близкой тематике. В итоге создано новое направление оценки плохо формализуемых интеллектуальных систем на базе нечеткой логики. Объект исследования: существующие на настоящий момент формальные методы оценки интеллектуальных лингвистических систем разного типа, включая системы машинного перевода и информационно-поисковые системы. Цели и задачи:

- изучение и анализ существующих современных формальных методов автоматической обработки естественного языка;

- изучение и анализ формальных методов оценки интеллектуальных систем (ИС);

- обоснование необходимости создания формального метода оценки интеллектуальных систем на базе нечеткой логики и создание универсальной системы оценки на базе этого метода;

- тестирование разработанной системы на ИС разного типа: автоматизированном варианте ДСА, СМП и ИПС.

Теоретическая значимость: системы экспертных оценок представляют собой сложный аппарат, строящийся, как правило, на статистических методах. Такие методики не слишком хороши для систем автоматической обработки текста на естественном языке, поскольку язык принадлежит числу плохо формализуемых систем. Результаты исследования и оценок автоматических систем обработки текста способны внести существенный вклад как в прикладное, так и теоретическое языкознание. Научные результаты фактически открывают повое направление создания систем оценки интеллектуальных лингвистических систем.

Практическая ценность: впервые создана универсальная система оценки автоматических систем обработки текста на базе нечеткой логики, способная оценивать эффективность разнообразных интеллектуальных систем по комплексу изменяемых критериев. Экспертная система является реально действующей в интегрированной среде МАТЬЛВ. Методы исследования: в первую очередь системный метод анализа существующих достижений в области создания автоматизированных систем и разнообразных систем оценки и определении научной целесообразности применения аппарата нечеткой логики для оценки лингвистических систем; метод моделирования при проектировании и разработке собственно экспертной системы на базе нечеткой логики; описательно-аналитический и типологический методы при сравнении полученных результатов оценки.

Материалом исследования послужили следующие автоматизированные системы обработки текста:

1) автоматизированный дистрибутивно-статический анализ, которым был обработан массив текстов объемом более 100 тыс. словоупотреблений, состоящий из текстов разных жанров (монография, научные статьи, рефераты из реферативного журнала, массив толкований терминологического словаря научно-технической терминологии по системам связи и управления);

2) система машинного перевода АСПЕРА, тестирование которой проводилось на текстах по 5 тематикам (бизнес, история философии, охрана окружающей среды, информатика, медицина) общим объемом 100 Кб;

3) информационно-поисковая система КАСКАД, содержащая около 1000 статей.

Объем исследования подтверждает достоверность полученных результатов.

Апробация: основные положения работы изложены в монографии "Формальные методы в современной прикладной лингвистике" (2002 г.) и других печатных работах автора (более 20), а также представлены в виде докладов и выступлений на межвузовских, всероссийских и международных конференциях.

Структура работы: в соответствии с поставленш»ши задачами диссертационная работа состоит из введения, четырех глав, заключения, списка использованной литературы и ряда приложений.

Заключение научной работыдиссертация на тему "Формальные методы оценки эффективности систем автоматической обработки текста"

4.5. Выводы к главе 4

1. Для осуществления содержательного поиска информации в текстах необходимо применение специальной технологии написания и отладки запросов к полнотекстовой поисковой системе. Эта технология может быть с той или иной степенью эффективности применена для различных поисковых систем и любого ЕЯ. При автоматическом анализе текстовой информации с использованием поисковой системы решаются задачи определения терминов, проводится поиск лексических образов абстрактных (обобщенных) понятий любого вида, систематизация собранных о предмете или предметной области (ситуациях и правилах) сведений, заключенных в множестве текстов и пр.

2. ЛИПС является формальной моделью таких сложных интеллектуальных функций, как анализ и синтез, обобщение, логический вывод, экстракция сведений и т.д. Данные процессы моделируются в АИПС посредством двух типов формализованных процедур: - преобразование потоков (массивов) сообщений -информационный поиск, в том числе текущий или ретроспективный, отбор из поискового массива множества сообщений, подчиняющихся определенным формальным условиям; - преобразование документов (сообщений) - составление поисковых образов индексов (индексирование) документов, отбор из текста документа или вспомогательных лексических коллекций определенных терминов или других лексических единиц для концентрированного отображения содержания сообщения. Для оценки степени их соответствия формулируется критерий смыслового соответствия, который представляет из себя пару, состоящую из меры формальной релевантности (меры близости) поисковых образов документа и запроса и порогового значения меры близости, при превышении которого документ признается формально релевантным соответствующему запросу Однако истинно релевантным запросу следует считать документ, смысловое содержание которого соответствует запросу. Для оценки количества истинно релевантных документов в ответе на запрос используются критерии полноты и точности, которые можно считать частными критериями оценки эффективности ИПС. Используя эту пару критериев, можно разработать нечеткую экспертную систему оценки качества ИПС.

3. Наибольшее распространение в настоящее время получил линейный (или векторный) метод поиска информации по ключевым словам, который используют большинство распределенных ИПС сети Интернет. Использование для поиска высокочастотных терминов текста ведет к увеличению полноты поиска, т.к. увеличивается вероятность их совпадения с терминами запроса. Совпадение редких терминов запроса и документа свидетельствует о релевантности документа, т.е. использование редких терминов повышает точность поиска.

4. 4. Эксперимент по тестированию нечеткой экспертной системы оценки эффективности следующего типа ИС проводился на ИПС КАСКАД, представляющей собой поисковую систему, предназначенную для обеспечения информацией пользователей об отечественных программных продуктах (со элементами встроенной СМП), по предложенной в разделе 2.5 методике. Для количественной оценки качества поиска АИПС необходимо использовать одновременно два частных критерия: критерий полноты и критерий точности поиска. Другим вариантом является использование интегральных критериев, которые представляют собой числовые оценки качества работы ИПС.

При использовании частных критериев могут возникать проблемы, когда, например, у одной выдачи критерий полноты больше, чем критерий точности, а у другой, наоборот, критерий точности больше, чем критерий полноты. В этом случае совместное использование критериев приводит к противоречивой ситуации, когда невозможно отдать предпочтение одной из выдач. Решить указанную проблему позволяет нечеткая экспертная система, входными переменными которой являются критерии полноты и точности поиска, а выходной -уровень качества поиска тестируемой ЛИПС. В зависимости от предпочтений эксперта, составлявшего базу правил логического вывода системы, всегда будет сделан однозначный вывод о качестве конкретного поиска. Рассматриваемый вариант системы использует одновременно два критерия оценки качества: критерий полноты поиска и критерий точности поиска. Эксперимент показал, что разработанный подход к оценке интеллектуальных систем на базе нечеткой логики подтверждает свою эффективность и при оценке такого типа ИС как информационно-поисковые системы.

ЗАКЛЮЧЕНИЕ

Одной из современных задач прикладной лингвистики является разработка интеллектуальных лингвистических систем, в частности систем машинного перевода, информационно-поисковых систем и других многочисленных систем автоматической обработки текста. Оценка эффективности таких систем, а также сравнительный анализ их функционирования представляют собой актуальную и сложную задачу. Ситуация на данный момент такова, что развитие интеллектуальных лингвистических систем существенно опережает развитие систем оценки их эффективности. К настоящему моменту существуют разрозненные, часто субъективные подходы к оценке качества, как, например, подход, основанный на ранжировании заданий тестируемой системе по уровням сложности, при котором для обработки плохо формализуемых объектов задается некоторый набор параметров, описывающих элементы предметной области, причем, нельзя с уверенностью сказать, что этот набор параметров наверняка полон и адекватен, а сами измеренные значения параметров также в совокупности полны, непротиворечивы и не искажены. Все это не позволяет применять для решения плохо формализованных задач традиционные статистические методы, методы оптимизации и аппроксимации. Универсального метода оценки интеллектуальных систем разного типа - систем машинного перевода, информационно-поисковых систем, других методов обработки текстов на естественном языке - не существовало.

В данной диссертационной работе впервые предложено использовать теорию нечетких множеств для создания нового подхода к проведению оценки лингвистических интеллектуальных систем на базе нечеткой логики. Подход претендует на универсальность, т.к. с его помощью можно оценить эффективность ИС разного тина. Это подтвердил проведенный эксперимент, в результате которого были созданы действующие модели систем оценки качества СМИ, ИГ1С и систем обработки текстов с помощью ДСА. Основные положения предлагаемого подхода таковы: в ряде естественных и гуманитарных наук применяются нечеткие экспертные системы, использующие композиционное правило вывода для получения тех или иных заключений на основе определенного набора входных параметров. Принцип работы таких систем состоит в том, что существует определенный набор предпосылок и определенный набор заключений, связанных друг с другом с помощью так называемой базы правил вывода. Нечеткое правило вывода - это нечеткое отношение предпосылки и заключения. При конкретных значениях входных параметров степень влияния каждой предпосылки на каждое заключение различна, т.к. для математического описания предпосылок (и заключений) используются нечеткие множества. Степень истинности предпосылок модифицирует функции принадлежности заключений правил вывода, осуществляя тем самым операцию, называемую в теории нечеткой логики нечеткой импликацией. Существуют различные алгоритмы нечеткой импликации. Все модифицированные функции принадлежности одного и того же заключения объединяются, таким образом осуществляется второй этап алгоритма нечеткого вывода - композиция. Получаемое выходное нечеткое множество приводится к четкости тем или иным способом, что дает конкретное значение выходной переменной.

Чтобы создать нечеткую экспертную систему оценки качества ИС, необходимо: 1) формализовать понятие качества системы, 2) определить критерии качества, 3) формализовать эти критерии, 4) разработать базу правил вывода, связывающую предпосылки (формализованные критерии оценки) и заключение (оценку качества ИС). Формализация входных и выходного параметров осуществляется в предлагаемом подходе с помощью введения соответствующих лингвистических переменных, значениями которых служат нечеткие переменные. Их формальное описание осуществляется с помощью нечетких множеств. Критерии качества являются входными переменными экспертной системы. Оценка качества служит выходной переменной. Ядром системы является база правил вывода. Разработка базы правил вывода - наиболее сложная часть создания экспертной системы, которая является основной задачей эксперта-лингвиста, создающего нечеткую оценивающую систему.

Преимуществами предлагаемого подхода являются:

1) универсальность, включающая в себя единое понятие качества для всех ИС, а также независимость от типа конкретной ИС, что позволяет производить сравнительную оценку эффективности однотипных ИС на одинаковой стадии разработки и функционирования.

2) открытость, подразумевающая возможность учета любых критериев (факторов), влияющих на оценку качества ИС, не обязательно количественных, а таких, как, например, удобство использования и др., которые могут быть формализованы с помощью введения нечетких множеств. Нечеткая логика позволяет количественно описать такие понятия как плохой, хороший, много, мало и т.д.

3) простота, что выражается в возможности достаточно быстрой реализации предлагаемых экспертных систем в современных математических пакетах, таких как МАТЬАВ, содержащих элементы нечеткой логики.

4) наглядность, т.е. формальное описание таких оценок как "качество системы хорошее, если она допускает мало ошибок" и т.д.

В диссертационной работе описана идеология созданных действующих моделей экспертных систем оценки качества интеллектуальных систем разного типа, разработаны критерии оценки и базы правил вывода для всех систем. Тестирование предложенных систем оценки на базе нечеткой логики проводилось на трех типах интеллектуальных систем автоматизированной обработки текста.

1. Система, позволяющая определять оптимальный дистрибутивный порог и уровень доверительной вероятности при проведении автоматизированного ДСА текста. Такая система используется, в частности, для жанровой атрибуции текстов в большом информационном потоке. Для этого проводится процедура автоматизированного дистрибутивно-статистического анализа при некотором дистрибутивном пороге, далее в соответствии с выбранными критериями производится оценка качества ДСА с помощью разработанной нечеткой экспертной системы. Если качество не удовлетворяет требованию эксперта, то производится коррекция порогового значения и процедура ДСА повторяется с новым значением порога. Итерационный процесс повторяется до тех пор, пока не будет достигнута приемлемая оценка. Тем самым разработан итерационный алгоритм определения оптимального значения дистрибутивного порога и уровня доверительной вероятности при проведении ДСА текстов, основной частью алгоритма является динамическая нечеткая экспертная система оценки качества ДСА. Построена базовая модель системы, проведена формализация критериев оценки. Эксперимент с действующей моделью нечеткой системы показал эффективность предлагаемого алгоритма для жанровой атрибуции текстов;

2. Система оценки качества СМП. Для тестирования СМП были разработаны различные критерии оценки качества: количество ошибок перевода, степень серьезности ошибок перевода, а также пример объединения двух этих критериев, в результате была получена универсальная экспертная система оценки качества СМИ. Для формализации ряда критериев требуются специальные шкалы. Так, для определения степени серьезности ошибок перевода потребовалось создание варианта "шкалы серьезности ошибок". Рабочая модель оценочной экспертной системы была протестирована на СМИ ЛСПЕРА, т.к. автор диссертации принимала непосредственное участие в разработке и создании этой СМИ. Результаты оказались весьма обнадеживающими и показали работоспособность предлагаемых экспертных систем. 3. Система оценки эффективности поиска ИПС. Выбрав соответствующий критерий эффективности, можно построить нечеткую экспертную систему и получить количественную оценку качества ИПС. В проведенном эксперименте за основу были для простоты выбраны известные критерии полноты и точности поиска ИПС. Построенная на базе этих критериев нечеткая экспертная система оценки качества была протестирована на ИПС КАСКАД, в создании которой автор также принимала непосредственное участие. Результаты показали возможность и перспективность создания подобных систем оценки.

Впервые в интегрированной среде MATLAB Fuzzy Logic Toolbox разработаны действующие модели нечетких экспертных систем оценки качества СМП, ИПС и ДСА на основе композиционного правила вывода. Результаты исследования и оценок автоматических систем способны внести определенный вклад как в прикладное, так и теоретическое языкознание.

Проведенные эксперименты подтвердили эффективность предлагаемого подхода, позволяющего создавать универсальные оценивающие нечеткие экспертные системы для любого типа НС при любом количестве критериев оценки качества. Тем самым, идея использовать нечеткие экспертные системы для оценки эффективности НС открывает новое направление в компьютерной лингвистике: создание универсальных систем оценки качества интеллектуальных лингвистических систем.

Список научной литературыМаксименко, Ольга Ивановна, диссертация по теме "Прикладная и математическая лингвистика"

1. Лверкин А.Н., Батыршин И.З. и др. Нечеткие множества в моделяхуправления и искусственного интеллекта. Под ред. Поспелова Д.Л., М., Наука, 1986,311 с.

2. Лгеев В.Н., Узилевский Г.Я. Человеко-компыотерное взаимодействие: концепции, процессы, модели. М., Мир книги, 1995, 352 с.

3. Аграев В.А., Казакевич Б.Л., Кобрин Р.Ю. Первый частотный словарь индексирования (рецензия) //НТИ. Сер.2., 1976. N 4, с.36-38.

4. Алексеев П.М. Статистическая лексикография (типология, составление и применение частотных словарей). JI., ЛГПИ им. А.И. Герцена, 1975.

5. Анализ нечисловой информации в социологических исследованиях. М., Наука, 1985,221 с.

6. Анализ нечисловых данных в системных исследованиях. Сборник трудов, вып. 10. М., ВНИИСИ, 1982, 155 с.

7. Аношкина Ж.Г. Подготовка частотных словарей и конкордансов на компьютере. М., 1995.

8. Апресян Ю.Д., Богуславский и др. Лингвистический процессор для сложных информационных систем. М., Наука, 1992, 256 с.

9. Апресян Ю.Д. и др. Лингвистическое обеспечение системы ЭТАП-2. М., Наука, 1989, 295 с.

10. Апресян Ю.Д. Отечественная теоретическая семантика в конце XX столетия // Изв. АН, сер. лит. и яз. 1999. № 4, с. 39-53.

11. Баранов А.Н. Автоматизация лингвистических исследований: корпус текстов как лингвистическая проблема // Русистика сегодня. Москва, 1998. - N.1-2, с. 179-191.

12. Баранов А.Н. Введение в прикладную лингвистику. М., УРСС, 2001, 358 с.

13. Баталин A.B., Дударь З.В. и др. О лингвистической алгебре. //

14. Радиоэлектроника и информатика. X., Изд-во ХТУРЭ, 1998, вып. 4, с. 101-109.

15. Белоногов Г.Г., Зеленков Ю.Г. и др. Системы фразеологическогомашинного перевода технология XXI века. Междунар. конф. НТИ-97. //Материалы конф., М., ВИНИТИ, 1997.

16. Белоногов Г.Г., Кузнецов Б.А. Языковые средства автоматизированных информационных систем. М., Наука, 1983.

17. Берштейн Л.С., Целых А.Н. Гибридная экспертная система свычислительным модулем для прогноза экологических ситуаций. //Труды междунар. симпозиума "Интеллектуальные системы". ИнСис-96, М., 1996.

18. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М., Наука, 1973, 79 с.

19. Богуславский И.М., Иомдин Л.Л. Семантика быстроты // Вопросы языкознания. 1999. №6. С. 13-30.

20. Болдырев B.C. Введение в теорию оценки недвижимости. М., Центр менеджмента, оценки и Ко., 1998, 330 с.

21. Большев JI.H., Смирнов Н.В. Таблицы математической статистики. М., Наука, 1983 (3-е изд.) 416 с.

22. Бондаренко М.Ф., Осыка А.Ф. Автоматическая обработка информации на естественном языке. К., УМК ВО, 1991, 140 с.

23. Бурков В.И. Большие системы: моделирование организационных механизмов. М., Наука, 1989, 354 с.

24. Бутенко H.A. Стандартизованные интервью и новые технологии. Социологические исследования, М., 1997, с. 100-107.

25. Винокуров A.A. Метод оценки качества машинного перевода., М., 2000.

26. Винокуров A.A., Чуканов В.О. Новый метод оценки машинного перевода. Информационные технологии и системы. Hardware Software Security. //Тенденции и перспективы. Сб. Статей. М., Международная академия информатизации, 1997.

27. Вишневский Р.В., Грачева М.В., Использование аппарата нечеткой математики в задаче оценки эффективности инвестиций. М., МГУ, 2000.

28. Войскунский В.Г. Некоторые замечания об использовании усредненных значений поисковых характеристик. //НТИ, сер. 2, 1994, № 5, с. 8-13.

29. Выготский J1.C. Развитие высших психических функций. Изнеопубликованных трудов. М., Академия педагогических наук, РСФСР, 1960.

30. Гаврилова Т.А. Состояние и перспективы разработки баз знанийинтеллектуальных систем. //Новости искусственного интеллекта, 1996, № 1, с. 5-43.

31. Гареев А.Ф. Решение проблемы размерности словаря при использовании вероятностной нейронной сети для задач информационного поиска. // Нейрокомпьютеры: разработка, применение. 2000, № 1, с. 60 63.

32. Гличев A.B. Прикладные вопросы квалиметрии. М., Изд-во стандартов, 1983,212 с.

33. Городецкий Б.Ю. Теоретические основы прикладной семантики. Автореф. док. дисс. М., 1978., с.ЗО

34. Городецкий Б.Ю. Актуальные проблемы прикладной лингвистики // Новое в зарубежной лингвистике. Вып. XII. М., 1983.

35. Городецкий Б.Ю. Компьютерная лингвистика: моделирование языкового общения // Новое в зарубежной лингвистике. Вып. XXIV. Компьютерная лингвистика. М., 1989.

36. Григорьев В.А. Оценка качества "интеллектуального извлечения" сетевой информации. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-97. Ясная Поляна. М., 1997, с. 77-82.

37. Григорьев В.А. Экспертное тестирование и оценка качества работы системы Michel. //НТИ, сер. 2, 1997, № 7, с. 12-18.

38. Григорьев В.А. Оценка качества интеллектуальных систем, оперирующих неформальными понятиями. //Информационные технологии, 1997, № 6, с. 7-10.

39. Григорьев В.А. Фундаментальное и конструктивное качество интеллектуальных систем. //НТИ, сер. 2, 1998, № 2, с. 12-21.

40. Григорьев В.А. Стереотипы и фантазия в интеллектуальных системах. Часть I. //НТИ, сер. 2, 1999, № 7, с. 10-27.

41. Григорьев В.А. Стереотипы и фантазия в интеллектуальных системах. Часть II. //НТИ, сер. 2, 2000, № 1, с. 12-20.

42. Григорьев Н.В. Восходящий алгоритм построения дерева зависимостей для системы ЭТАП-3 // Труды Международного семинара Диалог'99, с. 28-33, 1999.

43. Гринбаум О.Н. и др. Проект "ЛИНДА" автоматизированная система обработки лингвостатистических данных. //Прикладная лингвистика и автоматический анализ текста. Тарту, Изд-во ТГУ, 1988, с. 31-33.

44. Денисов П.Н. Лексика русского словаря и принципы ее описания. М., 1977, с.280

45. Дударь З.В., Шуклин Д.Е. Семантическая нейронная сеть, как формальный язык описания и обработки смысла текстов на естественном языке. //Радиоэлектроника и информатика. X., Изд-во ХТУРЭ, 2000, № 3, с. 72-76.

46. Дюбуа Д., Прад А. Теория возможностей. Приложения к представлению знаний в информатике. Пер. с франц. М., Радио и связь, 1990, 288 с.

47. Емельянов C.B., Ларичев О.И. Многокритериальные методы принятия решений. М., Мысль, 1985.

48. Ермаков А.Е., Плешко В.В. Ассоциативная модель порождения текста в задаче классификации. // Информационные технологии. 2000. - N 12.

49. Жигалов В.А. Поиск в Интернет: от словарного индексирования к распределенной сети знаний. //Труды междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-98. Таруса, 1998, с. 47-56.

50. Жигалов В.А., Романов Л.Г. Двухатрибутная модель оценки соответствия ЕЯ-запроса предметной области. //Труды РосНИИ Искусственного Интеллекта, М., 1999.

51. Загорулько Ю., Кононенко И., Попов И. Экспериментальная системапонимания метеорологических телеграмм. //Труды междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-99. Таруса, 1999, том 2, с. 57-66.

52. Заде Л.А. Основы нового подхода к анализу сложных систем и процессов принятия решений. //Математика сегодня, 1974, с. 5-49.

53. Звегинцев В.А. Язык как фактор компьютерной революции. //ИТИ Сер.2 -1985, N9.-с. 1-7.

54. Зубов А.В. и др. Статистический анализ текста с помощью ЭВМ //Энтропия языка и статистика речи. Минск., 1966, с.118-166.

55. Зубов А.В. Проблемы порождения текста. Ч. 1 Теория и алгоритмы. Минск., МГПИИЯб 1987, 78 с.

56. Ивакин Я.А. Модель оценки совокупности характеристик баз знанийэкспертных систем. //Радиоэлектроника и связь, 1995, № 2(10), с. 42-46.

57. Иомдин JI., Штрайтер О. Обучение на корпусах параллельных текстов: эксперименты по машинному переводу. //Dialogue-99: Computational Linguistics and its Applications, Int. Workshop, Tarusa, 1999, vol. 2, p. 7988

58. Иомдин JI.JI., Цинман JI.JI. Лексические функции и машинный перевод. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям. Диалог-97. Ясная Поляна, М., 1997, с. 291-297.

59. Искусственный интеллект: В 3 кн. Кн. 1. Системы общения и экспертные системы. Справочник. Под ред. Э.В.Попова. М., Радио и связь, 1990.

60. Казакевич О.А. Исследование текстовых баз данных в лингвистических исследованиях: обзор зарубежных работ. //ИТИ, сер. 2, 1988, № 6, с. 917.

61. Казиев Г.З., Кузнецов Н.А., Кульба В.В. Модели, методы и средства анализа и синтеза модульных ИУС. //Автоматика и телемеханика, М., 1993.

62. Калеватых А.В., Павлов Б.А. Обзор современных методов автоматизированного анализа изображений. //Автоматика и телемеханика, 1995, № 9, с. 3-21.

63. Канович М.И., Шаляпина З.М. Русский морфологический и морфолого-синтаксический синтез по неполной и/или неточной входной информации. В кн.: Русский язык как иностранный: лингвистические проблемы. М., "ИКАР", 1997, с.37-147.

64. Карпова Н.А. Разработка нейросетевого классификатора для тестирования систем: Автореферат диссертации на соискание ученой степени к.т.н. Пенза, ПТУ, 1999, 18 с.

65. Карпова Н.А. Построение информационной модели процесса оценивания знаний. Пенза, ПТУ, 1999.

66. Карри Х.Б. Основания математической логики. М., Мир, 1969.

67. Кофман А. Введение в теорию нечетких множеств, пер. с франц., М., Радио и связь, 1982, 432 с.

68. Кемени Дж., Снелл Дж. Кибернетическое моделирование: некоторые приложения. М., Советское радио, 1972, 192 с.

69. Кибрик А.Е. Очерки по общим и прикладным вопросам языкознания. М., УРСС, 1992,332 с.

70. Кибрик Л.Е., Нариньяни A.C. (ред.) Моделирование языковойдеятельности в интеллектуальных системах. М., Наука, 1987, 279 с.

71. Киселев А.Н. Элементы теории и практики переводных соответствий. //НТИ, сер. 2. М., 1993, №8, с. 16-21.

72. Киселев H.H. Алгоритмическое и программное обеспечение прикладного статистического анализа. М., Наука, 1980, с. 111-123.

73. Комиссаров В.Н. Слово о переводе. М., ИМО, 1973, 237 с.

74. Кононенко И.С. Экспериментальная система понимания коротких текстов. //Труды IV национальной конференции ИИ-94. Рыбинск, 1994, с. 395398

75. Кононенко И.С. Типологические особенности текста и моделирование процесса понимания. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-95, Казань, 1995.

76. Кормышев В.М., Щербатский В.Б. и др. Определение компетентности эксперта с помощью математической модели, УГТУ, 2000

77. Корнеев В.В. и др. Базы данных. Интеллектуальная обработка информации. М., Нолидж, 2000, 351 с.

78. Королев Э.И. Применение дистрибутивно-статистического метода в лингвистическом обеспечении автоматизированных информационных систем.//НТИ. Сер. 2. 1977. -N1, с. 3-10.

79. Королев Э.И., Поликарпов A.A. и др. Словарь ассоциативных отношений: автоматическая обработка связей. //Тезисы Всесоюзной конференции "Основные направления развития и совершенствования работ по стандартизации НТТ. М., 1983., с. 80-82.

80. Королев Э.И., Максименко О.И., Поликарпов A.A. Системаавтоматической классификации текстовой информации. //Техника средств связи. М., 1989. № 3, с.28-40.

81. Королев Э.И. Промышленные системы машинного перевода. М., ВЦП, 1991, 104 с.

82. Котов Р.Г. и др. Прикладная лингвистика и информационная технология. М., Наука, 1987, 163 с.

83. Круглое В.В., Дли М.И., Годунов Р.Ю. Нечеткая логика и искусственные нейронные сети. М., Физматлит, 2001., 224 с.

84. Кузнецов В.П., Мацкевич А.Г. Автоматическое выявление из документов значимой информации с помощью шаблонных слов и контекста. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диапог-98. Таруса, 1998, том 2.

85. Кузнецов И.П. Методы обработки сводок с выделением особенностей фигурантов и происшествий. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диапог-99. Таруса, 1999, том 2.

86. Кузнецов И.П. Семантические представления. М., Наука, 1986, 290 с.

87. Кузнецов C.B., Титов В.В. Классификация: системно-морфологический подход. М., Инвента, 1998.

88. Кузьмин В.Б., Орлов А.И. Статистические методы анализа экспертных оценок. М., Наука, 1977, с. 220-227.

89. Куршев Е.П., Осипов Г.С., Рябков О.В. и др. Интеллектуальная метапоисковая система. //Труды международного семинара Диалог'2002 по компьютерной лингвистике и ее приложением. Том 2. www.dialog-21 .ru/http ://

90. Ларичев О.И. Объективные модели и субъективные решения. М., Наука, 1987, 143 с.

91. Лахути Д. Г., Чернявский С.Л. О проблеме оценки поисковых систем. Ч. 1. //НТИ, сер. 2, 1970, № 1, с. 24-34.

92. Лингвистический энциклопедический словарь. М., Советская энциклопедия, 1990, 683 с.

93. Лукашевич Н.В. Автоматическое рубрицирование потоков текстов по общественно-политической тематике. // НТИ. Серия 2. Информационные процессы и системы. 1996, № 10, с. 22 30.

94. Любченко В.И., Шаляпина З.М. и др. Система ИРИС иероглифический редактор и справочник по японской графике и лексике. //V-я Междунар. конференция по языкам Дальнего Востока, Юго-Восточной Азии и Западной Африки. СПб., 1999, с. 52-58.

95. Максименко О.И. Лингвистические проблемы примененияавтоматизированной ДС методики для анализа НТТ по системам связи и управления. Автореферат канд. диссертации. М., 1989., 17 с.

96. Максименко О.И. Особенности применения автоматизированного ДСМ для анализа НТТ по системам связи и управления. М., МГУ, 1989, Деп. ИНИОН АН СССР, № 37622.

97. Максименко О.И. Проблемы снятия полисемии и омонимии терминов и ядерной лексики в системах машинного перевода. //Материалы научно-методического симпозиума "Язык в действии". МАГГРЯЛ, ТГУ, 1997.

98. Максименко О.И Использование систем машинного перевода приразработке автоматизированных обучающих систем. //Компьютерная лингвистика и обучение языкам. Сборник научных статей. Минск, МГЛУ, 2000.

99. Максименко О.И. Некоторые вопросы использования формальных методов в преподавании языков. //Материалы научно-практической конференции. М., МГИМО, 2002.

100. Максименко О.И. Некоторые формальные методы в лингвистике. //Филологические науки. Сборник научных трудов № 3(18). М., МГИМО, 2000.

101. Максименко О.И. Новые перспективы автоматизации обучения языкам. //Филологические науки. Сборник научных трудов № 5(19). М., МГИМО, 2000.

102. Максименко О.И. Формальные методы в современной лингвистике. // Материалы научно-практической конференции МПУ. М., 2001.

103. Максименко О.И. Некоторые вопросы использования формальных методов в преподавании языков. //Материалы научно-практической конференции МГИМО, М., 2002 г.

104. Максименко О.И. Формальные методы в современной прикладной лингвистике. Народный учитель, МГОУ, М., 2002 г. 256 с.

105. Максименко О.И. Методы оценки эффективности интеллектуальных систем. //Филологические науки. Сборник научных трудов № 13 (28). М., МГИМО, 2003, с.123-138.

106. Максименко О.И. Нечеткая логика в лингвистике. //Филологические науки. Сборник научных трудов № 12 (27)., М., МГИМО, 2003. с. 5465

107. Максименко О.И. Экспертные оценки в гуманитарных науках. //Сборник научных трудов N1., МГОУ, М., 2003. с. 153-161.

108. Мартьянов С.А. Математическая модель оценки эффективности функционирования системы управления силами РСЧС. М., 2001.

109. Марусенко М.В. Атрибуция анонимных и псевдонимных литературных текстов методами прикладной лингвистики. //Прикладная лингвистика. СПб., 1996.

110. Марчук IO.I I. Проблемы машинного перевода. М., Наука, 1983, 201 с.

111. Марчук IO.I I. Методы моделирования перевода. М., Наука, 1985, 203 с.

112. Марчук Ю.Н. Модель "текст-текст" и переводные соответствия в теории машинного перевода. //Проблемы компьютерной лингвистики. Минск, МГЛУ, 1997, с. 21-29.

113. Марчук Ю.Н. Теория и практика машинного перевода. Русскийфилологический вестник, 1996, том 81. М., Московский лицей, с. 123135.

114. Марчук Ю.Н. Компьютерная лингвистика и ее приложения. Научно-аналитический обзор. М., ИНИОН РАН, 1998, 125 с.

115. Марчук Ю.Н. Основы компьютерной лингвистики. МПУ., М., 2000, 226 с.

116. Масалович А.И. Прогноз дает компьютер. //Софтмаркет, № 23, 1996, с. 6.

117. Масалович А.И. Этот нечеткий, нечеткий, нечеткий мир. //PC Week, № 16, 1995.

118. Мелихова O.A. Логический вывод на основе нечеткой мета- импликации. М., 1998.

119. Мельчук И.А. Опыт теории лингвистических моделей "Смысл <-> Текст". Наука, 1974,314 с.

120. Методы анализа данных, оценивания и выбора в системныхисследованиях. Сборник трудов, вып. 14. М., ВНИИСИ, 1986, 124с.

121. Мидоу Ч. Анализ информационных систем. Пер. с англ. М., Прогресс, 1977-400 с.

122. Модина Л.С., Шаляпина З.М. Межъязыковые операции в модели японско-русского автоматического перевода ЯРАП. Электронные библиотеки и базы данных по истории Евразии в средние века, вып. 7. М., ИВ РАН, 1999, с. 172-231.

123. Моисеев H.H. Неформальные процедуры и автоматизация проектирования. М., Знание, 1979, 64 с.

124. Мухин В.И. Исследование систем управления. М., АГЗ, 1998.

125. Нариньяни A.C. Проблема понимания ЕЯ-запросов к базам данныхрешена. //Труды междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-95. Казань, 1995.

126. Нелюбин Л.Л. Компьютерная лингвистика и машинный перевод. М., ВЦП, 1991, 151 с.

127. Нелюбин Л.Л. Инженерно-лингвистическое моделирование икомпьютерная лингвистика. //Проблемы компьютерной лингвистики. Минск, МГЛУ, 1997, с 18-21.

128. Нелюбин Л. Л. Толковый переводоведчсский словарь. М., Флинта: Наука, 2003.

129. Нелюбин Л.Л., Хухуни Г.Т. История и теория перевода в России. М., МПУ, Издательство Сигнал, 1999, 151 с.

130. Новиков А.И. Семантика текста и ее формализация. М. 1983

131. Новиков А.И., Нестерова E.H. Реферативный перевод. М., 1984.

132. Новиков А.И., Нестерова K.M. Реферативный перевод научно-технических текстов. М., Институт языкознания АН СССР, 1991

133. Новиков А.И. Смысл: семь дихотомических признаков.// Материалы научной конференции "Теория и практика речевых исследований. М., 1999

134. Новиков А.И. Ярославцева Е.И., Тезаурус грамматических категорий и явлений // Человек в зеркале языка. М., Институт языкознания, - 2002.

135. Новиков А.И. Доминантность как механизм смыслообразования.

136. Международная научная конференция "Изменяющийся языковой мир. Пермский госуниверситет, Ноябрь, 2001.

137. Орлов А.И. Многомерный статистический анализ в социально-экономических моделях. М., Наука, 1974, с. 388-393.

138. Орлов А.И. Математическое моделирование в психологии. //Вопросы кибернетики, вып. 50. М., Научный совет АН СССР по комплексной проблеме "Кибернетика", 1979, с. 35-45.

139. Орлов А.И. Задачи оптимизации и нечеткие переменные. М., Знание, 1980, 64 с.

140. Орлов А.И. Экспертные оценки в задачах управления. //Сборник трудов. М., Институт проблем управления, 1982, с. 58-66.

141. Орлов А.И. Анализ нечисловой информации в социологических исследованиях. М., Наука, 1985, с. 58-92.

142. Орлов А.И. Статистические методы оценивания и проверки гипотез.// Межвузовский сборник научных трудов. Пермь, Изд-во Пермского государственного университета, 1993, с. 86-97.

143. Орлов А.И. Вероятностные модели конкретных видов объектовнечисловой природы (Обзор). //Заводская лаборатория, 1995, том 65, № 3.

144. Осипов Г.С. Информационные технологии, основанные на знаниях.// Новости искусственного интеллекта, 1993, № 1, с. 7-41.

145. Панкова Л.А., Петровский A.M., Шнейдерман М.В. Организацияэкспертиз и анализ экспертной информации. М., Наука, 1984, 120 с.

146. Первое Всесоюзное совещание по статистическому и дискретному анализу нечисловой информации, экспертным оценкам и дискретной оптимизации. //Тезисы докладов. М., Ллма-Ата, ВИНИТИ, 1981, 439 с.

147. Пиотровский Р.Г. Бектаев К.Б. и др. Математическая лингвистика. М., Высшая школа., 1977, 324 с.

148. Пиотровский Р.Г. Инженерная лингвистика и теория языка. J1., Наука, 1979, III с.

149. Пиотровский Р.Г. Лингвистический автомат и его речемыслительное обоснование. Минск, МГЛУ, 1999, 196 с.

150. Пиотровский Р.Г. новые горизонты машинного перевода.//НТИ Сер.2. N1, 2002, с. 17-29.

151. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. М., Наука, 1982, 254 с.

152. Поликарпов A.A. Закон Ципфа-Мандельброта и единицы разных уровней организации текста. //Квантитативная лингвистика и автоматический анализ текста. Тарту, Изд-во ТГУ, 1984, с. 35-61.

153. Поликарпов A.A. Логическое пространство единиц лексической подсистемы языка и квантитативные отношения между ними. //Прикладная лингвистика и автоматический анализ текста. Тарту, Изд-во ТГУ, 1988. с. 67-70.

154. Поликарпов A.A. Циклические процессы в становлении лексической системы языка: моделирование и эксперимент, М., 2001

155. Поликарпов A.A. Закономерности жизненного цикла слова и эволюция языка. Теория и эксперимент. // Русский филологический вестник Vol. 80., N.l, М., Московский лицей, 1995. стр. 77-92.

156. Поликарпов A.A. Анализ становления терминоведения как научной проблемы. //Русский филологический вестник. Vol.81., N.l. М., Московский лицей, 1996., стр. 105-113.

157. Поликарпов A.A., Колодяжная Л.И. Системно-квантитативноеисследование русской синонимии. // Альманах "Говор" 4.1, Сыктывкар, СГУ, 1997.

158. Поляков В.Н. Синтез формальных моделей языка и смысла как проблема семантической обработки естественного языка. //Новости искусственного интеллекта, 1997, № 1, с. 6-63.

159. Поспелов Д.А. Ситуационное управление. Теория и практика. М., Наука, 1986, 284 с.

160. Потапова Р.К. Речь: коммуникация, информация, кибернетика. М., Радио и связь, 2001,527 с.

161. Потапова Р.К. Новые информационные технологии и лингвистика. М., МГЛУ, серия "Библиотека лингвиста", 2002, 560 с.

162. Проблемы прикладной лингвистики 2001. Ред. Новиков А.И. РАН, Институт языкознания. Сб. статей. М., Азбуковник, 2001, 360с.

163. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. М., Экономика, 1974, 151с.

164. Раушенбах Г.В., Филиппов О.В. Экспертные оценки в медицине. Научный обзор. М., ВНИИММТИ Минздрава СССР, 1983, 80 с.

165. Рузавин Г.И. О природе математического знания (Очерки по методологии математики). М., Мысль, 1968, 318 с.

166. Сахарный JT.B. Частотный словарь индексирования. Пермь. 1972. с.7.

167. Сидельников Ю.В. Теория и организация экспертного прогнозирования. М., ИМЭМО АН СССР, 1990, 196 с.

168. Скларевич А.Н. Возможное обоснование частотных закономерностей. М., 1992.

169. Скурко Е.В. Эффективность информационного обеспечениязаконодательной деятельности: метод оценки. //НТИ, сер. 1, № 3, 2001.

170. Сокирко A.B. Обзор зарубежных систем автоматической обработки текста, использующих поверхностно-семантическое представление, и машинных семантических словарей. //НТИ, сер. 2, 2000, № 2, с. 1-14.

171. Солтон Дж. Динамические библиотечные информационные системы. М., 1979, 532 с.

172. Статистические методы анализа экспертных оценок. М.,Наука, 1977, 384 с.

173. Столл P.P. Множества. Логика. Аксиоматические теории. М., Просвещение, 1968.

174. Стройк Д.Я. Краткий очерк истории математики. М., Наука, Гл. ред. Физ.-мат. лит., 1984.

175. Сухотин Б.В. Оптимизационные методы исследования языка. М., Наука, 1984, 96 с.

176. Тарасов Е.В., Балык В.М., Лещенко A.B. Выбор информационнопоисковой системы и оценка ее адаптации. //НТИ, сер. 2, 1987, № 2, с. 12-16.

177. Тихомиров Б.Д. СПРИНТ семейство коммерческих систем машинного перевода. М., ВЦП, 1991.

178. Тулдава Ю. Проблемы и методы квантитативно-системного исследования лексики. Таллин, Валгус, 1987, 204 с.

179. Тюрин Ю.Н. и др. Анализ нечисловой информации. Препринт. М., Научный совет АН СССР по комплексной проблеме "Кибернетика", 1981,80 с.

180. Успенский В.А. Семь размышлений на темы философии математики. //В кн. Закономерности развития современной математики. М., Наука, 1987, с. 106-155.

181. Фаин B.C. Машинное понимание естественного языка в рамках концепции реагирования. //В кн. Интеллектуальные процессы и их моделирование. Под ред. Е.П. Велихова, A.B. Чернавского. М., Наука, 1987, с. 375-392.

182. Фсклистов Л. Метод нечетких обобщений для систем поддержки принятия решений. //Информатизащя та HoBai технологи, 1996, № 2, с. 6-44.

183. Харламов A.A., Ермаков А.Е., Кузнецов Д.М. TextAnalyst комплексный нейросетевой анализатор текстовой информации. //Вестник МГУ, сер. приборостроение, 1998, № 1,с. 101-129.

184. Хмелёв Д.В. Распознавание автора текста с использованием цепей A.A. Маркова. //Вестник МГУ, сер. филология, 2000, № 2, с.115-126.

185. Хроменков П.Н. Оценка систем машинного перевода. Авторефератдиссертации на соискание уч. степени канд. филологических наук, М., 2000, 16 с.

186. Ципман Л.Л., Сизов В.Г. и др. Система Этап: процедуры ослабления синтаксических правил и их использование. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-99. Таруса, 1999, с. 321-325.

187. Чурсин H.H. Популярная информатика. К., Техника, 1982.

188. Шабанов-Кушнаренко Ю.П. Теория интеллекта. Математические средства. X., Вища школа, 1984, 143 с.

189. Шайкевич А.Я. Дистрибутивно-статистический анализ текстов. Автореферат док. дисс. М., 1979., с.35.

190. Шайкевич А.Я. Дифференциальные частотные словари и исследование языка Достоевского (на материале романа "Идиот"). Слово Достоевского. М., Институт русского языка Российской академии наук, 1996, с. 195-253.

191. Шаляпина З.М. Средства компьютерной обработки японских текстов, разрабатываемые в ИВ РАН.// Бюллетень Общества востоковедов РАН, 2000, №4, с. 104-118

192. Шингарева Е.А. Опыт использования фреймов для распознавания смыслового образа текста. //НТИ, сер. 2, 1978, № 10, с. 20-28.

193. Шокин Ю.И. Интервальный анализ. Новосибирск, Наука, Сибирск. отделение, 1981,112 с.

194. Шошитайшвили И.А. Оценка качества машинного перевода. //Труды Междунар. семинара по компьютерной лингвистике и ее приложениям Диалог-97. Ясная Поляна, 1997, с. 309-310.

195. Штайке С. Будущее Novell и не только. IILAN журнал сетевых решений, 1996, том 2, № 3, с. 60-66.

196. Штофф В.А. Проблемы методологии научного познания. М., Высш. школа, 1978.

197. Щетинин В.Г. Многослойная самоорганизация нейронных сетейоптимальной сложности. //Автоматика и вычислительная техника. Рига, 1998, №4, с. 30-37.

198. Экспертные оценки. Вопросы кибернетики, вып. 58. М., Научный совет АН СССР по комплексной проблеме "Кибернетика", 1979, 200 с.

199. Abney S. Statistical methods and linguistics. In J.L. Klavans and P.Resnik, editors, The Balancing Act, Combining Symbolic and Statistical Approaches to Language. CUP, 1996.

200. Arnold D. Expert system tools optimizing help desks. Software magazine, 1993, vol.13, № l,p. 56-64.

201. Arnold D. World Wide Web access to Corpora. Corpus-Based Research in English Language and Linguistics, Monograph Issue of Cuadernos de Filología Inglesa de la Universidad de Murcia, vol 9.1, p. 125-145, 2000.

202. Arnold D. Why translation is difficult for computers. H.L., 2000

203. Arnold D., Aarts В., Buckley J., Berglund Y., Nelson G., Rondell M. Corpora and grammars on the Web: The W3Corpora-IGE Project. Final Report, JTAP-2/247, 1999.

204. Arnold D., Balkan L., Humphreys R.L., Meijer S., Sadler L. Machine

205. Translation: An Introductory Guide. Oxford: NCC and Oxford Blackwell,1994.

206. Beale St. Hunter-Gatherer: Applying Constraint Satisfaction, Branch-and-Bound and Solution Synthesis to Natural Language Semantics NMSU CRL Technical Report. MCCCS-96-292.

207. Brandow R., Mitz K., Rau L.F. Automatic condensation of electronicpublications by sentence selection. Information processing and management,1995, vol.31, № 5, p. 675-685.

208. Brill Eric, Magerman David, Marcus Mitchell P., Santorini Beatrice. Deducing Linguistic Structure From the Statistics of Large Corpora. In Proceedings of the DARPA Speech and Natural Language Workshop, 1990, pp. 275 282.

209. Brown D.R. Example-based machine translation in the Pangloss System.

210. COLING-96. The 16th Int. Conf. on Computational Linguistics. Proc., 1996.

211. Brown D.R., Frederking, R. Applying statistical English language modelling to symbolic Machine Translation. Theoretical and Methodological Issues in Machine Translation, 1995.

212. Carl M. A constructivist approach to Machine Translation. Proc. of NeMLaP3/CoNLL-98. Sydney, p. 247-256.

213. Carl M., Hansen S. Linking translation memories with example-based Machine Translation. In Proc. of the MT-Summit'99, Singapore, 1999.

214. Carl M., Iomdin L., Pease C., Streiter O. Towards a dynamic linkage of example-based and rule-based Machine Translation. MT Journal, 2000.

215. Carl M., Iomdin L., Streiter O. Towards dynamic linkage of example-based and rule-based machine translation. ESSLLI'98 Machine Translation Workshop, Saarbrucken, 1998.

216. Carl M., Schaible J., Pease C. Enhancing Translation Memory technologies with linguistic intelligence. MULTI-DOC Deliverable D4.1. Commission of the European Communities, Luxembourg, 1998.

217. Centre national de la recherche scientifique. Laboratoire d'informatique pour la mecanique et les sciences de l'ingenieur. Scientific report, Orsay, 1995.

218. Charniak E. Ree-bank grammars. In 13th National Conf. on Artificial Intelligence, AAAI-96.

219. Choi, Sung-Kwon, Jung, Han-Min et al. Hybrid approaches to improvement of translation quality in web-based English-Korean machine translation. COLING-ACL-98. The 17th Int. Conf. on Computational Linguistics. Proc.,1998.

220. Cohen W. Text categorization and relational learning. Proc. of the Int. Machine Learning Conf. (ICML-95), Lake Tahoe, CA, 1995, p. 124-132.

221. Cushing B.E., Barry E., Romney M.B., Marshall B. Accounting information systems and business organizations. 4 ed., Adison-Wesley, 1987, vol. XVII, 906 p.

222. Daelemans W. et al. Memory-based shallow parsing. In Proc. of CoNLL-99, Bergen, Norway, 1999.

223. Daelemans W. et al. Forgetting exceptions is harmful in language learning. Machine Learning, special issue on Natural Language Learning (34): 11-43,1999.

224. Deboeck G.J. Advanced technology: Impact on financial industry and financial markets. Proc. of Int. Joint Conf. "Neural Networks", IJCNN'93, Nagoya, 1993, vol. l,p. 1045-1050.

225. Encyclopedia of Artificial Intelligence. Vol. 1., N.Y., Wiley Interscience Publication, 1990. p. 420.

226. FASTUS: a cascaded finite-state trasducer for extracting information from natural-language text. AIC, SRI Int., Menlo Park, California, 1996.

227. Feldman R., Dagan I. Knowledge discovery in textual databases (KDT). Proc. of the 1st Int. Conf. on Knowledge Discovery (KDD-95), Montreal, 1995, p. 112-117.

228. Fung P. A pattern matching method for finding noun and proper noun translations from noisy parallel corpora. 33rd Annual Meeting of the Association for Computational Linguistics, 1995.

229. Fuzzy Arithmetic. Prentice Hall, 1995.

230. Graven M., Shavlik J. Using neural networks for Data Mining, future generation computer systems. Special issue on Data Mining, 1997.

231. Grigoriev V. The quality evaluation of Magion-2 Russian-language text automatic summary system. ELSNET goes East and IMACS workshop on integration of language and speech. Proc., Moscow, 1996, p. 36-45.

232. Hajicova E., Panevova J., Sgall P. Language Resources Need Annotations to Make Them Really Reusable: The Prague Dependency Treebank. // Proceedings of the First International Conference on Language Resources & Evaluation, 1998, pp. 713 718.

233. Hayes P.J., Weinstein S.P. Construe/TIS: A System for Content-based Indexing of a Database of News Stories. // In Innovative Applications of Artificial Intelligence 2, pp. 49 64. The AAAI Press/ The MIT Press, Cambridge, MA, 1991.

234. Heyn M. Integrating Machine Translation into Translation Memory Systems. European Association for Machine Translation. Workshop Proc., ISSCO, Geneva, p. 111-123, 1996.

235. Johnson D.S., Pieper K.F. The intelligent tutoring system as a trainingintervention: Implementing ITSs in industry. Cybernetics and systems, 1995, vol. 26. №6, p. 681-685.

236. Jung Han-Min et al. A domain identifier using domain keywords from balanced web documents. First Int. Conf. on Language Resources & Evaluation, Granada, 1998.

237. Kacprzyk J., Zadrozny S. Fuzzy querying using the "query-by-example" option in windows-based DBMS. EUFIT95, Aachen, 1995, vol. 2, p.733-736.

238. Kaski S., Lagus K., Honkela K., Kohonen T. Statistical aspects of the

239. WEBSOM system in organizing document collections. Computing Science and Statistics, (Scott, D.W., ed.), Interface Foundation of North America, Inc., Fairfax Station, VA, p. 281-290, 1998.

240. Keh-Jiann Chen, Chi-Ching Luo et al. The CKIP Chinese treebank. In Journals ATALA sur les Corpus pour la syntaxe, Talana, Paris VII, 1999.

241. Kohonen T. Self-organization of very large document collections: state of the art. Proc. of ICANN-98, the 8th Int. Conf. on Artificial Neural Networks, vol. 1, Springer, London, p. 65-74, 1998.

242. Kosko B. Fuzzy thinking. Hyperion, 1993.

243. Mahesh k. Ontology development for MT: Ideology and Methodology. NMSU CRL Technical Report. MCCS-96-292.

244. Marcus Mitchell P., Santorini Beatrice, Marcinkiewicz Mary Ann. Building a Large Annotated Corpus of English: The Penn Treebank. Computational Linguistics, 1993, Vol. 19, № 2.

245. Martynenko G. Statistical consistency of keywords dictionary parameters. In Proc. of the Int. Conf. RIAO'2000, Paris, vol. 2, p.1541-1547, 2000.

246. Mil ler G. and Beebe-Center J.G. Some Psychological Methods for Evaluating the Quality of Translation. In: "Mechanical Translation", III, 1956, pp. 7380.

247. Miram G. Translation algorithms. Kiev, Twin inter, 1998, 175 p.

248. McNeill, Daniel and Freiberger Paul. Fuzzy Logic. Touchstone Rockefeller Center, 1993.

249. Min Zhang and Key-Sun Choi. Attribute-knowledge classification andstatistical decision-making in Chinese parsing. In Proc. of the 5th Natural Language Processing Pacific Rim Symposium, Beijing, 1999.

250. Minsky M.A. Framework for representing knowledge. Massachusetts institute of technology, Camridge, 1974.

251. Nagao M., Tsujii J., Nakamura J. The Japanese government project for machine translation, 1989, p. 141-186.

252. Narin'yani A.S. Intelligent software technology for the new decade. Communications of the ACM, vol. 34, 1991, № 6, p. 60-67.

253. Needham R.M. Applications of the theory of clumps. // Mechanical Translation/ 1965. V.8-N3-4.

254. Nirenburg S., Raskin V. et al. Apologiae Ontologia. MT Sammit., 1994.

255. Nubel, R. End-to-end evaluation in Verbmobil I. MT-Summit'97, San Diego, 1997

256. Ong K., Wang Q.H. An object-oriented approach to the semantic interpretation of medical text. Expert systems applications, 1995, vol.9, № 3, p. 333-345.

257. Orlov A.I. Interval computations. 1992, № 1(3), p. 44-52.

258. Orlov A.I. Journal of soviet mathematics. 1991, vol. 56, N 3, p. 2434-2438.

259. Oettinger. A.G. Automatic Language Translation. Cambridge (Mass.), 1960, p. 114.

260. Partee B. Possible Worlds in Model-Theoretic Semantics: A Linguistic Perspective. In S. Allen (ed.), Possible Worlds in Humanities, Arts and Science. // Proceedings of Nobel Symposium 65. Berlin and New York: Waiter de Gruyter, 1989, pp. 93 123.

261. Raskin V., Nirenburg S. Lexical Semantics of Ajectives, Recent Papers from the Mikrocosmos and Corelli Projects, Vol 2, New Mexico State University, 1996.

262. RIAO'2000. Proc. of the Int. Conf. RIAO'2000 "Content-Based Multimedia Information Access", vol. 1-2, Paris, 2000.

263. Schetinin V., Kostunin A. Self-organization of neuron collective of optimal complexity. Proc. of Int. Symposium NOLTA'96, Kochi, Japan, p. 245-248, 1996.

264. Schulbach C. Evaluation of existing and proposed computer architectures for. future ground-based systems. AIAA Paper, 1985, № 85, p. 3018.

265. Shavlik J., Eliassi-Rad T. Building Intelligent Agents for Web-based tasks: a theory-refinement approach. Proc. of the CONALD Workshop on Learning from Text and the Web, 1998.

266. Somers H.L. (ed.) Computers and translation: a handbook for translators, John Benjamins, 2000.

267. Somers H.L. "New Paradigms" in MT: The state of play now that the dust has settled. ESSLLI'98 Machine Translation Workshop, Saarbrucken, 1998. .

268. Spark Jones K. Index Term Weighting.// ISR. 1973

269. Srinivasan R., Kinser J. et al. Optical syntactic pattern recognition by fuzzy scoring. Optics letters, 1996, vol. 21, II, p. 815-817.

270. Stiles H.E. The Association factor in information retrieval//JACM. 1961, N8

271. Streiter O. Linguistic modelling for multilingual Machine Translation. Berichte aus der Informatik Series. Shaker Verlag, Aachen, 1996.

272. Streiter O. A semantic description language for multilingual NLP. Papers presented at the Tuscan Word Centre. Institut fur Deutsche Sprache Workshop on Multilingual Lexical Semantics, 1998.

273. Streiter O. Parsing Chinese with randomly generalized examples. In NLPRS'99 Workshop on Multilingual Information Processing and Asian Language Processing, 1999.

274. Streiter O. Reliability in Example-based parsing. TAG Int. Workshop on Tree-adjoining grammars and related formalisms, Paris, 2000.

275. Streiter O., Pei-Yun Hsueh. A case-study on example-based parsing. In ICCLC'2000, Int. Conf. on Chinese Language Computing, 2000.

276. Streiter O., Iomdin L., Munpyo Hong, Ute Hauck. Learning, forgetting and remembering: Statistical support for rule-based MT. In TMI'99, 1999.

277. Streiter O., Carl M., Iomdin L. A Virtual translation machine for hybrid Machine Translation. Dialogue-2000: Computational Linguistics and its Applications, Int. Workshop, Protvino, 2000.

278. TEI Publication Guidelines for the Encoding and Interchange of Machine-Readable Texts. TEI Publication, May 1994. URL: http://www.tei-c.org

279. Temperley D., Lafferty J., Sleator D. 1995. Link Grammar Parser. http:Avww.link.cs/cmu.edu/link

280. Tsang E. Foundation of Constraint Satisfaction. Academic Press, London.

281. Wal 1 R.E, Jr. Translation Quality and Its Measurement, In: "Linguistic and Engineering Studies in Automatic Translation of Scientific Russian into English", vol. I, Univ. of Washington Press, 1958.

282. Wiener E. et al. A neural network approach to topic spotting. In Symposium on Document Analysis and Information Retrieval, Las Vegas, Nevada, 1995. p. 317-332.

283. Wu Chen Q., Yachida M. A fuzzy-theory-based face detector. Proc. of I APR Int. Conf. on Pattern Recognition, Vienna, 1996. vol. 3, p. 406.

284. Yuejie Zhang et al. Realizing source language analysis based on similarity estimate. In Proc. of the 5th Natural Language Processing Pacific Rim Symposium, Beijing, 1999.

285. Zadeh L. Fuzzy sets. Information and Control, 8(3), 1965, p. 338-353.

286. Zadeh L. Outline of a new approach to the analysis of complex systems and decision processes. IEEE Transactions on Systems, Man and Cybernetics, SMC-3(1), 1973, p. 28-44.

287. Zemankova-Leech M., Kandel A. Fuzzy relational data bases: a key to expert systems. Cologne, Verlag TUV Rheinland, 1984.

288. Zilahy S. Quality in Translation. In: "Quality of Translation", N. Y., 1963.