Глава I. История применения математических методов в лингвистике

Глава I. История применения математических методов в лингвистике

Машинный перевод

 

Идея перевода с одного языка на другой при помощи универсального механизма возникла несколькими веками раньше, чем начались первые разработки в этой области – ещё в 1649 году Рене Декарт предложил идею языка, в котором эквивалентные идеи разных языков выражались бы одним символом. Первые попытки осуществить эту идею в 1930-40е, начало теоретических разработок в середине века, усовершенствование систем перевода при помощи техники в 1970-80е, бурное развитие переводческой техники в последнее десятилетие – таковы этапы развития машинного перевода как отрасли. Именно из работ по машинному переводу выросла компьютерная лингвистика как наука.

С развитием вычислительной техники в конце 70х – начале 80х исследователи задались более реалистичными и экономически выгодными целями – машина становилась не конкурентом (как предполагалось раньше), а помощником человека-переводчика. Машинный перевод перестаёт служить исключительно военным задачам (все советские и американские изобретения и исследования, ориентированные, в первую очередь, на русский и английский языки, в той или иной мере способствовали «холодной войне»). В 1978 году слова естественного языка были переданы в объединённой сети Arpa, шестью годами позже в США появились первые программы перевода для микрокомпьютеров.

В 70е Комиссия Европейских Общин покупает англо-французскую версию компьютерного переводчика Systran, заказывая также франко-аглийскую и итало-английскую версии, и систему перевода с русского на английский, использовавшуюся американскими Вооружёнными Силами. Так были заложены основы проекта EUROTRA.

О возрождении машинного перевода в 70-80-е гг. свидетельствуют следующие факты: Комиссия Европейских общин (CEC) покупает англо-французскую версию Systran, а также систему перевода с русского на английский (последняя развивалась после доклада ALPAC и продолжала использоваться ВВС США и НАСА); кроме того, CEC заказывает разработку франко-английской и итало-английской версий. Одновременно происходит быстрое расширение деятельности по созданию систем машинного перевода в Японии; в США Панамериканская организация здравоохранения (PAHO) заказывает разработку испано-английского направления (система SPANAM); ВВС США финансируют разработку системы машинного перевода в Лингвистическом исследовательском центре при Техасском университете в Остине; группа TAUM в Канаде достигает заметных успехов в разработке своей системы METEO (для перевода метеорологических сводок). Целый ряд проектов, начатых в 70-80-е гг. впоследствии развились в полноценные коммерческие системы.

За период 1978-93 в США на исследования в области машинного перевода истрачено 20 миллионов долларов, в Европе - 70 миллионов, в Японии - 200 миллионов.

Одной из новых разработок стала технология TM (translation memory), работающая по принципу накопления: в процессе перевода сохраняется исходный сегмент (предложение) и его перевод, в результате чего образуется лингвистическая база данных; если идентичный или подобный исходному сегмент обнаруживается во вновь переводимом тексте, он отображается вместе с переводом и указанием совпадения в процентах. Затем переводчик принимает решение (редактировать, отклонить или принять перевод), результат которого сохраняется системой, поэтому не нужно дважды переводить одно и то же предложение. В настоящее время разработчиком известной коммерческой системы, основанной на технологии TM, является система TRADOS (основана в 1984 г.).

В настоящее несколько десятков компаний занимаются разработкой коммерческих систем машинного перевода, в их числе: Systran, IBM, L&H (Lernout & Hauspie), Transparent Language, Cross Language, Trident Software, Atril, Trados, Caterpillar Co., LingoWare; Ata Software; Lingvistica b.v. и др. Появилась возможность воспользоваться услугами автоматических переводчиков непосредственно в Сети: alphaWorks; PROMT's Online Translator; LogoMedia.net; AltaVista's Babel Fish Translation Service; InfiniT.com; Translating the Internet.

Коммерчески эффективные переводческие системы появились во второй половине 80х и в нашей стране. Расширилось само понятие машинного перевода (к нему стали относить «создание целого ряда автоматических и автоматизированных систем и устройств, выполняющих автоматически или полуавтоматически весь цикл перевода либо отдельные задачи в диалоге с человеком» [29, c.13]), увеличились государственные ассигнования на развитие этой отрасли.

Основными языками отечественных переводческих систем стали русский, английский, немецкий, французский и японский. Во Всесоюзном центре переводов (ВЦП) была разработана система перевода с английского и немецкого языков на русский на машине ЭВМ ЕС-1035 –АНРАП. Она состояла из трёх словарей – входных английского и немецкого и выходного русского – под единым программным обеспечением. Существовало несколько сменных специализированных словарей – по вычислительной технике, программированию, радиоэлектронике, машиностроению, сельскому хозяйству, металлургии. Система могла работать в двух режимах – автоматическом и интерактивном, когда на экране отображался пофразно исходный текст и перевод, который человек мог отредактировать. Скорость перевода текста на АНРАП (от начала набора до окончания печати) составляла примерно 100 страниц в час.

В 1989 году было создано семейство коммерческих переводчиков типа СПРИНТ, работавших с русским, английским, немецким и японским языками. Их главным преимуществом стала их совместимость с IBM PC – таким образом отечественные системы машинного перевода достигали международного уровня качества. В это же время разрабатывается система машинного перевода с французского языка на русский ФРАП, включающая в себя 4 этапа анализа текста: графематический, морфологический, синтаксический и семантический. В ЛГПИ им. Герцена шла работа над четырёхязычной (английский, французский. Испанский, русский) системой СИЛОД-МП (в промышленном режиме эксплуатировались англо-русский и франко-русский словари.

Для специализированного перевода текстов по электротехнике существовала система ЭТАП-2. Анализ входного текста в ней осуществлялся на двух уровнях – морфологическом и синтаксическом. Словарь ЭТАП-2 содержал около 4 тысяч статей; этап преобразования текста – около 1000 правил (96 общих, 342 частных, остальные – словарные). Всё это обеспечивало удовлетворительное качество перевода (скажем, заголовок патента «Optical phase grid arrangement and coupling device having such an arrangement» переводился как «Устройство оптической фазовой сетки и соединяющее устройство с таким устройством» [29, c.20] – несмотря на тавтологию, смысл сохранён).

В Минском педагогическом институте иностранных языков на базе англо-русского словаря словоформ и оборотов была изобретена система машинного перевода заголовков), в Институте востоковедения АН – система перевода с японского на русский. Созданная в Московском НИИ систем автоматизации первая автоматическая словарно-терминологическая служба (СЛОТЕРМ) по вычислительной технике и программированию содержала примерно 20000 терминов в толковом словаре и специальных словарях для лингвистических исследований.

Системы машинного перевода постепенно стали использоваться не только по прямому назначению, но и как важный компонент автоматических обучающих систем (для обучения переводу, контроля орфографических и грамматических знаний).

90-е годы принесли с собой бурное развитие рынка ПК (от настольных до карманных) и информационных технологий, широкое использование сети Интернет (которая становится все более интернациональной и многоязыкой). Все это сделало востребованным дальнейшее развитие автоматизированных переводческих систем. С начала 1990-х гг. на рынок систем ПК выходят и отечественные разработчики.

В июле 1990 года на выставке PC Forum в Москве была представлена первая в России коммерческая система машинного перевода под названием PROMT (PROgrammer's Machine Translation). В 1991 г. было создано ЗАО "ПРОект МТ", и уже в 1992 г. компания "ПРОМТ" выиграла конкурс NASA на поставку систем МП (ПРОМТ была единственной неамериканской фирмой на этом конкурсе). В 1992 г. "ПРОМТ" выпускает целое семейство систем под новым названием STYLUS для перевода с английского, немецкого, французского, итальянского и испанского языков на русский и с русского на английский, а в 1993 г. на базе STYLUS создается первая в мире система машинного перевода для Windows. В 1994 г. вышла версия STYLUS 2.0 для Windows 3.Х/95/NT, а в 1995-1996 гг. представлено третье поколение систем машинного перевода, полностью 32-разрядных STYLUS 3.0 для Windows 95/NT, одновременно с этим успешно завершена разработка совершенно новых, первых в мире русско-немецкой и русско-французской систем машинного перевода.

В 1997 г. подписано соглашение с французской фирмой Softissimo о создании систем перевода с французского языка на немецкий и английский и обратно, а в декабре этого года была выпущена первая в мире система немецко-французского перевода. В этом же году компания "ПРОМТ" компания выпустила систему, реализованную по технологии Гигант, поддерживающей несколько языковых направлений в одной оболочке, а также специальный переводчик для работы в Интернете WebTranSite.

В 1998 г. выпускается целое созвездие программ под новым названием PROMT 98. Через год компания ПРОМТ выпустила два новых продукта: уникальный пакет программ для работы в Интернете - PROMT Internet, и переводчик для корпоративных почтовых систем - PROMT Mail Translator. В ноябре 1999 года PROMT была признана лучшей системой машинного перевода среди тестируемых французским журналом PC Expert, обойдя конкурентов по сумме показателей на 30 процентов. Для корпоративных клиентов разработаны также специальные серверные решения - корпоративный сервер переводов PROMT Translation Server (PTS) и Интернет-решение PROMT Internet Translation Server (PITS). В 2000 г. "ПРОМТ" обновила всю линию своих программных продуктов, выпустив МП системы нового поколения: PROMT Translation Office 2000, PROMT Internet 2000 и Magic Gooddy 2000.

Перевод в режиме он-лайн при поддержке системы "ПРОМТ" используется на ряде отечественных и зарубежных сайтов: PROMT's Online Translator, InfiniT.com, Translate.Ru, Lycos и др., а также в учреждениях различного профиля для перевода деловой документации, статей и писем (существуют системы перевода, встраиваемые непосредственно в Outlook Express и другие почтовые клиенты).

В наше время появляются новые технологии машинного перевода, основанные на использовании систем искусственного интеллекта, статистических методах. О последних – в следующем разделе.

Рональд Шлейфер

Литература

1. Адмони В.Г. Основы теории грамматики / В.Г. Адмони; АН СССР.-М.: Наука, 1964.-104с.

2. Апресян, Ю.Д. Идеи и методы современной структурной лингвистики. М., 1966.

3. Арапов, М.В., Херц, М.М. Математические методы в лингвистике. М., 1974.

4. Арнольд И.В. Семантическая структура слова в современном английском языке и методика её исследования. /И.В. Арнольд– Л.: Просвещение, 1966. – 187 с.

5. Баранов А.Н. Категории искусственного интеллекта в лингвистической семантике. Фреймы и сценарии// А.Н. Баранов – М., 1987 – 300 c.

6.Башлыков А.М. Система автоматизированного перевода. / А.М. Башлыков, А.А. Соколов. – М.: ООО «ФИМА», 1997. – 20 с.

7.Бодуэн де Куртенэ: Теоретическое насле дие и современность: Тезисы докладов международной научной конференции / Ред.И.Г. Кондратьева. – Казань: КГУ, 1995. – 224 с.

8. Гладкий А.В., Элементы математической лигвистики. /. Гладкий А.В., Мельчук И.А. –М., 1969. – 198 с.

9. Головин, Б.Н. Язык и статистика. /Б.Н. Головин –М., 1971. – 210 с.

10. Звегинцев, В.А. Теоретическая и прикладная лингвистика. / В.А. Звегинцев –М., 1969. – 143 с.

11. Касевич, В.Б. Семантика. Синтаксис. Морфология. // В.Б. Касевич –М., 1988. – 292 c.

12. Лекомцев Ю.К. Введение в формальный язык лингвистики/ Ю.К. Лекомцев. – М.: Наука, 1983, 204 с., ил.

13. Лингвистическое наследие Бодуэна де Куртенэ на исходе ХХ столетия: Тезисы докладов международской научно-практическтй конференции 15-18 марта 2000 года. – Красноярск, 2000. – 125 с.

Матвеева Г.Г. Скрытые грамматические значения и идентификация социального лица («портрета») говорящего/ Г.Г. Матвеева. – Ростов, 1999. – 174 с.

14. Мельчук, И.A. Опыт постpоения лингвистических моделей "Смысл <--> Текст"./ И.А. Мельчук. – М., 1974. – 145 c.

15. Нелюбин Л.Л. Перевод и прикладная лингвистика/Л.Л. Нелюбин. – М.: Высшая школа, 1983. – 207 с.

16. О точных методах исследования языка: о так называемой «математической лингвистике»/ О.С. Ахманова, И. А. Мельчук, Е.В. Падучева и др. – М., 1961. – 162 с.

17. Пиотровский Л.Г. Математическая лингвистика: Учебное пособие/ Л.Г. Пиотровский, К.Б. Бектаев, А.А. Пиотровская. – М.: Высшая школа, 1977. – 160 с.

18.Он же. Текст, машина, человек. – Л., 1975. – 213 с.

19. Он же. Прикладное языкознание / Под ред. А.С Герда. – Л., 1986. – 176 с.

20. Ревзин, И.И. Модели языка. М., 1963. Ревзин, И.И. Современная структурная лингвистика. Проблемы и методы. М., 1977. – 239 с.

21. Ревзин, И.И., Розенцвейг, В.Ю. Основы общего и машинного перевода/Ревзин И.И., Розенцвейг, В.Ю. – М., 1964. – 401 с.

22. Слюсарёва Н.А. Теория Ф.де Соссюра в свете современной лингвистики/ Н.А. Слюсарева. – М.:Наука, 1975. – 156 с.

23. Сова, Л.З. Аналитическая лингвистика/ Л.З. Сова – М., 1970. – 192 с.

24. Соссюр Ф. де. Заметки по общей лингвистике/ Ф. де Соссюр; Пер. с фр. – М.: Прогресс, 2000. – 187 с.

25. Он же. Курс общей лингвистики/ Пер. с фр. – Екатеринбург, 1999. –426 с.

26. Статистика речи и автоматический анализ текста / Отв. ред. Р.Г. Пиотровский. Л., 1980. – 223 с.

27. Столл, P. Множествa. Логикa. Aксиомaтические теоpии./ Р. Столл; Пер. с англ. – М., 1968. – 180 с.

28. Теньер, Л. Основы структурного синтаксиса. М., 1988.

29. Убин И.И. Автоматизация переводческой деятельности в СССР/ И.И. Убин, Л.Ю. Коростелёв, Б.Д. Тихомиров. – М., 1989. – 28 с.

30. Фоp, P., Кофмaн, A., Дени-Пaпен, М. Совpеменнaя мaтемaтикa. М., 1966.

31. Шенк, Р. Обработка концептуальной информации. М., 1980.

32. Шихaнович, Ю.A. Введение в современную мaтемaтику (нaчaльные понятия). М., 1965

33. Щерба Л.В. Русские гласные в качественном и количественном отношении/ Л.В. Щерба – Л.: Наука, 1983. – 159 с.

34. Абдулла-заде Ф. Гражданин мира// Огонёк – 1996. – №5. – С.13

35. В.А. Успенский. Предварение для читателей «Нового литературного обозрения» к семиотическим посланиям Андрея Николаевича Колмогорова. – Новое литературное обозрение. –1997. – № 24. – С. 18-23

36. Перловский Л. Сознание, язык и культура. – Знание – сила. –2000. №4 – С. 20-33

37. Фрумкина Р.М. О нас – наискосок. //Русский Журнал. – 2000. – №1. – С. 12

38. Фитиалов, С.Я. О моделировании синтаксиса в структурной лингвистике // Проблемы структурной лингвистики. М., 1962.

39. Он же. Об эквивалентности грамматики НС и грамматики зависимостей // Проблемы структурной лингвистики. М., 1967.

40. Хомский, Н. Логические основы лингвистической теории // Новое в лингвистике. Вып. 4. М., 1965

41. Schleifer R. Ferdinand de Saussure// press. jhu.ru

42. www.krugosvet.ru

43. www.lenta.ru

44. phil.ru.ru

45. press. jhu.ru

46. ru.wikipedia.org

47. www.smolensk.ru

Глава I. История применения математических методов в лингвистике