Мы — переводчики - Дмитрий Анатольевич Жуков

в самых различных шрифтах. Это «нечто» — кружок и закорючка, начинающаяся в верхней левой части кружка и идущая вверх и направо. Но буквы «б» из разных шрифтов могут совпасть далеко не во всех точках, если мы их попытаемся совместить.

Ученые определили «статистическую меру сходств» букв из разных шрифтов и как бы создали обобщенный образ каждой буквы алфавита. Они установили, что точки совмещенных букв лягут гуще в определенных областях пространства. Эти кучно лежащие точки и будут создавать образ, который поможет распознавать все новые и новые варианты одних и тех же букв.

Есть автоматы для чтения, работающие и на других принципах. Во всяком случае, «видит» машина уже неплохо.

* * *

Итак, мы вводим в машину английский текст, каждая буква которого специальной программой обозначается числом — от 1 до 26. В каждом введенном слове определяется число букв, так как в словаре машины все слова тоже сгруппированы по числу букв (например, все четырехбуквенные слова сгруппированы по алфавиту в одном месте). И сразу же машина начинает искать слово в словаре, где все буквы закодированы теми же числами. Слово «age» выглядит в машине так: 1, 7, 5;

Но одновременно с поиском слова в словаре работает программа исправления искажений. Дело в том, что считывающий автомат пока еще читает правильно только 98 процентов текста, а это значит, что определенное количество букв в словах может быть искажено. Да и при вводе текста с перфорированной ленты могут быть ошибки, так как от них не застрахована даже опытная перфораторщица.

Короче говоря, машина принимается выполнять обязанности корректора, который в любом издательстве вылавливает и исправляет ошибки в корректурных оттисках, перед тем как ротационные машины начнут безостановочно печатать весь тираж.

Как же машина справляется с такой работой? В программе ее предусмотрено много способов исправления искажений. Она может обратиться к своему словарю, найти там слово, похожее больше других на наше искаженное слово.

Возьмем для примера русское слово «котолый». Вы скажете, что такого русского слова нет. Я напомню вам, что слово искажено, и вы тогда сразу догадаетесь, что в слове ошибка, и станете читать «который». Вы определили это простым сопоставлением букв искаженного и неискаженного слова. Пример нарочно взят легкий, но он позволит серьезно поговорить о некоторых положениях теории информации, применимых на практике.

Один из основоположников теории информации К. Шеннон считает речь разновидностью вероятностного процесса. Наша речь — это последовательность определенного числа элементов. И в каждом определенном месте этой последовательности может оказаться любой из элементов. (Элементами Шеннон считает буквы.) Но вот вероятность появления того или иного элемента в определенном месте для разных элементов разная. Для иных она даже нулевая (например, в русском языке между буквами «ый» не может появиться согласная). И вообще вероятность появления каждого следующего элемента во многом зависит от сочетания предыдущих.

Для создания программы исправления искажений необходимо было изучить закономерности появления в том или ином месте тех или иных элементов (букв).

Письменный язык состоит из небольшого числа элементов (английский из 26), и появление их предсказуемо. Мы знаем частоту встречаемости букв в английском языке на каждую тысячу букв текста:

Теория информации возникла из практических нужд — ученые разработали ее, чтобы выяснить, какой код лучше всего подходит для сообщений по телеграфу, как избавиться от искажений при передаче сигналов. Но затем теория информации перекочевала и в другие науки — кибернетику, лингвистику, биологию, и даже есть попытки применить ее в эстетике.

Информация, как и мысль, не бесплотна. Для того чтобы передать сообщение, нужна какая-то система знаков, звуков, сигналов, понятная всем тем, для кого предназначено сообщение. Таких систем на свете множество. Их называют кодами. Многие ученые считают кодами языки и даже изобразительные и другие средства, которыми пользуется искусство.

При равновероятностном, совершенно случайном появлении любой из букв алфавита текст выглядел бы совершенно случайным набором букв:

БКСХЪЬЕ КФГОРБУХЗТЧ ЫАПРЖДЛЙЦУХЗЩ

Но раз язык — система, то такого положения в нем быть не может. Человек не свободен в выборе каждой следующей буквы, когда он пишет. Так, в английском языке за буквой «Q» всегда следует «U».

Следовательно, для исправления искажений нужно было составить таблицы, показывающие наиболее вероятные комбинации двух и трех букв. Если машина не находила в таблицах встретившееся ей сочетание, то она меняла его на наиболее вероятное, и статистика показывала, что почти на сто процентов текст оказывался исправленным.

Но устойчивые комбинации букв встречаются в языке не очень часто, и тогда в исправлении ошибок очень помогает избыточность языка. Она заключается в том, что в языке употребляется больше элементов, чем это нужно для какого-нибудь сообщения.

«Изменив цифру, — пишет известный американский ученый Дж. Пирс, — мы получим новое число, но если мы изменим букву или даже несколько букв в тексте обычного сообщения, то скорее получим искаженное, но могущее быть узнанным, чем другое осмысленное сообщение. Буквальный же смысл искаженного текста будет бессмыслицей. Это является весьма ценным свойством письменной речи. Благодаря этому свойству мы оказываемся в состоянии, например, понимать плохой почерк. Та же избыточность позволяет нам уловить смысл плохо расслышанной фразы и понимать человека, который в разговоре грамматически неправильно употребляет слова или говорит с иностранным акцентом».

Из-за избыточности плотность информации на каждую букву языка очень мала. Но именно это помогает нам избегать многих ошибок и увеличивает не только число признаков появления той или иной буквы, но н число признаков, определяющих значение каждого слова.

Слова в языке длиннее, чем они могли бы быть. У нас есть слова из десяти букв. А великое множество трехбуквенных сочетаний нами не используется. Чем не хороши слова — «коа», «эню», «лок»? И таких трехбуквенных сочетаний теоретически можно составить тридцать тысяч. А в русском языке употребляется всего несколько сот трехбуквенных слов. Каждый язык использует свои, присущие ему не только трехбуквенные, но и четырех-, пяти- и т. д. буквенные сочетания.

Например, в русском языке довольно редко приходится на одно слово сразу четыре согласных, не разделенных гласными (слова типа «монстр всплыл»).

Далеко не каждая буква слова несет информационную нагрузку. Представьте себе, что вы нашли клочок газеты, на котором есть такие буквы: «крепить обороно-спо», а дальше