Нет, информацию не удержишь даже в волшебной бутылке! Мир так нуждается в информации, что стоит лишь приоткрыть небольшое отверстие, до поры до времени утаенное от нас природой, как тут же через него наружу вырывается неудержимый фонтан. Джинн, освобожденный Герцем, разнес информацию по всему белу свету на радиоволнах. Джинн, освобожденный Шенноном, позволил измерить количество информации и обнаружить при этом, что информация существует не только в радиоволнах и книгах, но и в структуре всех созданных природой и человеком организованных систем.
В чем же секрет «вездесущности» созданной Шенноном новой теории? Чтобы понять этот секрет, придется опять обратиться к замечательной функции энтропии.
Глава 2.
ПОРЯДОК И ХАОС ВСТУПАЮТ В СОЮЗ
КАК ВЫГЛЯДИТ ЭНТРОПИЯ? ЭКСПЕРИМЕНТЫ С БУКВАМИ. СТРАННЫЕ ФРАЗЫ. ИНФОРМАЦИЯ И ПОРЯДОК. У ПТЕНЦОВ НЕТ ПЛАВНИКОВ. ТЕКСТ ИЗ ОДНИХ «А»
Итак, целых 100 лет энтропию считали фатумом, роком, причиной будущей неминуемой гибели всей Вселенной. А она, «оклеветанная молвой», совершала свою, тогда еще никому не заметную созидательную работу, обновляющую и омолаживающую весь мир. Невидимой была эта работа, невидимой оставалась и сама энтропия: исследования Больцмана позволили лишь представить ее в виде хаоса огромного множества движущихся микрочастиц.
Зримый образ энтропия приобрела благодаря работам Шеннона. Чтобы ее увидеть, нужно дождаться окончания вечерней телепрограммы и внимательно всмотреться в телевизионный экран. Вы увидите там хаотичную пляску черных и белых точек, похожую на ту пляску молекул, которую более ста лет назад впервые вообразил и описал языком теории вероятностей Джеймс Клерк Максвелл.
Что же общего между телеэкраном и газом? В обоих случаях функция достигла своей максимальной величины. Потому чтои в том и в другом случае все вероятности рi одинаковы: для молекул газа равны вероятности всех скоростей и направлений движения; для телеэкрана в каждый момент равны вероятности всех степеней яркости бегущего по экрану луча. Для газа равенство всех вероятностей обусловлено термодинамическим равновесием. На телеэкране сходная ситуация возникает в тех случаях, когда яркостью луча управляет не упорядоченная информация, передаваемая с телестудии или со сцены концертного зала, а проникающие в телеканал из эфира хаотичные (то есть опять-таки энтропийные) шумы.
Клод Шеннон показал, что энтропию можно не только увидеть, но и создать искусственно, пользуясь алфавитом и определенными правилами составления текста, так же как создаются вкусные блюда или хитроумные ручные поделки по рекомендациям поваренной книги или раздела журнала под рубрикой «Сделай сам».
«Возьмите свежей баранины,— рекомендует автор поваренной книги,— пропустите дважды сквозь мясорубку, посолите...»
В том же стиле можно теперь описать способ приготовления энтропии.
Возьмите 32 пустые карточки и напишите на них все буквы русского алфавита. Положите все карточки в коробку, тщательно перемешайте. Извлеките наугад одну букву. Извлекли? Прекрасно! Запишите, какую именно. Записали? Очень хорошо. Теперь бросьте карточку с буквой в коробку и перемешайте карточки еще раз. Тщательнее перемешивайте! Еще раз! Еще! Теперь достаточно. Можете извлечь следующую букву и записать ее рядом с предыдущей.
Проделав подобную процедуру раз 30—40, вы получите набор букв и слов5.
*Одна из 32 карточек должна быть пустой. При извлечении этой карточки в тексте оставляется пропуск, соответствующий интервалу между словами.
Математик Р. Л. Добрушин в результате такого эксперимента получил текст, который вы уже видели на 25-й странице. Возвращаясь к нему теперь, спросим себя: стоило ли ради такой бессмыслицы делать специальный эксперимент? Оказывается, стоило. Ведь полученный Добрушиным текст — это не просто бессмыслица, а самая бессмысленная бессмыслица, какую только можно вообразить. Чередование букв наиболее беспорядочно, хаотично. Энтропия текста обладает наибольшей их всех возможных текстов величиной.
Все это вытекает из описанной методики эксперимента. В самом деле, вероятность извлечения любой из букв одинакова, то есть выполняется уже знакомое нам условие:
Ра = Рб=... =Ря= 1/32
Чтобы это условие не нарушилось, мы настоятельно рекомендовали после извлечения карточки возвращать ее к коробку и тщательно снова все перемешивать.
Заметим, что вероятность извлечения пустой карточки, соответствующей интервалу между словами, также равна 1/32. Поэтому-то такими несуразно длинными получились слова нашего странного текста: каждое слово, формируемое описанным способом, состоит в среднем из 32 букв, то есть на каждые 32 наугад извлеченные буквы попадется в среднем один интервал.
В реальных текстах средняя длина слова составляет примерно 6 букв. Это значит, что в реальных текстах интервал встречается примерно в 5 раз чаще, чем в нашем эксперименте. Значит, его вероятность для реального текста составляет не 1/32, а 5/32= 1/6=0,17.
Так же обстоит дело и с остальными буквами вероятность их появления в реальных текстах значительно отличается от 1/32.
Для определения реальных значений вероятностей появления букв в письменных текстах фиксировали частоту появления каждой буквы на протяжении сотен и тысяч страниц.
В результате такого учета было установлено, что чаще всего в русских текстах появляется буква «О» (ро = 0,09), а реже всего буква «Ф» (рф = 0,002) 6.
**Сравните с вероятностью появления тех же букв в описанном эксперименте:Ро=Рф=1/32= 0,03
Чаще, чем буква «О» и другие буквы, появляются в русских текстах интервалы между словами. Их вероятность составляет ринтервала = 0,17.
Благодаря тому, что вероятности появления различных букв в реальных текстах неодинаковы, их энтропия (беспорядочность) меньше, чем в экспериментальном, искусственном тексте. Реальные тексты отличаются от энтропийного определенным порядком чередования букв.
Чтобы уяснить, как возникает порядок, попытаемся составить текст, в котором соблюдались бы реальные вероятности появления букв. Для этого нам придется вновь поместить карточки с буквами в общую коробку, но теперь понадобится не 32 карточки, а значительно больше, потому что число карточек должно быть пропорционально вероятностям появления букв (например, на две карточки с буквой «Ф», имеющей вероятность рф =0,002, должно приходиться 90 карточек с буквой «О», имеющей вероятность Ро =0,09 и т. д.).
Впрочем, можно не тратить времени на приготовление множества карточек с буквами. Тот же эксперимент можно проделать без карточек, используя обычный печатный текст. Ведь в тексте каждая буква будет встречаться именно с той частотой, которая соответствует ее вероятности.
Если, закрыв глаза, наугад переворачивать страницы и указывать на букву, а затем приписывать ее к ряду ранее таким же образом отобранных букв, то вы получите новый искусственный текст, в котором частота появления букв будет соответствовать вероятности их появления в русском тексте. Действуя таким образом, Р. Л. Добрушин получил фразу, помещенную в нижеприведенной таблице под номером 2.
НОМЕР ФРАЗЫ Фраза УСЛОВИЕ ПОЛУЧЕНИЯ ФРАЗЫ 1 СУХЕРРОБЬДЩ ЯЫХВЩИ-ЮАЙЖТЛФВНЗАГФО-ЕНВШТЦР ПХГБКУЧТЖЮ-РЯПЧЬЙХРЫС Принято условие равной вероятности всех букв алфавита и интервала между словами 2 ЕЫНТ ЦИЯЬА ОЕРВ ОДНГ ЬУЕМЛОЛПКЗБЯ ЕВНТША Учтены вероятности отдельных букв в русском тексте 3 ВЕСЕЛ ВРАТЬСЯ НЕ СУХОМ И НЕПО И КОРКО Учтены вероятности 4-буквенных сочетаний в русском тексте 4 ТЕОРИЯ ИНФОРМАЦИИ ПОЗВОЛЯЕТ ИЗУЧИТЬ ЭТО СВОЙСТВО РЕАЛЬНЫХ... Соблюдены реальные вероятности сочетания всех букв
Мы намеренно расположили фразу № 2 рядом с ранее полученной искусственной фразой № 1, чтобы читатель мог наглядно убедиться, насколько возрос порядок в тексте после того, как мы учли реальные вероятности появления букв.
В чем проявляется порядок? Во-первых, исчезли из текста слова несуразно длинные. Это произошло потому, что мы учли реальную вероятность появления интервала между словами (Ринтервала =0,17).
Во-вторых, в отличие от фразы № 1, где друг за другом следовали 5 или 6 согласных букв (ЖТЛФВНЗ и т. п.), во фразе № 2 гласные и согласные буквы чередуются более или менее равномерно, потому что учтены реальные вероятности появления и тех и других. Благодаря этому слова фразы № 2 стали более или менее «удобочитаемы», в отличие от фразы № 1, где сколько бы вы ни старались, вам не удастся произнести вслух такие сочетания букв, как БЬДЩ или ЖТЛФВНЗ.
