Цитата:
Все вышесказанное можно представить в виде витка спирали, исходной точкой которого (точка «И») является состояние хаоса и максимальной энтропии, а конечной точкой — жесткая детерминация (точка «К») (см. рис. 2).
...
Путь из точки «И» к точке «К» — это процесс накопления структурной информации Is. Исследования показали, что русскоязычные и многие европейские тексты в своем развитии прошли около 80% такого пути. По-видимому, соотношение Hr / Is = 20% / 80% является оптимальным, причем не только для письменных текстов, но и для самых разнообразных по своей природе систем.
Если система, преодолев точку оптимального соотношения, продолжает двигаться к конечному состоянию «К», она начинает терять свои адаптивные свойства вследствие чрезмерного уменьшения энтропии Нr (способности бифуркаций, мутаций, случайных ассоциаций и т. п.).
Достигшая жесткой детерминации система (например, планетарная) способна существовать только в жестко стабильных условиях и обречена на разрушение в случае изменения этих условий, т. е. на скачкообразный переход из точки «К» в точку «И».
Авторская философская интерпретация результатов Шеннона вызывает недопонимание. В
исходной статье:
Цитата:
...
Для измерения количества информации, содержащейся в тех или
иных сообщениях, в частности в письменных текстах, Шеннон предложил
использовать заимствованную у статистической физики вероятностную
функцию энтропии H = -∑PilogPi, где i в общем случае принимает
значения: i = 1, 2, 3 ... N, а в случае текста: i = а, б, в, ... я.
Свойства указанной функции таковы, что при равных значениях
вероятностей Ра = Рб — Рв= ... = Ря величина энтропии Н становится
максимальной (Hmax). Очевидно, что максимальной энтропии соответствует
лишенный какой-либо упорядоченности хаотичный текст.
В реальном тексте различным буквам соответствуют разные вероят-
ности. Так, например, в русскоязычном тексте вероятности появления
букв «ф» или «э» в 30 раз меньше, чем буквы «о». Вследствие этого,
а также с учетом того, что вероятности последующих букв зависят от
предыдущих (свойство корреляции), реальная энтропия текста Нr сос-
тавляет около 20% от Нmaх.
Разность Hmaх — Нr = Iа Шеннон назвал «избыточной информацией».
Термин «избыточность» означает, что данная информация может быть
предсказана до ее получения (например, можно с вероятностью 100%
предсказать, что вслед за сочетанием ТЬС появится буква Я).
...
Это то, что определял Шеннон в рамках понимания информационных процессов. Далее уже авторское развитие:
Цитата:
Для дальнейшего рассмотрения нам важно подчеркнуть то обстоя-
тельство, что разность Нmax — Нr характеризует одновременно и избы-
точность (предсказуемость), и степень упорядоченности текста и может
быть оценена количественно как величина структурной информации Is,
содержащейся в тексте, т. е. Is = Hmax — Hr.
Для уяснения факта совпадения количеств избыточной и структурной
информации текста рассмотрим следующий наглядный пример.
Допустим, что некто получил сообщение о том, что из яйца вылупился
птенец. Далее следуют уточнения, что это именно птенец, а не малек,
потому что он дышит легкими, а не жабрами, имеет не плавники, а
крылья и т. п. Разумеется, все это будет избыточной информацией для
получателя, который знает, чем птенец отличается от малька.
Однако та же самая информация, заключенная в генетическом коде,
является именно той структурной информацией, которая определяет весь
процесс эмбриогенетического формирования птенца. Вот почему оказы-
вается справедливым равенство Is = Ia, а разность Нmax — Нr = Is может
служить количественной мерой упорядоченности текста или структуры
любых систем.
Что есть язык: "знаки -- единицы, отображающие повторяющиеся элементы представлений, полученные путем сравнения. Язык возникает тогда, когда система сигналов преобразуется в систему знаков, т.е. когда отображенными оказываются повторяющиеся элементы представлений (ситуаций), и, следовательно, ситуационная ограниченность снимается... Знак ... ограничивает разнообразие мира и является, таким образом, инструментом познания, поскольку всякое познание есть определение общего, закономерного". Знаки представляются как "семантические конденсации" (свёртки). Подробнее:
viewtopic.php?f=104&t=6078#p101220То, что декларируется выше под "структурной информацией" является "избыточной информацией" по Шеннону и не используется (и не "накапливается") субъектами языковой среды (она, в некотором смысле, за пределами информационных процессов). Природа знаковых систем -- в ликвидации информационной избыточности, точнее, в решении проблем невозможности применения избыточности из-за ограниченных ресурсов (подчеркну: понимая информационные системы предельно широко, также как и в изложениях Е. Седова).
Непонятно, что есть точка "И" как гипотетическая совокупность предельно всех потенциальных элементов и их всех возможных связей (в общем случае). Если интерпретировать как реальный закулисный контекст -- в процессе развития систем возникают новые "повторяющиеся ситуации", появляются новые знаки, информация накапливается (и удаляется) в виде семантических сжатий и т.д., а условное движение от точки "И" -- как некий формальный процесс от образования новых знаков (на "новом витке спирали") до окончательного или установившегося состояния языковой среды, где знаки "устаканились" вместе с правилами применения и пр., плюс накопилась информация в виде семантических структур о понятиях/стереотипах (определяя таким образом этап преобразования развивающихся кибернетических систем) -- то невозможно игнорировать парадигму и прагму языка (элементы и процессы языковой среды). И возникающие в реальности объекты и связи (на всём пути) -- как раз вне области "избыточной информации" по Шеннону ("реальная энтропия").
Непонятна и условная конечная точка "K", где нулевая "реальная энтропия" -- нулевая вероятность появления элемента или связи в системе, т.е. отсутствие системы -- "жесткая детерминация"?
(стремление к минимуму или оптимуму -- естественный результат в языковых средах, включая и для генетического кода, к примеру, см.
публикации С.Ю. Рудермана).
Возможно, ключевое в этом (в той же статье):
Цитата:
Важно отметить, что при исчислении количества информации по
Шеннону игнорируется ее смысл и ее ценность. Так, например, для
гражданина Белова одно и то же количество информации (I бит) содержится
в таких двух различных по своей ценности сообщениях, как «Завтра
не будет дождя» и «У вас родился сын». Попытки введения количественных
мер смысла и ценности информации показали, что эти меры не могут
обладать такой же степенью универсальности, как мера, предложенная
Шенноном, по той простой причине, что нельзя одними и теми же
единицами измерить ценности закона Ома и признания в любви.
Абстрагируясь от смысла и ценности информации, Шеннон фактически
поступил так же, как Галилей в свое время поступил с силой трения:
исключение этих факторов из поля зрения позволило установить более
общий закон.
Мера, найденная Шенноном, оказалась единой универсальной мерой
упорядоченности для всех существующих в мире систем.
Только в данном случае исключён весь содержательный смысл, видимо, из-за философской моды на "энтропию".