Энтропия. Теория информации
Для уяснения смысла равенства In = D IS, вытекающего из сопоставления выражений (2.6) и (2.7), рассмотрим следующий пример.
Некто получил сообщение, что из яйца вылупился птенец. Для подтверждения того, что это именно птенец, а не малек, сообщается, что у него не плавники, а крылья, не жабры, а легкие и т.п. Разумеется, все это не будет избыточной информацией In для всякого, кто знает, чем отличается птенец от малька.
Но та же самая информация о крыльях, легких, клюве и т.п., заложенная в генетический код, регулирует процесс онтогенеза, в результате которого в яйце формируется организм птенца, а не малька. Таким образом, информация In, избыточная для осведомленного получателя, оказывается необходимой структурной информацией D IS, когда речь идет об информационном управлении процессами формирования тех или иных упорядоченных структур. Вследствие этого и выполняется условие :
|
In = D IS = Hmax – Hr |
(2.8) |
ИНФОРМАЦИОННО-ЭНТРОПИЙНЫЕ СООТНОШЕНИЯ ПРОЦЕССОВ АДАПТАЦИИ И РАЗВИТИЯ
Одна из теорем Шеннона свидетельствует об уменьшении информационной энтропии множества АВ, образованного в результате взаимодействий двух исходных упорядоченных множеств Либ.
|
H (A,B) ≤ H(A) + H(B) |
(3.1) |
В этом соотношении знак равенства относится к случаю отсутствия взаимодействий между множествами А и В .
В случае взаимодействий происходит уменьшение энтропии на величину:
D H = Н(А) + Н(В) - Н(А,В) (3.2)
Согласно негэнтропийному принципу информации (3.4) получаем :
D IS =Н(А) +Н(В) - Н(А,В) (3.3)
Распространяя рассмотренные Шенноном взаимодействия абстрактных математических множеств на случаи взаимодействий реальных физических систем, можно сделать следующие выводы :
1. Соотношения ( 3.1 ), (3.2) и (3.3 ) можно распространить на случаи взаимодействий упорядоченных физических систем, в частности на взаимодействия физических сред с различными видами полей.
При этом необходимо осуществлять переход от информационной энтропии Н к термодинамическай энтропии S , используя соотношение (1.4) Приложений 1.
2. Знак равенства в соотношении (3.1) соответствует случаю отсутствия взаимодействия между рассматриваемыми физическими системами (например, случай воздействия магнитного поля на не обладающую магнитными свойствами среду).
3. Во всех остальных случаях в соответствии с соотношением (3.3) происходит накопление структурной информации D IS, характеризующей увеличение упорядоченности структуры вновь образующейся системы (формирование и ориентация магнитных доменов под воздействием магнитного поля, структуализация под воздействием электрического поля поляризуемых сред и т.п.).
С помощью вероятностной функции энтропии можно описать формальным математическим языком процесс адапации системы к внешним воздействиям, понимая процесс адаптации как обучение оптимальному поведению в заданных условиях внешней среды.
Рассмотрим систему, обладающую возможностью выбора одного из N возможных ответов (реакций) на внешние воздействия. До прохождения обучения система способна отвечать на любые воздействия лишь выбранной наугад реакцией i, причем i может принимать любые значения от i = 1 до i = N, т.е.:
i=1,2,3, . N , (3.4)
При этом условии вероятности всех ответов равны друг другу, т.е.:
Р1= Р2 = … =PН=1/N (3.5)
Как было показано ранее, при этом условии реальная энтропия Нr равна максимальной энтропии Hmax, т.е.:
|
Hr = - |
i = N |
pi log pi = log N = Hmax |
(3.6) |
|
S | |||
|
i = 1 |
В результате обучения возникают различия вероятностей разных реакций.
В соответствии с рассмотренными ранее свойствами функции
|
S pi log pi | |
| i | |
реальная энтропия Hr уменьшается на величину
|
D IS = Hmax – Hr |
(3.7) |
С точки зрения теории вероятностей начальный алфавит с заданным числом букв представляет собой полную группу событий.
Для полной группы событий при любом распределении вероятностей сумма их всегда равна 1 , согласно известному из теории вероятности условию нормировки:
|
i = N |
pi = 1 |
(3.6) |
|
S | ||
|
i = 1 |
Смысл условия нормировки заключается в том, что сумма вероятностей выпадения всех 6-ти граней игральной кости равна вероятности выпадения любой грани, т.е. :
Р1 + Р2 + … Р6 = 1/6 + 1/6 + … + 1/6 = 1
6 раз
В рассматриваемом нами процессе обучения, приводящем к дифференцировке значений вероятностей реакций Pi , составляющих полную группу N, условие (3.8) свидетельствует о том, что увеличение вероятностей каких -то реакций может происходить только за счет уменьшения всех остальных вероятностей (чтобы сумма была по-прежнему равна 1, см. рис. 1, случай б).
В предельном случае одна из N вероятностей может возрасти до 1, тогда все остальные вероятности станут равны 0 (рис. 1).
В случае текста предельному случаю дифференцировки соответствует вероятность одной буквы (например, «е»), равная 1. Вероятности всех остальных букв при этом равна нулю. Это значит, что текст вырождается в повторение одной буквы
Перейти на страницу: 1 2 3 4 5 6 7 8 9 10 11 12 13 14