EnTrope (Энтропия. Теория информации), страница 5

 H = Н(А) + Н(В) - Н(А,В) (3.2)

Согласно негэнтропийному принципу информации (3.4) получаем :

 I_S =Н(А) +Н(В) - Н(А,В) (3.3)

Распространяя рассмотренные Шенноном взаимодействия абстрактных математических множеств на случаи взаимодействий реальных физических систем, можно сделать следующие выводы :

1. Соотношения ( 3.1 ), (3.2) и (3.3 ) можно распространить на случаи взаимодействий упорядоченных физических систем, в частности на взаимодействия физических сред с различными видами полей.

При этом необходимо осуществлять переход от информационной энтропии Н к термодинамическай энтропии S , используя соотношение (1.4) Приложений 1.

2. Знак равенства в соотношении (3.1) соответствует случаю отсутствия взаимодействия между рассматриваемыми физически­ми системами (например, случай воздействия магнитного поля на не обладающую магнитными свойствами среду).

3. Во всех остальных случаях в соответствии с соотношением (3.3) происходит накопление структурной информации  I_S, характеризующей увеличение упорядоченности структуры вновь образующейся системы (формирование и ориентация магнитных доменов под воздействием магнитного поля, структуализация под воздействием электрического поля поляризуемых сред и т.п.).

С помощью вероятностной функции энтропии можно описать формальным математическим языком процесс адапации системы к внешним воздействиям, понимая процесс адаптации как обучение оптимальному поведению в заданных условиях внешней среды.

Рассмотрим систему, обладающую возможностью выбора одного из N возможных ответов (реакций) на внешние воздействия. До прохождения обучения система способна отвечать на любые воздействия лишь выбранной наугад реакцией i, причем i может принимать любые значения от i = 1 до i = N, т.е.:

i=1,2,3,.. . N , (3.4)

При этом условии вероятности всех ответов равны друг другу, т.е.:

Р₁= Р₂ = … =P_Н=1/N (3.5)

Как было показано ранее, при этом условии реальная энтропия Н_r равна максимальной энтропии H_max, т.е.:

Hr = -	i = N	pi log pi = log N = Hmax	(3.6)
	
	i = 1

В результате обучения возникают различия вероятностей разных реакций.

В соответствии с рассмотренными ранее свойствами функции

 pi log pi
i

реальная энтропия H_r уменьша­ется на величину

 IS = Hmax – Hr

(3.7)

С точки зрения теории вероятностей начальный алфавит с заданным числом букв представляет собой полную группу событий.

Для полной группы событий при любом распределении вероятностей сумма их всегда равна 1 , согласно известному из теории вероятности условию нормировки:

i = N	pi = 1	(3.6)

i = 1

Смысл условия нормировки заключается в том, что сумма вероятностей выпадения всех 6-ти граней игральной кости равна вероятности выпадения любой грани, т.е. :

Р₁ + Р₂ + … Р₆ = ¹/₆ + ¹/₆ + … + ¹/₆ = 1

^{6 раз}

В рассматриваемом нами процессе обучения, приводящем к дифференцировке значений вероятностей реакций P_i , состав­ляющих полную группу N, условие (3.8) свидетельствует о том, что увеличение вероятностей каких -то реакций может происходить только за счет уменьшения всех остальных вероятностей (чтобы сумма была по-прежнему равна 1, см. рис. 1, случай б).

В предельном случае одна из N вероятностей может возрасти до 1, тогда все остальные вероятности станут равны 0 (рис. 1).

В случае текста предельному случаю дифференцировки соот­ветствует вероятность одной буквы (например, «е»), равная 1. Вероятности всех остальных букв при этом равна нулю. Это значит, что текст вырождается в повторение одной буквы

е е е е е ...

Этот случай соответствует жесткой детерминации (незатухающий строго периодический процесс).

Соответствующее жесткой детерминации распределение вероятностей, при котором некая вероятность Р_к равна 1, а все остальные - равны 0, в общем виде запишется как

Рк=1 (3.9)

Р₁ = Р₂ = . . .= Р_к-1 = Р_к+1=. . .= 0 (3.10)

а)

Р₁ Р₂

P_n

б)

в)

Равномерное распределение вероятностей

Н_r = H_max

Дифференцировка вероятностей при соблюдении условия

_i=N

 p_i = 1

ⁱ⁼¹

H_max > H_r > 0

Предельный случай дифференцировки вероятностей

Н_r = 0

Рис. 1

При подстановке этих значений в функцию энтропии :

Hr =	i = N	pi log pi	(3.11)
	
	i = 1

получаем :

H_r=0 (3.12)

Подставляя (3.9) в (3.4), получаем :

 I_S = H_max (3.13)

В

H_r = H_max

 I_S = 0

H_r = 0

 I_S = H_max

се стадии перехода от состояния максимальной энтропии, описываемого условиями (3.4), (3.5), (3.6), к состоянию жесткой детерминации, которому соответствуют условия ( 3.9 ) + (3.13) можно представить в виде дуги, соединяющей исходное состояние Н с конечным состоянием К (рис. 2).

Рис. 2

На рис.3 изображена расширяющаяяся иерархическая спи­раль, которая может служить моделью формирования иерархических упорядоченных структур.

Пусть нижний уровень этой спирали (п = 0) соответствует на­чальному алфавиту, состоящему из N₀ различных элементов (букв, атомов, нуклеотидов и др.).

n = 0

n = 1

n = 2

n = 3

рис. 3

Тогда на уровне N = 1 из этого алфавита можно составить N₁ «слов». Если каждое слово состоит из K₁ букв, то из N₀ букв можно составить число слов, равное:

N₁ = N₀^K1 (3.14)

Соответственно, на уровне п = 2 из N₁ «слов» можно соста­вить количество «фраз», равное:

N₂=N₁^K2=N₀^K1K2 (3.15)

где Кг - число входящих в каждую «фразу» «слов»

Для упрощения математических выражений мы уже приняли одно допущение, сказав, что все слова содержат одинаковое ко­личество букв (К1), а все фразы содержат одинаковое количество слов (К2). Очевидно, что в реальных системах (например, в письменных текстах ) эти условия не соблюдаются. Однако для выполнения общих свойств нашей информационно -энтропийной модели подобные упрощения вполне допустимы, поэтому мы введем еще одно допущение:

K₁ = К₂ = К (3.16)

Подставив (3.16) в (3.15), мы получим :

N₂=N₀^K2 (3.17)

Проводя аналогичные операции для любой (п-ой) ступени при условии:

K₁ = K₂ = … = К_п = К,

получим:

N_n = N₀^K2 (3.18)

Рассмотрим пример, иллюстрирующий увеличение разнообразия (числа различимых элементов) с переходом на более высокие уровни изображенной на рис . 3.3 спирали в соответствии с форму­лами (3.14) + (3.18).

Если алфавит (уровень п = 0) содержит 30 букв (N₀ = 30), а каждое «слово» искусственного текста состоит из 6 букв (К = 6), то общее число таких «слов» составит:

N₁ = N₀^K1 = 30⁶ = 729 ·10⁶

Среди указанного количества «слов» большинство составят бессмысленные или даже непроизносимые «слова» (из 6-ти глас­ных, 6-ти согласных и т.п.).

Но если хотя бы 0,01% от общего числа буквенных комбинаций составят осмысленные слова, общий лексикон составит 72 900 слов.

Еще более прогрессивно возрастает число комбинаций с переходами на более высокие уровни n = 2, п = 3 и т.д.

Для определения возрастания информационной емкости по мере перехода на более высокие уровни изображенной на информаци­онно-энтропийной спирали напомним , что максимальное количес­тво структурной информации A/s' накапливается при переходе от Н_r′ = Н_max к Н_r′′ = 0, т.е. равно:

 I_S = Н_r′ – Н_r′′ = H_max

Величина максимальной энтропии для п - ой ступени определя­ется как:

Нп_max = log N_n = Кⁿ log N₀ (3.19)

Сопоставляя величину Нпгнх с величиной энтропии ступени n = О

H0_max = log N₀ (3.20)

убеждаемся, что в результате перехода с уровня n = 0 на уро­вень n , максимальная энтропия возросла в Кⁿ раз :

Нп_max =Кⁿ Н0_max (3.21)

При переходе от исходного состояния Н в конечное состояние К энтропия уменьшается от Н_r = Н_max до Н_r = 0, а величина на­капливаемой системой информации соответственно возрастает от I=0 до  I_S = Н_max (см. рис 1).

При переходе с уровня n = О на уровень n в соответствии с увеличением энтропии в Кⁿ раз увеличивается значение IS_max то есть возрастает потенциальная емкость:

( IS_max)₀ = Kⁿ( IS_max)₀ (3.22)