. (4.17)

Сравнивая выражения (4.15) и (4.17), нельзя не обнаружить их сходство. Они отличаются лишь на величину постоянного множителя, что для информационной энтропии не имеет принципиального значения. Заметим, что размерность физической энтропии Дж/К в известной мере условна, так как связана исключительно с использованием температурной шкалы для оценки степени нагретости тела. Если для этой же цели использовать энергетическую шкалу, как это часто принимается в физике, т.е. под температурой подразумевать произведение k_BТ, тогда и физическая энтропия станет безразмерной. По глубокому физическому смыслу энтропия безразмерна.

Покажем, что аналогия между энтропией Больцмана и информационной энтропией существует не только для равновероятных событий (формула (4.4), но и для общего случая (4.7). Раскроем значение W, воспользовавшись выражением (4.16), предварительно прологарифмировав его:

.

Используя формулу Стирлинга , находим . Заметив, что , а , получаем:

.

Умножив обе части этого выражения на и полагая, что есть вероятность обнаружить частицу на i-м энергетическом уровне, имеем:

.

Таким образом, получили выражение, аналогичное информационной энтропии (4.7).

Когда речь идёт о физической энтропии, то всегда имеют в виду неупорядоченность только одного рода, а именно неупорядоченность, связанную с хаотическим тепловым движением молекул. При этом способ оценки неупорядоченности (через логарифм вероятности) в термодинамике и теории информации остаётся одним и тем же.

Поскольку понятие энтропии в теории информации не связывается с каким-либо определённым типом неупорядоченности, то в этом смысле оно является более широким, чем понятие энтропии в статистической физике.

Термодинамическая энтропия. Уравнение Больцмана формулирует энтропию модельными средствами на вероятностной основе независимо от феноменологии термодинамики. Исторически это было связано с попыткой увязать некоторые термодинамические параметры с механикой, отчасти также с тем, что классическая термодинамика, в которой энтропия введена соотношением Клаузиуса (4.14), не дает детального описания явления, связанного с этим фундаментальным термодинамическим параметром. Не в последнюю очередь это связано с тем, что природа термодинамической энтропии дискретна, а ее истолкование в физике происходит на классической, непрерывной (континуальной) основе.

Рассмотрим новые возможности, которые предоставляет обобщенная, нелокальная версия термодинамики с дискретной энтропией в раскрытии физического содержания термодинамической энтропии.

Убедимся, прежде всего, что при подстановке в соотношение Клаузиуса макроквантовых аналогов для минимальных приращений энтропии и теплоты dS k_B и dQ k_BT, выражение (4.14) переходит в обычное тождество k_B=k_B.

Это тождество, преобразованное вместе с другими термодинамическими параметрами в предельно разностную дискретную форму, позволяет получить в рамках НВТ иные тождества, проясняющие физический смысл энтропии.

Так для энтропии макроячейки было найдено [7,c.26]

S_m =k_B T/T _S =k_B ( mc_h²/m v²), (4.17)

где c_h= (S_mT/m)^1/2 – скорость тепловых фононов; v=(kT/m)^1/2 – когерентная (коллективная) составляющая скорости частиц макроячейки; m – масса макроячейки; T_S – квантовый разброс температуры при постоянной энтропии.
Z=T/T_S =mc_h²/mv²

Как следует из приведенных соотношений квантовый разброс температуры T_S, а также скорость тепловых фононов определяется через энтропию. Это означает, что выражение (4.4) не претендует на вычисление энтропии, а лишь подтверждает свое происхождение из исходного тождества Клаузиуса. Ценность записи (4.4) заключается в возможности очень простой трактовки физического смысла энтропии: термодинамическая энтропия макроячейки S_m пропорциональна отношению тепловой (неупорядоченной) энергии к механической (упорядоченной) энергии частиц в макроячейке. Коэффициентом пропорциональности выступает постоянная Больцмана k_B.

Теперь вновь воспользуемся свойством исходного тождества Клаузиуса и попытаемся придать ему структуру уравнения Больцмана. Чтобы выражение (4.4) обращалось в тождество с сохранением структуры соотношения Больцмана, следует ввести число возможных «микросостояний» W=2^Z, возникающих в макроячейке из Z =S_m/k_B квантовых уровней, как число возможных сочетаний из Z элементов c двумя их разновидностями.

Тогда формально энтропии макроячейки можно придать форму уравнения Больцмана

S_m = k_BZ= k_Blog₂ W (4.18)

В справедливости этого выражения сомневаться не приходится, поскольку это всего лишь другая форма исходного тождества Клаузиуса.

По форме это выражение отличается от уравнения Больцмана (4.15) только двоичным основанием логарифма, что сближает термодинамическую энтропию с информационной. Происхождение двоичных логарифмов связано с дискретностью термодинамической энтропии в НВТ .

Однако физическое содержание числа микросостояний W в сравниваемых формулах различно. В уравнении Больцмана по энергетическим уровням распределялись ч а с т и -ц ы, в термодинамическом варианте распределяются уровни только двух типов: «возмущен», «невозмущен».

Например, на рис.4.2 изображены 8 возможных микросостояний макроячейки с тремя энергетическими уровнями (относительная энтропия S_m/k_B =3). Тонкими линиями обозначены невозбужденные, а жирными – возбужденные энергетические уровни.

Для энтропии Больцмана имеет принципиальное значение указание: к а к и е частицы размещены на том или ином энергетическом уровне. Для одинакового сорта частиц это требование противоречит принципу тождественности частиц, поскольку взаимный обмен равным числом тождественных частиц между двумя уровнями энергии с точки зрения термодинамики не должен приводить к новому микросостоянию.

Р ис.4.2. Восемь микросостояний макроячейки с относительной энтропией S_m/k_B =log₂8= 3. (8 равновероятных исходов)

невозбужденный уровень;

возбужденный уровень

Различие между формулами заключается еще в том, что термодинамическая энтропия аддитивна только с точностью до числа частиц в макроячейке, а больцмановская энтропия,как и информационная, – до одной частицы.

В этой связи еще раз напомним об интегративных свойствах систем – относительно энтропии как термодинамическом понятии имеет смысл говорить только на уровне не меньшего числа частиц, чем их содержится в макроячейке.

4.6.Энтропия как критерий максимального правдоподобия. В литературе этот принцип известен как формализм Джейнса, по имени американского физика Е.Т.Джейнса, предложившего использовать информационную энтропию в качестве критерия максимального правдоподобия в ситуациях, когда целью математического моделирования является поиск наиболее вероятного распределения. [22]. Характер искомых распределений может быть самый разнообразный: от задач статистической физики и термодинамики [23] до экономических задач [24].

Начнем демонстрацию этого формализма с классического примера. Какое распределение случайной величины х является наиболее правдоподобным?

Введем дисперсию случайной величины

, (4.19)

а также условие нормировки вероятностей

, (4.20)

Это выражение подобно в случае дискретного множества.

Интегрирование осуществляется в интервале изменения переменной x.

Согласно формализму Джейнса необходимо ввести информационную энтропию (4.9)

. (4.9)

Теперь формально задача сводится к условной экстремальной задаче в следующей постановке: требуется найти такую функцию плотности распределения , которая бы отвечала максимальному значению энтропии (4.9) при соблюдении ограничений (4.19) и (4.20). Решение этой задачи хорошо известно

.

Это выражение есть не что иное, как нормальный (гауссовский) закон распределения.

В этой задаче информационная энтропия (4.9) использовалась как критерий максимального правдоподобия. Этот метод называется моделированием по принципу статистического вывода. Его можно отнести к методу «серого ящика ». При моделировании по принципу статистического вывода большое значение приобретает формулировка ограничений при постановке задачи.

Рассмотрим постановку и результаты решения на другом классическом примере, но теперь принадлежащем к области химической техники. Требуется найти закон наиболее вероятного распределения m-компонентной смеси между двумя выходными потоками – дистиллятом и кубовым остатком процесса ректификации. Далее изложена математическая формулировка и основной ход решения такой задачи.

П о с т а н о в к а з а д а ч и. Обозначим концентрации компонентов в дистилляте , в кубовом остатке , в питании . Долю отбора дистиллята будем обозначать (иногда индекс будем опускать); – доля отбора кубового остатка:

; ,

где D, W и F – мольные расходы дистиллята, кубового остатка и питания ( см.рис.4.2). Здесь и далее все потоки и концентрации будут выражаться в естественных единицах – молях и мольных долях. Запишем исходную достоверную, но в общем случае, как мы выясним, неполную информацию о процессе