Лекци@30-Статистические_закономерности [Режим совместимости] (Лекции по ТД Рыжков (PDF)), страница 2

Кроме того, сократим общие члены у N ! и (N - п)\, а также преобразуем показательстепени последней скобки. Биномиальное распределение будет иметь вид:N ( N − 1)...( N − n + 1) n0n  n0 P=1−n!N n  N N n ( N − n ) 0 0  n0 N Nn0n  1   n − 1    n0  n0 = 1 ⋅  1 −  ... 1 − 1 − n!   N  N    N  = nn0 1−  NПерейдем в этом выражении к пределу N → ∞ при фиксированном п0 (очевидно, что подобный переходp →).0 Первая квадратная скобка при этом будет стремиться к единице, а втораясоответствует также условию-1- к величине е .

В результате получим формулу, которая называется распределением Пуассона:n0n − n0Pn = e .n!(2.4)8Можно убедиться, что среднее значение, вычисленное по этой формуле, совпадает с аналогичной величинойдля биномиального распределения:∞〈n〉 = ∑ nPn = n0 .(2.5)n =0Дисперсия распределения Пуассона равна среднему значению случайной величины∞σ = 〈(n − n0 ) 〉 = ∑ ( n − n0 ) 2 Pn = n0 .22(2.6)n =0Если числа п большие, то вычисление факториала, входящего в распределение Пуассона, становитсятрудоемким, а при п, сопоставимых с числом молекул воздуха даже в малом объеме и при низкихдавлениях, просто невозможно.

Однако как раз в таких случаях расчет может быть сделан поасимптотической формуле Стирлинга:nn ! = 2π n  en11++ ...  , n > 1 12n(2.7)9Здесь второй член в скобке приведен для того, чтобы можно было сделать оценку ошибки приближения, врасчетах он обычно не учитывается. Согласно (2.7) уже при п = 10 погрешность асимптотической формулыСтирлинга без учета второго члена составляет меньше одного процента.Отметим, что в задачах с большим значением п можно использовать приближенную формулу Стирлинга:nnln n ! = n ln n − n или n ! =   .e(2.8)Однако это выражение менее точное, чем (2.7).

Но при вычислении ln п ! (не п !) оно приводит к ошибке меньшеодного процента уже при п > 100.Вернемся к формуле (2.4). Для больших п после использовании формулы Стирлинга (2.7) распределениеПуассона (2.4) будет иметь видPn =1  n0  2π n  n en−n0(2.9)2.5. Распределение ГауссаРаспределение (2.9) имеет максимум вблизи среднего значения и при больших значениях n0 быстро убывает пообе его стороны.

Используя это свойство, упростим выражение (2.9) и получим новое распределение. Дляопределения экстремума сначала прологарифмируем рассматриваемое выражение, а потомпродифференцируем и приравняем нулю:10dd  111nnnnnnnln Pn =−ln2π−ln+ln−ln+−=−+ ln n0 − ln n = 000dndn  222nОтсюда следует, что для больших чисел, а именно при условииln n ≈12nмаксимум функции Рп будет при п = по, то есть при среднем значении случайной величины.Разложение около максимума начинается с квадратичного члена. Находим вторую производнуюотмеченном условии больших п, это будет:приd21P=−ndn 2nи получаем разложение111ln Pn = − ln 2π − ln n0 −(n − n0 ) 2 .222n0Отсюда находим:−1Pn =e2π n0( n − n0 ) 22 n0Напомним, что при выводе этой формуле принято, что среднее значение n0 » 1.11Существенная величина вероятности по ней получается только, для п, > >1 близких к n0. Если рассматриватьтакие большие последовательные числа, то они относительно мало отличаются друг от друга и также малоотличаются соответствующие вероятности.

В этих условиях вместо дискретного распределения для отдельныхчисел удобно перейти к непрерывному распределению. Для этого умножим обе части полученной формулы наdn:1P(n, n0 )dn =e2π n0−( n − n0 )22 n0(2.10)dn.Полученное выражение является частным видом распределения Гаусса для случая, когда дисперсия равнасреднему значению.

Величина Р[п,п0) является плотностью вероятности, она определяет вероятность событияпри значениях п в интервале от п до п + dn и зависит от одного параметра n0.Теперь вместо суммирования вероятностей можно интегрировать соотношение (2.10). Например, при значенииn0 около ста и больше возможна следующая приближенная замена суммирования интегрированием:110110∑ P = ∫ P dn.n =100nn100Обратим внимание, что распределение (2.10) нормировано, то есть вероятность всех возможных событий равнаединице.

Чтобы убедиться в этом следует использовать то, что формула симметрична относительно n0в очень широкой окрестности из-за быстрого убывания экспоненты при большой величине среднего значения,для которого оно и выведено. Также вследствие этого быстрого убывания интегрирование можно производить вбесконечных пределах: основное значение интеграла набирается вблизи среднего, а "хвосты" не имеютзначения.

Поэтому условие нормировки состоит в выполнении равенства+∞∫−∞n2−1e 2 n0 dn = 1,2π n012которое выполняется, так как приводится к известному интегралу Пуассона (вычисление имеется вРазделе 3.1):+∞−x∫ e dx = π .2−∞Вернемся еще раз к распределению (2.10) и подчеркнем, что оно является частным видом распределения Гаусса,так как зависит только от одного параметра n0 то есть от среднего значения.

При этом дисперсия равна этойвеличине: σ2= n0.Найдем более общее двухпараметрическое распределение Гаусса. Для этого в выражении плотностивероятности в правой части формулы (2.10) в обоих знаменателях (и перед экспонентой, и в еепоказателе) вместо п0 подставим дисперсию σ2, которая наряду с п0 будет рассматриваться как второйнезависимый параметр. Получится распределение Гаусса, которое, кроме того, еще называетсянормальным распределением:P(n; n0 , σ )dn =1eσ 2π−( n − n0 )22σ 2dn.(2.11)Как уже отмечалось, корень квадратный из дисперсии, то есть величина σ, называется среднеквадратичнымотклонением. Этот параметр характеризует эффективный диапазон изменения случайной величины.

Прираспределении Гаусса вероятность попадания случайной величины п в интервал п0 ± σ равна 0,68, в интервалп0 ±2 σ - 0,95, а в интервал соответственно по± 3σ=0,997.132.6. Энтропия и информацияДля сравнения между собой случайных объектов (событий, величин, функций) и для использования в теорииинформации нужна их количественная характеристика. Такая величина - энтропия - сначала была введена втермодинамике Клаузиусом и Больцманом, а потом применена в информатике Хартли и Шенноном.

Эти разделынауки оказались связаны между собой, но энтропии, используемые там, различаются между собой единицамиизмерения.Статистическая энтропия Ss служит мерой неопределенности случайных величин X1 при известнойвероятности их появления РiM1S s = k ∑ Pi ln( ) приPii =1M∑P =1i =1i(2.12)Здесь К - множитель, зависящий от выбранной системы единиц измерения энтропии, М - число случайныхвеличин.При К = 1/1n2 результат получается в битах, то есть в двоичных единицах, а найденное выражение определяетинформационную энтропию Sи:MM1Su = ∑ Pi log( ) приPii =1∑P =1i =1i(2.13)Это формула Шеннона. По сравнению с приведенной ниже формулой Хартли (2.16), в (2.13) использованосреднее значение логарифма вероятности в соответствии с определением среднего значения некоторойвеличиныMX : 〈 X 〉 = ∑ Pxi i.i =1При К = k, где k = 1,38·10-23 Дж/К - постоянная Больцмана, получается статистическое выражение длятермодинамической энтропии S:M1S = k ∑ P i ln( ) приPii =1M∑ Pi = 1.i =1(2.14)14Вычисленная по этой формуле энтропия получается в тех же единицах, что и к, то есть в Дж/К.

Если известнаее величина в таких термодинамических единицах, то, разделив на произведениеk ln 2 = 0,96 ⋅10−23 ≈ 10−23Дж/К,битполучим численное значение энтропии в битах. Подробнее соотношения между разными единицами будутобсуждены несколько позже, а пока вернемся к анализу определяющей формулы (2.12).Если одна из величин Pt равна единице, а другие нулю, то есть информация достоверна и неопределенностьотсутствует, по (2.12) получим Ss = 0 (учтено, что степень сильнее логарифма). Когда все Рi,- одинаковы иравны Р, неопределенность в информации максимальна и энтропия принимает наибольшее значение.

В этомслучае формулы (2.12) - (2.14) будут более простыми:(2.15)Ss=kln(l/P).Su = log2 (l / P).(2.16)Хартли так объясняет смысл последней формулы: "если в заданном множестве, содержащем 7V элементов,выделен какой-то элемент X, о котором заранее известна лишь его принадлежность к множеству, то чтобы найтиX, необходимо получить количество информации, равное log2N бит". Здесь принято, что все элементыодинаковы, тогда вероятность Р = 1/N. Таким образом, энтропия — это информация, которой недостает дляполного определения случайного объекта.

Это относится и к выражению (2.14).S = k In (l / Р).(2.17)Рассмотрим более подробно формулы (2.13) и (2.16). Численная величина информационной энтропииопределяет (с точностью до единицы) среднее число двоичных знаков, то есть бит, необходимое для различения(или записи) возможных значений случайной величины. Поэтому энтропия есть количество добавочнойинформации, необходимое для полного определения случайной величины даже в термодинамических единицах.Двоичная система широко используется в вычислительной технике, так как оперирует всего с двумявозможностями, например, включением или выключением какого-нибудь элемента в электрической схеме.15Любое число записывается последовательностью нулей и единиц. В таблице приведено соответствиезаписей в десятичных единицах и в двоичной системе.Двоичная система широко используется в вычислительной технике, так как оперирует всего с двумявозможностями, например, включением или выключением какого-нибудь элемента в электрической схеме.Любое число записывается последовательностью нулей и единиц.