Хайкин С. - Нейронные сети (778923), страница 140
Текст из файла (страница 140)
При этом величину Т будем называть просто таилературой системы (гешрегаюге о( йзе зумеш). Из выражения (11.5) можно заметить, что величину — 1ой р, можно трактовать как одну из форм энергии, измеренную при едииичиой температуре. Свободная энергия и энтропия Свободная энергия физической системы по Гельмгольцу обозначается символом Е и в терминах функции разбиения У определяется следующим образом; (1 1.7) Соответственно средняя энергия системы имеет следующее зиачеиис: (11.8) где обозначение < > применяется для операции усреднения по множеству. Таким образом, подставляя (11.5) в (11.8), видим, что разность между средней и свободной энергиями определяется следующей формулой: (11.9) (Е) — Е = — Тт~ р, 1ояр,.
Величина в правой части выражения (11.9), за исключением температуры Т, является ие чем иным, как энтропией системы; 11.3. Цепи Маркова 696 Следовательно, выражение (11.9) можно переписать в следующем виде: (Е) — Е = ТН, или, эквивалентно, Е = (Е) — ТН. (1 1.! 1) Теперь рассмотрим две системы, А и А', находящиеся друг с другом в термальном контакте. Предположим, что система А мала по сравнению с системой А'. В этом случае система А' выступает в роли теплового аккумулятора с некоторой постоянной температурой Т.
Общая энтропия этих двух систем будет стремиться к росту в соответствии с формулой сзН+ ЬН' > О, где ЬН и ЬН' — изменения энтропии систем А и А' соответственно. В свете формулы (11.11) значение этого соотношения состоит в том, что свободная энергия системы Е стремится к понижению до достижения минимума в состоянии равновесия. Из статистической механики известно, что общее распределение вероятности определяется распределением Гиббса.
Также существует важный принцип, называемый принципом минимума свободной энергии (рппс!р!е оТ пппцпа! !гее епегйу), который формулируется следующим образом (б11], (814). Минимум свободной энергии в стохастической системе по переменным системы достигается в точке термалъного равновесия, определяемой распределением Гиббса. Природа стремится найти физическую систему с минимальной свободной энергией. 11.3. Цепи Маркова Рассмотрим систему, развитие которой определяется стохастическим процессом (Х„, п = 1, 2,... ), состоящим из семейства случайных переменных.
Значение х„, характеризующее случайную переменную Х„в дискретный момент времени п, называется состоянием системы в этот момент. Пространство всех возможных значений, которые могут принимать эти случайные переменные, называют пространством состояний (ззаге зрасе) системы. Если структура стохастического процесса (Х„, п = 1, 2,... ) таиэва, что условное распределение вероятности Х„~, зависит исключительно от предыдущего значения Х„и не зависит от всех более ранних значений, то такой 696 Глава 11. Стохастические машиныи их аппроксимациив статистической механике процесс называется цепью Маркова, или Марковской цепью (МагЬоч сЬа|п) [71), [294). Формально это можно записать так: Р(Х„ь, = х„.|,~Х„= х„,...,Х, = хч) = Р(Х„... = х„.|,~|Хь = х,). (11.12) Это соотношение называется свойством Маркова (МагЕоч ргорепу).
Формально это свойство описывается следующим образом, Последовательность случайных переменньп Х„..., Х„, Х„,, принимиет форму цепи Маркова, если вероятность нахождения системы в состоянии х„, в момент времени и + 1 зависит исключительно от вероятности нахождения системы в мо- мент времени и в состоянии хь. Вероятности перехода В цепи Маркова переход системы из одного состояния в другое является вероят- ностным (ргоЬаЪ|!1вг(с). Однако при этом выход системы является детерминирован- ным (дегепп(п)вг(с). Пусть вероятность перехода системы из состояния | (момент времени и) в состояние з (момент времени п + 1) имеет следующий вид: р, = Р(Х„ч., = ЯХ„= |). (11.13) Так как величины р„являются условными вероятностями, они должны подчиняться двум условиям: Р|| ~ 0(|, 7) (11.14) р,, = 1 для всех |.
Е"= (11.15) Предполагается, что вероятности перехода фиксированы и нс изменяются во времени. Это значит, что условие (11.13) удовлетворяется в любой момент времени и. Такая сеть Маркова называется гомогенной (Ьошояепеопз) по времени. Таким образом, цепи Маркова можно рассматривать как порождающие модели (яепегаг(че пюде1), состоящие из множества попарно связанных друг с другом состояний. Каждый раз, когда система переходит в конкретное состояние, именно с ним ассоциируется выход системы. 11.3. Цепи Маркова 6йу Если система имеет конечное множество возможных состояний К, вероятности перехода формируют матрицу размерности К х К: Рп Ргз . Р1к Р21 Р22 Р2К (11.16) РК1 РК2 ..
РКК Элементы этой матрицы удовлетворяют условиям (11.14) и (11.15). Последнее условие гарантирует равенство суммы всех элементов каждой из строк единице. такая матрица называется стохастической (в(осьаз(1с ша(пх). любая стохастическая матрица может служить матрицей вероятностей перехода. Определение одношаговой вероятности представлено формулой (11.13). Его можно обобщить для случая, когда переход из одного состояния в другое занимает несколько шагов. Обозначим вероятность перехода за т шагов из состояния 2 в состояние 7 символом р„ (т) р(, ) = Р(Х„,, = х,~Х„= х;), т = 1,2, (11.17) ВеличинУ Ро можно РассматРивать как сУммУ всех пРомежУточных состоЯнии (т) и, через которые система проходит по пути из 2 в 22 В частности, величина Р1, (те1) связана с величинои Р„следующим рекурсивным соотношением: (т) (те1) 'Гт (т) Р, =гэ Р,ь Рьэ, т=1,2,...
ь (11.18) где (1) Рь = Рея Равенство (11.18) можно обобщить следуюшим образом: р(, +") = ~) р(. )Р(„",), (т,п) = 1,2,... ь (11. 19) Это частный случайравенства Чепмепа — Колмогорови(СЬартеп-'Ко1шойогоч 1деп- (1(у) [294). Если состояние цепи может возникать через интервалы времени, кратные 11, где 1( — наибольшее из таких целых чисел, считается, что такое состояние имеет периодичность и'.
Цепь Маркова называется апериодичной (арепо((1с), если все ее состояния имеют периодичность 1. 898 Глава 11. Стохастические машиныи их аппроксимациив статистической механике Свойства рекуррентности Предположим, что цепь Маркова начинается с состояния г. Состояние г называется рекуррентным (гесштепг), если цепь Маркова возвращается в состояние г с вероятностью 1: у, = Р(возвращения в состояние г) = 1.
Если вероятность Л меньше единицы, такое состояние г называется трпнзитным (1гапгйепг) (633]. Если цепь Маркова начинается с рекуррентного состояния, это состояние повторяется бесконечное число раз. Если же цепь Маркова начинается с транзитного состояния, это состояние может повториться только конечное число раз. Это можно объяснить следующим образом. Повторения состояния г можно рассматривать как нробы Бернулли (Вепюпй] п1а() с вероятностью успеха ),. Таким образом, количество возвратов можно представить как геометрическую случайную переменную со средним значением (1 — ), ").
Если ~, меньше единицы, следовательно, количество бесконечных успешных попыток равно нулю. Таким образом, транзитное состояние не повторяется после конечного числа возвратов (633]. Если цепь Маркова состоит из нескольких транзитных и нескольких рекуррентных состояний, то процесс может перемещаться только между рекуррентными состояниями. Несократимые цепи Маркова Состояние у цепи Маркова называется дослшжимым (ассезгйЫе) из состояния г, если с положительной вероятностью существует конечная последовательность переходов из ( в ).
Если состояния г и т' достижимы друг из друга, считается, что они связаны друг с другом. Эта связь обозначается следующим выражением: г' »-» у. Естественно, если состояние г связано с состоянием у, а последнее, в свою очередь, с состоянием Й, то состояния г и Й также являются связанными. Если два состояния цепи Маркова связаны друг с другом, они считаются принадлежащими одному классу. В общем случае состояния цепи Маркова принадлежат одному или нескольким несвязанным классам. Если же состояния принадлежат всего одному классу, такая цепь называется несокра»лимой (1ггедпс1Ые) или неразложимой ()пдесошроз1Ые). Другими словами, начиная с любого состояния несократимой цепи Маркова, можно достичь любого другого ее состояния с положительной вероятностью.
Для большинства приложений соврав»имые цепи представляют малый интерес. Поэтому мы ограничимся рассмотрением только несократимых цепей. Пусть несократимая цепь Маркова начинается с некоторого рекуррентного состояния г в момент времени и = О. Пусть Т,(»с) — время, которое прошло между 11.3. Цепи Маркова 699 (1г — 1) и )г-м возвратом в состояние з1 Среднее время возврата (шеап гесппепсе йте) определяется как ожидание Т,'1к) по всем возвратам К.
Установившимся значением вероятности (з1еаду-з1а1е ргоЬаЪ|11гу) состояния з называется величина, обратная к среднему времени возврата Е[Тз1)с)]; 1 Е1Т;1к)) Если Е(Т,(к)) < со и соответственно к, > О, то состояние 1 называется положительно рекуррентным (роз111че гесштеп1). В противном случае оно называется состоянием с нулевой рекуррентностью (ппП гесштепг зга1е). Последний случай трактуется следующим образом: цепь Маркова случайно достигает такой точки, из которой возврат в состояние 1 невозможен. Положительная и нулевая рекуррентность являются различными свойствами класса.
Это значит, что цепи Маркова с одновременной положительной и нулевой рекуррентностью состояний являются сократимыми. Эргодические цепи Маркова Под термином эргадичность (егдод1с1гу) понимается возможность подстановки среднего по времени вместо среднего по множеству. В контексте цепей Маркова при этом подразумевается, что соотношение времени, проведенного цепью в состоянии 1, соответствует установившемуся значению вероятности и,. Это можно объяснить следующим образом. Соотношение времени, проведенного в состоянии 1 после 1с возвратов, определяется следующим образом: о,1/с) = к 2. Т,11) 1пп о,(й) = и; для 1 = 1, 2,..., Е.
ь со 111.20) Достаточным (но не необходимым) условием эргодичиости цепей Маркова является их одновременная апериодичность и иесократимость. Время возврата Т;Я формирует последовательность независимо и равномерно распределенных случайных переменных, так как по определению время каждого из возвратов статистически независимо от всех предыдущих времен возвратов. Более того, в случае рекуррентного состояния з цепь возвращается в это состояние бесконечное число раз. Исходя из этого, при достижении количеством возвратов й бесконечности, согласно закону болыиих чисел, пропорция времени, проведенная в состоянии з, достигает установившегося значения вероятности, т.е.
700 Глава 11. Стохастические машиныи их аппроксимацииа статистической механике Сходимость к стационарным распределениям Рассмотрим эргодическую цепь Маркова, характеризуемую стохастической матрицей Р. Пусть вектор-строка к(и ') определяет вектор распределения состояний (иа(е д)в(пбпйоп чес(ог) цепи в момент времени п — 1. Его )-й элемент является вероятностью, с которой в момещ времени и — 1 цепь находится в состоянии к,.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
