Диссертация (Функциональная интеграция нейрональных популяций в мозге человека), страница 7

Вклад сигналов от дендритов в глубине коры в ЭЭГ сигналнамного слабее. Так как ЭЭГ показывает средний сигнал от тысяч нейронов, для надежнойрегистрации необходима синхронная работа больших популяций клеток. С математическойточки зрения невозможно однозначно восстановить источники токов внутри мозга, породившиенаблюдаемый сигнал (обратная задача не имеет единственного решения). Однако проделано29много работы по нахождению устойчивых оценок распределения электрических диполей(моделей источников активности) по данным ЭЭГ высокой плотности. Также при помощи ЭЭГ,в отличие от позитронно-эмиссионной томографии ПЭТ, нельзя определить области мозга сналичием конкретных нейротрансмиттеров, лекарств и прочих веществ [128].

Одним изнедостатков метода является большое время подготовки испытуемого к эксперименту,включающее в себя точное позиционирование электродов и использование проводящих гелейили растворов. Во время эксперимента растворы могут высыхать, поэтому требуетсяпостоянный контроль за импедансом каждого электрода. В любом случае ЭЭГ требует намногобольшейработыперсоналалабораториивовремяэкспериментапосравнениюсмагнитоэнцефалографией (МЭГ) и фМРТ.

Общим недостатком многих неинвазивных методовнейровизуализации является низкое отношение сигнал/шум. ЭЭГ не является исключением: дляполучения полезной информации требуется большое количество испытуемых, повторений вкаждой экспериментальной сессии, а также сложные методы статистического анализа.1.6Энтропия переноса информации1.6.1 Теоретические основы Трансферной ЭнтропииВ 1956 году Норберт Винер дал определение каузальности (причинности): улучшениепредсказания будущих значений временного ряда Y путем использования прошлых значенийвременного ряда X является показателем каузального влияния X на Y. Эта каузальностьпредполагает перенос или поток информации от временного ряда X к ряду Y.

В 2000 годуТомасом Шрайбером [103] была получена мера статистической когерентности междуменяющимися во времени системами, основанная на теории информации, а именно на понятииинформационной энтропии и Марковской независимости. Эта мера называется ТрансфернойЭнтропией (Transfer Entropy, TE) и являет собой отклонение от обобщенного условияМарковской независимости. Обозначим три Марковских процесса как X, Y, Z, а Xn, Yn и Zn стохастические переменные, полученные дискретизацией процессов в настоящем времени n.Пусть векторы − = [Xn-1,Xn-2,…] , − = [Yn-1, Yn-2,…], − = [Zn-1, Zn-2,…] отражают прошлыезначения процессов X, Y, и Z, тогда условие Марковской независимости примет вид:( |− , − ) = ( |− )(10)30Условие (10) означает, что условное распределение динамического процесса Y не зависит отпрошлых значений процесса X.

Это возможно только при отсутствии каузальности(причинности). Для измерения отклонения от этого условия Шрайбер использовал расстояниеКульбака-Лейблера между распределениями вероятностей в каждой части условия (10). Такимобразом, для двух процессов имеем:→ = ∑ ( , − , − )( |− , − )( |− )(11)В многомерном случае, когда помимо процессов X и Y в рассматриваемой системе существуютдругие процессы, их совокупность можно обозначить за Z, выражение для ТрансфернойЭнтропии примет вид:→| = ∑ ( , − , − , − )( |− ,− ,−)(12)( |− ,−)Эта энтропия показывает поток информации от X к Y с учетом их общего взаимодействия с Z.Из определения (12) можно выразить ТЕ в виде суммы четырех Шенноновских энтропий:−− −→| = ( |− , − ) − ( | , , )−−− −−− −= ( |− , − ) − ( , ) − ( , , , ) + ( , , )(13)Трансферная Энтропия является мощным средством поиска потоков информации, таккак при её оценке не подразумевается никакая порождающая модель данных – модель,обуславливающая наблюдаемую динамику системы.

С помощью оценки ТЕ можно найтинелинейные (в отличие от, к примеру, кросс-корреляции) взаимодействия в системе спроизвольными задержками [119]. В частном случае, когда данные имеют нормальноераспределение, ТЕ эквивалентно причинности по Грейнджеру (GC) [5]. Если принять log занатуральный логарифм, то ТЕ буде измеряться в так называемых натуральных единицах. Внейрофизиологическихэкспериментах(данныеЭЭГ/фМРТ)условиенормальностивыполняется крайне редко.1.6.2 Методы расчета Трансферной ЭнтропииОсновной преградой к использованию ТЕ являлись практические трудности в численныхрасчетах (аппроксимации) всех членов выражения (13). Одной из главных проблем является т.н.проблема размерности: переменные, определяющие прошлое процессов X, Y, Z – в общем31случае имеют очень большую размерность (в пределе для бесконечно долгих процессов –бесконечномерные).

Для решения проблемы, можно реконструировать прошлое всей системыX, Y, Z, заменив бесконечное число значений процессов вектором вложения V = [VnY, VnX,VnZ],содержащим наиболее значимые для объяснения настоящего значения Y прошлые значениясоответствующих процессов. После нахождения V можно легко оценить ТЕ как разность двухусловных энтропий (или четырех энтропий) в соответствии с выражением (13). Большинствоподходов к оценке ТЕ предполагают т.н.

равномерное вложение – схема, при которой длиныкомпонентов вектора V выбираются априорно и раздельно для каждого временного ряда.Очевидным недостатком такого произвольного выбора является недостаточная или избыточнаячувствительность (ложноположительные и ложноотрицательные каузальные связи) [122]. Ктому же необходима оценка значимости полученных значений ТЕ.Другим, более современным, но и более сложным в реализации является схеманеравномерного вложения. Эта схема основана на последовательном выборе из наборапеременных-кандидатов, включающих в себя прошлые значения процессов X, Y и Z,ограниченных максимальным временем задержки (свободный параметр), переменных,вносящихнаибольшийвкладвпредсказаниеисследуемойпеременнойY.Меройпредсказательной силы переменных-кандидатов является взаимная информация между ужевыбранным вектором кандидатов и временным рядом Y.

Таким образом, метод неравномерноговложения можно свести к методу отбора признаков, который среди всех возможныхпеременных-кандидатов находит наилучшие в смысле предсказания будущего значенияисследуемой переменной. Более того, учитывая тот факт, что переменные включаются в векторV только в случае значимого вклада в предсказание исследуемого временного ряда,статистическая значимость оценки ТЕ с использованием подхода неравномерного вложенияследует из выбора в вектор V хотя бы одной переменной. Иными словами, если хотя бы одинэлемент из X выбран для оценки ТЕ методом неравномерного вложения, то величина ТЕ будетстрого положительной, результат – статистически значимым.

В противном случае, величина ТЕбудет строго равна нулю и статистически незначима. Такое может произойти, если первый жекандидат (вектор V с компонентами максимальной длины) вносит незначимый вклад впредсказание Y, и ни одна переменная не несет в себе значимой информации для предсказаниябудущих реализаций Y (например, если Y – белый шум). Подробно алгоритм нахождениявектора V методом неравномерного вложения описан в работах [69, 82, 122].Вычисление ТЕ методом равномерного или неравномерного вложения сводится квычислению оценок энтропий, входящих в выражение (13).

Существует несколько способовоценить энтропии временных рядов, некоторые из них основаны на предположении32нормальности данных (например, линейная оценка), другие допускают произвольноераспределение. Одним из таких непараметрических методов является метод k-ближайшихсоседей. Показано [63, 120], что этот метод превосходит большинство остальных в точности,устойчивости и эффективности даже на малом количестве данных. Техники, основанные наметоде ближайших соседей, вычисляют оценки плотностей вероятностей, основываясь нарасстояниях между каждой точкой выборки и ее k-м ближайшим соседом.

Метод может бытьприменен для вычисления энтропии d-мерной случайной величины X, H(X), начиная сослучайно выборки (x1, … , xn) N реализаций X. Здесь величина размерности d показываетглубину вложения. Если обозначить распределение вероятностей расстояний между точкой xi иее k-м ближайшим соседом за Pk(ε), то Pk(ε)dε – вероятность того, что одна точка лежит нарасстоянии [ε/2, ε/2+dε] от точки xi, k-1 точка лежит ближе к xi, и N-k-1 точка лежит на большемрасстоянии от xi.

Пусть pi – масс ε-сферы с центром в xi, () = ∫| − |</2 (), где μ(ξ) –плотность переменной ξ, тогда математическое ожидание величины log(pi(ε)) равно:∞(( )) = ∫ ( ) log( ()) = ψ(k) − ψ()(14)0где ψ – дигамма функция, ψ() =ddx(). Математическое ожидание здесь берется по всемN-1 точкам при фиксированной xi. Оценку величины log(μ(x)) можно получить, полагая μ(x)постоянной внутри ε-сферы. Это даст: () ≈ ( ) , где d – размерность x, cd – объем dмерной сферы.

В итоге выражение для информационной энтропии примет вид:() = −ψ(k) + ψ(N) + log( ) + ∑ log(())(15)=1Чтобы получить выражение для ТЕ, используя метод ближайших соседей, нужно переписатьвыражение (11) в терминах вектора вложения V = [VnY, VnX,VnZ]:→| = ( , , ) − ( , ) − ( , ) + ()(16)Оценка члена H(Yn,V) получается методом ближайших соседей в (dx+dy+dz+1)-мерномпространстве, в то время как оценки трех остальных членов – в пространствах размерности(dx+dz+1), (dy+dz) и (dx+dy+dz). Согласно (15) можно переписать выражение (16) в виде:→| = ψ() + 〈ψ( + 1) − ψ( + 1) − ψ( + 1)〉(17)Где , и - число точек, расстояние от которых до [VnY, VnZ], [Yn,VnY, VnZ] и Vсоответственно строго меньше, чем расстояние от [Yn, V] до его k-го ближайшего соседа, < > означает усреднение по всем n.Таким образом, получен непараметрический метод оценивания величины ТЕ. Он болееэффективен на маленьких выборках данных и точен, чем остальные методы (особенно33линейный и метод оценки, основанный на равномерной разбивке временного ряда – binningestimator) [119].