Левин Б.Р. Теоретические основы статистической радиотехники (3-е издание, 1989) (1141996), страница 113
Текст из файла (страница 113)
Доказать, что оценка (1) несмещенная, а ее корреляционная матрица М=з-' (г К/л. (6) 21.2. Показать, что оптимальная дискретно-аналоговая оценка неизвестной амплитуды а сигнала аз(/) на фоне аддитивной центрированной гауссовской помехи по критерию максимального правдоподобия й„н=з'К-'х/з'К-'з, (6) где х=(ль ..., к„), з (зь ..., з„), кз=х(й), и з(й). Псе(0, Т), /ее1, л, К— корреляционная матрица помехи. 617 21.4.7.
Интерпретация нелинейных фильтров. Изложенный метод оптимальной нелинейной фильтрации по критерию минимума дисперсии ошибки основан на использовании аппроксимации непрерывного функционала последовательностями вида (21.152). При этом фильтр и-го порядка характеризуется последовательностью ядер К (иь ..., и ), т)1, удовлетворяющих интегральным уравнениям (21.157). Решив эти уравнения, можно по заданной реализации х(/) аддитивной смеси сигнала н помехи сформировать оценку сигнала с минимальной в классе нелинейных фильтров п-го порядка дисперсией ошибки. Практическая реализация фильтра по заданной последовательности ядер К связана или с достаточно сложным вычислительным алгоритмом, или с какой-либо подходящим образом выбранной интерпретацией ядер.
Одна нз таких интерпретаций основана на разложении функции многих переменных в кратные ряды по ортогональным полиномам (см., например, (Ц, п. 9.5.2, а также 124]). Доказать, что оценка (6) несмещенная и аффективная, причем информация по Фишеру 1 (Я) =11)!хт(йвп)=!гз(з К х)=з Кз. (7) Полезно сравнить (6) с (2!.36), а (7) с '(21296). 2!.3. Показать, что оптимальная байесовская длскретно-аналоговая опенка случайной амплитуды о сигнала аз(1) на фоне адднтивной центрированной гауссовской помехи при условии, что распределение амплитуды подчиняется нормальному закону (21.67), оз = (ос+и'а"))(1+и'), (8) где а а определяется по формуле (6) задачи 21.2, та=о'сз'К-'з.
Полезно сравнить (8) с (21.71) и убедиться, что оценка (8) представляет оптимальную дискретно-аналоговую оценку по критерию максимальной апостериорной плотности оцениваемой амплитуды сигнала. Глава 22 АДАПТИВНЫЕ АЛГОРИТМЫ 22ГЕ ОПРЕДЕЛЕНИЕ И КРИТЕРИЙ КАЧЕСТВА АДАПТИВНОГО АЛГОРИТМА Термины «адаптация», «адаптивные алгоритмы» трактуются весьма широко. Условимся понимать под адаптивным такой алгоритм принятия решения, при построении которого для преодоления априорной неопределенности используется предварительное обучение. Целью обучения является формирование на основе наблюдаемой реализации изучаемого процесса (выборки) оценок неизвестных функций распределения (при непараметрической априорной неопределенности) или оценок неизвестных параметров распределения (при параметрической априорной неопределенности).
Эти оценки используются затем вместо неизвестных вероятностных характеристик при синтезе алгоритма принятия решения. Так, адаптивные алгоритмы обнаружения и различения сигналов на фоне помех находят путем подстановки в достаточные статистики отношений правдоподобия, полученные в результате обучения оценки неизвестных параметров или неизвестных функций правдоподобия. Обучение может происходить «с учителем» по классифицированной обучающей выборке, для которой априори известно, какой из проверяемых гипотез принадлежит каждый из ее элементов, или «без учителя» по неклассифицироеанной наблюдаемой выборке, по которой формируются статистики, используемые для принятия решения.
При неограниченном увеличении размеров обучающих выборок общим критерием качества адаптивных алгоритмов является 618 22.2. АДАПТИВНЫЕ АЛГОРИТМЫ КЛАССИФИКАЦИИ НОРМА!ЬНЫХ СОВОКУПНОСТЕЙ 22.2.1. Постановка задачи и общее решение. Многие задачи техники связи и управления формулируются в терминах теории классификации наблюдений (распознавания образов). Необхо- димо отнести наблюдаемый объект к одному из классов, полное нероятностное описание которого неизвестно.
Такую задачу мож- но решить при помощи эталонных наблюдений (обучающих вы- борок), по которым формируются оценки неизвестных вероятност- ных характеристик классов. Эти оценки используются вместо не- известных истинных характеристик классифицируемых объектов в оптимальном алгоритме классификации проверки статистических гипотез, полученном при полной априорной информации.
Рассмотрим два класса 3, и Яг, которые характеризуются дву- мя Ж-мерными нормальными распределениями вероятностей с векторными средними а, и аг и общей ковариационной матрицей К. Если аь а,, К известны, то оптимальное байесовское правило классификации наблюдаемого вектора х размерностью Х предпи- сывает сравнение с порогом логарифма отношения правдоподобия, т. е.
статистики (см. (13.124)1 ) =( — "+ ) К-'(аг — а,). (22.1) 2 Статистика (22.1) подчиняется нормальному распределению с па- раметрами (среднее и дисперсия) ( г(г,~2 г(г ) хен3, (г( гг/2, г( у), хе=Яг, где [см. (13.127)) г(гк — — (аг — а~ ) 'К-' (аг — а1) (22.3) — квадрат «расстояния» между классами Яг и Яь (22.2а) (22.2б) 619 их сходимость к соответствующим оптимальным алгоритмам с полной априорной информацией.
Такие адаптивные алгоритмы, как статистики обучающих выборок, будем называть состоятельными. Так как обучение по случайным выборкам (классифицированным или неклассифицированным) вносит дополнительную случайность, то, конечно, не любой адаптивный алгоритм должен быть состоятельным. Критерий состоятельности адаптивных алгоритмов не позволяет однозначно оценить неизвестные параметры или функции с помощью обучающих выборок. Эти оценки, как правило, выбираются эвристически, а затем адаптивный алгоритм проверяют по критерию состоятельности. Часто за оценки параметров, формируемых по обучающим выборкам, принимают оценки максимального правдоподобия.
Вероятность ошибки классификации при использовании указанного байесовского правила р, =р,11 — 1>(с]г(н+г(н(2)]+р»Е(с(г(н — о»>2), (22.4) где р>, рз — априорные вероятности появления классов, с — порог, с которым сравнивается статистика Г (см. (13.15)], г>(з) — интеграл Лапласа. Если векторы а>, а» и матрица К неизвестны, то можно использовать адаптивную процедуру классификации вектора х.
При обучении «с учителем»'используют две независимые классифицированные векторные выборки х>»>, ...,хн>„, из первого и х,~», ..., х~'>„, пз второго распределений. В качестве оценок неизвестных векторов а> и аз и ковариационной матрицы К принимаются оценки максимального правдоподобия а>= — ,'> х)>>, ]=1; 2, л> (22.5) К = (л, + и, — 2)-' ] 2„ '(х<» — а,) (х<» — а,)' + + 2'; (х>м> — а,) (х]'> — а»)' . >-> (22.6) Подставляя а„ам К-' в (22.1) вместо неизвестных а>, ам К-', получаем классифицирующую статистику У=(х — ' " ) К >(а,— а,). (22.7) », 1 «, а, = — ~, 'х>», а»= — 'у! х>'>.
620 (22.8) При фиксированной размерности У и неограниченном увеличении размеров и> и пз обучающих выборок статистика Р сходится по вероятности к статистике К. Исследуем более подробно свойства классифицирующей статистики (22.7) при ограниченных размерах обучающих выборок (см.
также (81]). 22.2.2. Одномерный случай. Начнем с простейшего случая >Ч= =1, когда классы $> и Зз характеризуются одномерными нормальными распределениями с неизвестными средними а> и аз и известными дисперсиями о'. При обучении «с учителем» получены классифицированные обучаю>цие независимые выборки хР>, ..., хр>„, из класса $> и х><», ..., х>'>„, из класса Я,. Примем за оценки неизвестных средних оценки максимального правдоподобия по этим классифицированным обучающим выборкам ными векторами средних и заданными ковариационными матрицами К,=К«=К. Пусть в результате обучения «с учителем» получена классифицированная обучающая выборка: из первого распределения хР!, ..., х!'г„, и из второго хРг, ..., х!г!„,. Каждый элемент указанных выборок представляет А!-мерный вектор.
В качестве оценок неизвестных векторов средних принимаются оценки максимального правдоподобия (22.5). Алгоритм классификации сводится к сравнению с порогом статистики [см. (22.7)) г Р 1/ = (х — ' ' ') К ! (а, — а,). 2 Обозначим Р= (иг — П1) [(п,+п,) (пг+п, +4п,иг)) — 'и, lг = (п,— и,) [(4п,и,), (22. 21) (22.22) (22.23) (22,246) так как в противном случае матрица К оказывается вырожденной и обратная матрица К вЂ” ' не существует.
Можно показать (см., например, [70)), что при выполнении не- 622 Тогда для рассматриваемого случая классифицирующая ста- тистика (22.21) (см. [691) = — [(1+р)Х'(У, 2Х!!") — (1 — р)1'(У, 2Хгн!)), (22.24а) где уг(А!, 2Х,!0), !!г(Л!, 2Хгп!) — независимые случайные величины, подчиняющиеся нецентральному уг-распределению с АГ степенями свободы и параметрами нецентральности 2)!У! = ' ' .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
