Диссертация (1149691), страница 6
Текст из файла (страница 6)
Данный сервис предлагаетпользователю новые материалы для чтения, на основании уже просмотренных и отмеченных им ранее материалов. Задачу в данном случае можно28сформулировать как «найти материалы, имеющие тематику родственнуюуже просмотренным/отмеченным материалам». Данную задачу можно решать с помощью алгоритмов, использующих TF-IDF (term frequency —частота слова, inverse document frequency — обратная частота документа) [1;62], однако количество документов, их размер и постоянно динамическименяющиеся условия (пользователь просматривает и отмечает новые статьи) делают такой объем вычислений невозможным для большого числапользователей.
Подход с использованием максимизации функции условнойвероятности кажется наиболее очевидным и удобным в данной задаче — всечто требуется это максимизировать функцию «похожести» текстов, что является в терминах байесовской вероятности максимизацией апостериорнойгипотезы. Минусом данного подхода, делающим его использование такженевозможным является высокая сложность максимизируемых распределений и большое количество тесно связанных между собой переменныхв них.
Данную структуру зависимостей можно обратить в положительный момент, наложив на нее байесовскую сеть и используя принципынезависимости в байесовских сетях доверия, что позволит избавиться отвычисления большого количества условных вероятностей и ускорит вычисления. Паттернов «последовательной», «сходящейся» и «расходящейся»связей оказывается достаточно, чтобы рассмотреть направленный ациклический граф и провести в нем апостериорный вывод.1.3Знания с неопределенностьюВозрастающие с каждым днем объемы данных форсируют изучениеметодов их обработки, вынуждая постоянно совершенствовать подходык преобразованию полученных «знаний». Зачастую размеры полученныхданных, присутствующая в них неопределенность, связанная с нехваткойданных или их неточностью, а также общая связность системы в совокупности порождают проблему, для решения которой в информатике иискусственном интеллекте используется декомпозиция исходной системына совокупность подсистем с целью локализовать вычисления, тем самымэкспоненциально сократив затраты на решение поставленной задачи.29Базы фрагментов знаний, представленные в виде алгебраические байесовских сетей подчиняются определенным положениям:– то что совокупность знаний о предметной области декомпозируемана ограниченные по объему ФЗ;– то что система связей в указанной совокупности знаний в существенной степени разрежена.Отметим, что базы фрагментов знаний, представленные с помощью другихВГМ, так или иначе подчиняются тем же предположениям [81; 137].
В этомслучае, с точки зрения искусственного интеллекта, объектом исследованияявляется модель совокупности знаний эксперта (или более широко — совокупность экспертных знаний) о предметной области. В своих рассужденияхо ней эксперты не связывают «все объекты со всеми». Как правило, по мнению Дж. Перла, их высказывания характеризуют либо одну сущность изпредметной области, либо связи между 2–3–4 сущностями, не более [58].Алгебраические байесовские сети предоставляют математический аппарат,позволяющий структурировать экспертные знания и использовать зависимости между высказываниями для дальнейшего использования сети вкачестве экспертной системы.Однако, структурирование и декомпозиция знаний не являются единственной проблемой, с которой сталкиваются исследователи в областиискусственного интеллекта.
Другой задачей, не решаемой в родственныхАБС байесовских сетях доверия, является обработка неточных (интервальных) оценок вероятностей, возникающих как при трансформации оценокэкспертов с естественного языка(например, таким выражениям, как «возможно», «наверняка», «скорее всего» корректнее будет приписать интервалоценок вместо конкретной стохастической оценки), так и вследствие частичной нехватки или отсутствия данных [83]. Построение задач линейногои квадратичного программирования, а также поиск наиболее точной апостериорной и априорных оценок является одной из актуальных задачв рассматриваемой области. Наличие нескольких уровней глобальныйструктур в АБС позволяет гибко оперировать как данными как в рамках алгоритмах синтеза указанных структур, так и на уровне уравненийлогико-вероятностного вывода.
В свою очередь в области исследованиявероятностных графических моделей одним из актуальных направлений30является развитие машинного обучения таких моделей [104], а также иерархической системы алгоритмов для него. Это обусловлено, с одной стороны,тем, что, в частности, байесовские сети доверия (и родственные модели)оказались весьма востребованными в ряде областей, однако усилия по формированию сети в каждом индивидуальном случае оказываются весьмазначительными [105]. С другой стороны, за счет автоматизации широчайшего спектра отраслей человеческой деятельности с помощью компьютерныхтехнологий стали накапливаться колоссальные массивы данных, которыеможно было бы использовать при автоматическом обучении разнообразныхграфических моделей [104].Таким образом, суммируя все вышесказанное, благодаря с однойстороны возможности оперирования неточными оценками вероятностей,адаптации к знаниям с неточностью и развитому аппарату логико-вероятностного вывода, а с другой стороны широкому многообразию глобальныхструктур, поддерживаемых набором алгоритмов синтеза как единичныхструктур, так и их множеств, алгебраические байесовские сети и родственные им вероятностные графические модели являются актуальным иперспективным направлением развития в области искусственного интеллекта.1.4Обоснование цели и задач работыПроведенный в предыдущих параграфах данной главы анализ предметной области показал, что перед исследователями в области анализаданных сегодня как никогда ранее остро стоит задача обработки большихобъемов данных с присутствующей в них неопределенностью.Как было показано, БСД, родственные АБС, имеют широкое применение и решают множество как промышленных так и научных задач, однаконакладывают свои ограничения на объемы и структуру данных.
В своюочередь алгебраические байесовские сети обладают рядом преимуществ всравнении с иными экспертными системами, однако имеют существенныепробелы в развитии, а иногда и строгом изложении некоторых аспектовтеории. К ним относятся локальный и глобальный логико-вероятностный31вывод, а вместе с ним и синтез глобальных структур, являющихся естественной базой для глобального вывода, а именно апостериорного вывода(пропагации свидетельства).Все это ставит целью структурный анализ алгоритмов локального иглобального логико-вероятностного вывода и синтеза глобальных структурв условиях неопределенности, накладываемой на оценки вероятностей истинности пропозициональных переменных.
Для достижения поставленнойцели решается следующий набор задач: 1) развить и усовершенствоватьалгоритмы локального логико-вероятностного вывода за счет сведенияуравнений к матрично-векторной форме и использования нормирующегомножителя; 2) сформулировать ограничения и построить задачи линейного программирования для первой и второй задач апостериорного выводав случае неточного свидетельства или интервальных оценок вероятностейэлементов фрагмента знаний; 3) разработать способ пропагации виртуального свидетельства; 4) разработать методы оценки чувствительности иисследовать чувствительность уравнений локального апостериорного вывода для фрагментов знаний над идеалом конъюнктов, идеалом дизъюнктови набором пропозиций-квантов; 5) реализовать указанные алгоритмы впрототипе комплекса программ с веб-интерфейсом для проведения вычислительных экспериментов и решения практических задач.1.5Выводы по главеЗнания с неопределенностью играют существенную роль в современных исследованиях и анализе данных, позволяя описать нехватку,неточность и различие в данных.
Развитие методов сбора и хранения информации позволяет генерировать объемные базы знаний, что, вкупе снеопределенностью, присутствующей в знаниях ставит перед исследователями серьезную задачу по обработке полученных знаний.Среди рассмотренных в данной главе систем поддержки принятиярешений выделяются вероятностные графические модели, к которым вчастности относятся байесовские сети доверия и алгебраические байесовские сети. Несмотря на то, что байесовские сети доверия находят обширное32применение в промышленности и науке, их существенным недостатком является монолитность системы и невозможность декомпозиции базы знанийна отдельные фрагменты, ведущая к экспоненциальному росту затрат сростом системы. С другой стороны алгебраические байесовские сети предоставляют набор структур, подразумевающих дефрагментацию базы знаний,которые, вкупе с алгоритмами логико-вероятностного вывода позволяютсущественно ускорить обработку данных.В следующей главе мы рассмотрим основы теории алгебраическихбайесовских сетей, введем множества элементов, лежащие в основе фрагментов знаний, а также рассмотрим алгоритмы логико-вероятностноговывода и их связь с глобальными структурами.33Глава 2.
Основные понятия и результаты теории алгебраическихбайесовских сетей2.1ВведениеАлгебраические байесовские сети строятся на основе логико-вероятностного подхода, который базируется на концепциях, предложенных Н.Нильссоном [49] в отношении формализации вероятности в контексте пропозициональной логики для использования в интеллектуальных системах.Для представления неопределенности данных и знаний в алгебраических байесовских сетях используются интервальные оценки вероятности,формализованные Нгуен, Хальперном, Фаджином и Меджиддо [20; 47], которые в свою очередь развили идеи Н.
Нильссона [49].На основе ряда источников [136—140; 142; 156; 166] ниже введемнеобходимый математический аппарат, формально описывающий алгебраическую байесовскую сеть как модель знаний с неопределенностью.2.2Фрагмент знаний и оценки вероятности2.2.1Множества элементовЗафиксируем [137; 166] конечное множество атомарных пропозицио−1 .нальных формул (атомов)— упорядоченный алфавит атомов = { } =0Алфавит атомов является набором элементарных высказываний экспертово предметной области. Над указанным набором атомов определим два набора основных пропозициональных формул — идеал конъюнктов и множествоквантов.Определение 2.2.1 ([142]).Идеал конъюнктов — все положительноозначенные цепочки конъюнкций атомарных пропозициональных формул над заданным множеством атомарных формул= { 1 2 . .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
