Методология интеграции гетерогенных информационных систем по свойствам неорганических веществ (1090084), страница 5

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 5)

Сейчас технологиианализа данных бурно развиваются – не только создаются программные продукты дляанализа данных, но и сами средства анализа данных встраиваются во все новыепродукты. Например, вместе с СУБД Microsoft SQL Server поставляется BusinessIntelligence Development Studio. Но даже самые лучшие программные средства никогданезаменятспециалиста-химика,способногопровестивсестороннийанализнаблюдаемых явлений. Таким образом, современные компьютерные технологииявляются хорошим помощником химика-аналитика, в значительной мере упрощая егоработу.1.2.1. Формальная постановка задачи прогнозированияПрежде чем приступить к формальной постановке задачи прогнозированиясвойств неорганических веществ, приведем ряд соглашений. Под распознаваниемобразов будем понимать задачу классификации объектов по нескольким классам сучителем, то есть классификация основывается на прецедентах.

Таким образом,прецедент–этообъект,принадлежащийобучающейвыборке,правильнаяклассификация которого известна. То есть прецедент принимается за образец прирешении задачи классификации. Стоит заметить, что идея принятия решений на основепрецедентности – основополагающая в естественнонаучном мировоззрении. Считается,что все объекты или явления разбиты на конечное число классов, а для каждого класса,в свою очередь, известно конечное число объектов–прецедентов. Измерения, илисвойства, используемые при классификации объектов, называются признаками. Такимобразом, признак – это некоторое количественное или качественное свойство объектапроизвольной природы. Совокупность признаков, которые относятся к одному объекту,называется вектором признаков или признаковым описанием объекта.

Векторапризнаков принимают значения в пространстве признаков. В рамках задачираспознавания образов считается, что каждому объекту ставится в соответствие один итолько один вектор признаков. И наоборот: каждому значению вектора признаковсоответствует только один объект.

Классификатором или решающим правилом19называют правило отнесения объекта к одному из известных классов на основании еговектора признаков.Формальная постановка задачи классификации.Описанием объекта является вектор признаков: xXRn .Классом называется некоторое подмножество объектов Ky = {xX | y*(x)=y}множества X. Пусть yYZ - множество маркеров классов.y*Функция X Y - отображение, определённое для всех xX задающееразбиение X на подмножества Ky.Обучающей выборкой называется набор пар (набор прецедентов) S=(x1,y1),…,(xl,yl), для которых y*(xi)=yi, i=1,…,l.

(l – размер обучающей выборки), то есть этоy*известная информация об отображении X Y.Основнойгипотезойдляпримененияалгоритмовклассификациивраспознавании образов является предположение, что множество XY являетсявероятностным пространством с вероятностной мерой P. Прецеденты (x1,y1),…,(xl,yl)появляются случайно и независимо в соответствии с распределением P.Таким образом, задача классификации заключается в построении функцииклассификатора F(x), приближающей отображение y*, основываясь на обучающейвыборке (x1,y1),…,(xl,yl).Несколько дополнительных определений:Эмпирическим риском называется P(F(x)y | (x,y)S), то есть вероятностьневерной работы классификатора для объектов из обучающей выборки.Общим риском называется P(F(x)y | xX), то есть вероятность того, чтоклассификатор ошибётся на данных, не входивших в обучающую выборку.

Основнойцелью при построении функции-классификатора является минимизация общего риска.Поскольку напрямую вычислить величину общего риска невозможно, для проверкикачества классификатора используется оценка ошибки на контрольной выборке,которая состоит из прецедентов, не входящих в обучающую выборку. Говорят, чтоклассификатор обладает хорошей обобщающей способностью, если при обученииклассификатор эффективно уменьшает общий риск, оцененный на контрольнойвыборке. Таким образом, обучение можно рассматривать как процесс построенияклассификатора по обучающей выборке S.Говорят, что алгоритм построения склонен к переобучению, если приминимизации эмпирического риска, общий риск начинает возрастать. Это связано стем, что классификатор начинает обобщать признаки, свойственные не данным в20целом,аконкретнымспособствуетпрецедентамневыполнениеизпринятойобучающейгипотезы,выборки.шум,Переобучениювысокаясложностьклассифицирующей функции (высокая размерность Вапника-Червоненкиса [29]).Применительноккомпьютерномуконструированиюнеорганическихсоединений задача распознавания может быть дана следующим образом.

Пусть каждоенеорганическое соединение описано вектором признаков, имеющим составнуюструктуру x  ( x1(1) , x 2(1) ,..., x M(1) , x1( 2) , x 2( 2 ) ,..., x M( 2 ) ,..., x1( L ) , x 2( L ) ,..., x M( L ) ) , где L – количествохимических элементов в соединении, а M – количество параметров химическихэлементов,выбранныхдляописания(xXRn).Каждоесоединениетакжехарактеризуется принадлежностью к определенному классу: Ky = {xX | y*(x)=y}.Обучающая выборка S состоит из l объектов: S  {xi , i  1,..., l} . По сути, обучающаявыборка S является матрицей, содержащей экспериментальные данные, причем каждаястрока этой матрицы соответствует описанию химического объекта (являетсяпрецедентом). Примерами объектов могут быть оксидные системы, химическиесоединения и т.д.Образ – множество (класс) любых объектов, объединенных общими свойствами.Например, образом могут быть: класс тройных систем с образованием соединенийопределенного состава или класс соединений с кристаллической структурой типашпинели и т.п.

Цель обучения – построить классифицирующие правила, которыепозволяют не только отличить химические объекты разных классов, но и обладаютпрогностическойспособностьюобразовыватьновыекомбинациихимическихэлементов, которые не использовались для обучения, и относить их к одному из Кyклассов. Как видно, особенность предметной области проявляется в формированиипризнакового описания, имеющего составную структуру: набор свойств химическихэлементов (компонентов неорганического вещества) повторяется L раз.Стоит отметить, что неорганическое материаловедение, как предметная область,имеет свою специфику, которая создает дополнительные трудности при использованииматематических методов распознавания [1].

Основными проблемами являютсяследующие:Малая информативность признаков – свойств химических элементов.Сильная закоррелированность признаков. Как следствие Периодического закона –все свойства элементов находятся в периодической зависимости от общегопараметра - атомного номера химического элемента.21Наличие пропусков в признаках (отсутствующие значения в данных), которыемогут быть вызваны как слабой изученностью свойств, так и принципиальнымотсутствием некоторых значений. Например, отсутствие температуры плавлениядля углерода при атмосферном давлении, т.к. при нагревании при нормальномдавлении углерод возгоняется.Частая асимметрия в размерах классов обучающей выборки.Возможность экспериментальных ошибок в обучающих выборках, как приклассификации, так и при указании значений признаков.В процессе тестирования различных алгоритмов обучения ЭВМ на конкретныхзадачах были выработаны критерии отбора программ для химических приложений.Программа анализа данных должна обеспечивать:возможность успешного анализа, как больших выборок, так и возможностьопределения качественных классифицирующих закономерностей при малыхобучающих выборках;возможность работы в условиях слабого выполнения гипотезы компактности (т.е.при “размытости” и взаимном перекрытии границ классов в признаковомпространстве);возможность работы с качественными свойствами и пропусками в некоторыхзначениях свойств;быстрое обучение и прогнозирование.1.2.2.

Методы обучения ЭВМ распознаванию образовРассмотримраспознаваниянекоторыеобразовиз[185],наиболеекоторыеширокоиспользуемыхиспользуютсяметодовспециалистамидлякомпьютерного конструирования неорганических веществ.1.2.2.1. Методы прикладной статистикиТрадиционные методы прикладной статистики решают три основных проблемы:Статистическоеисследованиеструктурыихарактеравзаимосвязей,существующих между анализируемыми количественными переменными.

К немуотносятся:корреляционный,факторный,регрессионныйанализ,анализвременных рядов [30].Методы классификации объектов и признаков, например, дискриминантный икластерный анализ [31].22Снижение размерности исследуемого признакового пространства с целью болеелаконичного объяснения природы анализируемых данных, например, методглавных компонент [32] и многомерное шкалирование [33].Благодаря многообразию существующих статистических методов, списокрешаемых ими проблем и сфер их применения является по истине неисчерпаемым.Статистические модели требуют наличия полной априорной информации, на основекоторой могут быть определены вероятностные характеристики классов, что весьмазатруднительно при решении определенных химических задач, явно носящих прецедентныйхарактер.Данныезадачиотличаютсятем,чтоаприорнаяинформацияопредставительности некоторых классов отсутствует.

Так в ряде случаев, классы могут бытьпредставлены в виде единичных прецедентов (в одном классе один или два объекта). Кнедостаткам статистических методов нередко относят повышенные требования кматематической подготовке пользователя.1.2.2.2. Методы рассуждения по аналогииОсновной принцип, заложенный в методы рассуждения на основе аналогичныхслучаев (CBR - case based reasoning), является достаточно простым: чтобы осуществитьпрогнозирование или выбор правильного решения, проводятся поиск аналогичных (илиблизких) прецедентов имеющейся ситуации и выбирается тот же ответ, который былправильным для этих прецедентов.Метод K-ближайших соседейДанный метод (k-nearest neighbors, kNN) в теории распознавания, без сомнений,является классическим. Параметром метода является число K – обозначающее число«соседей» у распознаваемого объекта u.

Распознаваемый объект относится в тот класс,из которого он имеет максимальное число «соседей». Оптимальное число соседей иаприорные вероятности классов оцениваются на основании обучающей выборки.Основная суть метода заключается в том, что для формализации понятиясходства или близости вводится метрика ρ(x, x′) в пространстве объектов X, которая, посути, является функцией расстояния между прецедентами. В качестве такой функциирасстояний, в частности, может выступать евклидова метрика.Для произвольного объекта u из X элементы обучающей выборки Xℓ = {x1, . . . ,xℓ} располагаются в порядке возрастания расстояний до u:ρ(u, x1,u) < ρ(u, x2,u) < .

Характеристики

Список файлов диссертации