Секция 4 - Нейросетевые технологии (1250001), страница 16
Текст из файла (страница 16)
При этом использовался пакет расширенияGenetic Algorithm Toolbox [9], а также разработанные авторами алгоритмы.Согласно полученным результатам, генетические алгоритмы целесообразно использовать, когда используемый для обучения итерационный алгоритм застревает в локальном минимуме. Использование генетического алгоритма самого по себе не позволяет получить требуемую ошибку на выходе сети за удовлетворительное время.Литература1. Gonzalez R., Woods R. Digital Image Processing.— Prentice-Hall, 2002.2. Осовский С. Нейронные сети для обработки информации / Пер. с польского И.
Д. Рудинского.— М.: Финансы и статистика, 2002.— 344 с.3. Ланнэ А. А. Нейронные цепи, тринадцатая проблема Гильберта и задачиобработки сигналов // Вестник молодых ученых.— 2001.— №7.—С.3-26.4. Медведев В. Г., Потемкин В. Г. Нейронные сети. MATLAB 6.— М.:Диалог–МИФИ, 2002.— 496 с.5. Банди Б. Методы оптимизации.
Вводный курс: Пер. с англ.— М.: Радиои связь, 1988.— 128 с.6. Goldberg D. E. Genetic Algorithms in Search, Optimization and MachineLearning.— Addison Wesley Publishing Company, January 1989.7. Karayiannis N. B., Venetsanopoulos A. N. Artificial neural networks: learning algorithms, performance evaluation, and applications.— Kluwer Academic, Boston, MA, 1993.8. Хрящев В. В., Соколенко Е. А., Приоров А. Л. Нейросетевое восстановление амплитуды дискретного сигнала по его фазовому спектру // Доклады 5-й Международной конф.
«Цифровая обработка сигналов и ееприменение».— М., 2003.— С.622–624.9. http://www.shef.ac.uk/~gaipp/ga-toolbox/.1319Труды II научной конференции «Проектирование инженерных и научных приложений в среде MATLAB»УДК 658.012ПРОЕКТИРОВАНИЕ НЕЧЕТКИХ КЛАССИФИКАТОРОВ ВСИСТЕМЕ MATLABШтовба С. Д., Панкевич О. Д.Винницкий национальный технический университет, Винница, Украина,e-mail: shtovba@ksu.vstu.vinnica.uaВведениеКлассификация на основе нечеткого логического вывода используется при принятии решений в технике, экономике, политике, медицине, биологии и в других областях [1-3]. Системы нечеткого вывода базируются налингвистических правилах «Если —То».
Они обеспечивают хороший баланс между безошибочностью классификации и прозрачностью моделипринятия решения.Пакет Fuzzy Logic Toolbox вычислительной системы MATLAB предоставляет широкий набор инструментов для проектирования и исследования систем нечеткого логического вывода с непрерывным выходом. Внастоящей статье показано, как расширить Fuzzy Logic Toolbox для проектирования нечетких классификаторов, т. е. систем нечеткого логического вывода с дискретным выходом.Статья организована следующим образом: в разделе 1 излагаютсяматематические модели нечеткого вывода для задач классификации; в разделе 2 ставятся задачи настройки нечеткого классификатора по различнымкритериям обучение; в разделе 3 приводится программа нечеткой классификации, использующая функции пакета Fuzzy Logic Toolbox; в разделе 4предлагается программы настройки нечеткого классификатора, использующие Optimization Toolbox; в разделе 5 приводятся примеры проектирования нечетких классификаторов с применением предложенных программных средств.1.
Нечеткий классификаторБудем рассматривать классификатор с n входами ( x1 , x2 , …, xn ) и одним выходом y (рис. 1), что соответствует отображению вида:X = ( x1 , x2 ,…, xn ) → y ∈{d1 , d 2 ,..., d m } ,где d1 , d 2 ,..., d m - классы (типы решений).1320Секция 4. Нейро-сетевые технологииРис. 1.
Классификатор.Классификация на основе нечеткого логического вывода осуществляется по следующей базе знаний [2, 3]:(x1 = a1, j1 ) И (x2 = a2, j1 ) И ... И (xn = an, j1 ) с весом w j1 ,ЕСЛИИЛИ (x1 = a1, j 2 ) И…ТО()ИЛИ x1 = a1, jk j И(x2(x2= a2, j 2 ) И ... И (xn = an , j 2 ) с весом w j 2 ,)()= a2, jk j И ... И xn = an , jk j с весом w jk j ,y = d j,j = 1, m ,(1)где ai , jp — нечеткий терм, которым оценивается переменная xi в строчке сномером jp ( p = 1, k j ), т.
е. a i , jp =∫ µ (x )jpixi ; k j — количество строчек-[xi , xi ]конъюнкций, в которых выход y оценивается значением d j ; w jp ∈ [0, 1] —весовой коэффициент правила с номером jp .Степени принадлежности объекта X ∗ = (x1∗ , x 2∗ ,… x n∗ ) классам d j рассчитываются так [2, 3]:µ d j (X ∗ ) = ∨ w jp ⋅ ∧ ( µ jp ( xi∗ ) ) , j = 1, m ,(2)p =1,k ji =1,nгде µ jp ( xi* ) — степень принадлежности входа xi* нечеткому терму ai , jp ;∨ (∧) —s-норма (t-норма), которой в задачах классификации обычносоответствует максимум (минимум).В качестве решения выбирают класс с максимальной степенью принадлежности:(3)y * = argmax (мd1 (X*), мd 2 (X*),..., мd m (X*) ) .{d1 ,d 2 ,..., d m }Пример 1.1.
Известна нечеткая база знаний:Если x1 = низкийИx2 = низкий,ИЕсли x1 = среднийx2 = высокий,Если x1 = высокийИx2 = высокий,Если x1 = высокийИx2 = низкий,то y= класс 1;то y= класс 2;то y= класс 3;то y= класс 2.1321Труды II научной конференции «Проектирование инженерных и научных приложений в среде MATLAB»На рис. 2 приведены результаты классификации 600 объектов приреализации t-нормы операцией минимума и s-нормы операцией максимума. Области, соответствующие первому, второму, третьему и четвертомуправилам базы знаний обозначены на рисунке символами #1, #2, #3 и #4.Рис. 2. Классификации по нечеткой базе знаний из примера 1.12. Постановки задач настройки нечеткого классификатораБудем предполагать, что существует обучающая выборка из M парэкспериментальных данных, связывающих входы X = ( x1 , x2 ,..., xn ) с выходом y исследуемой зависимости:( X r , y r ) , ( r = 1, M ),(4)где X r = (x r ,1 , x r , 2 ,..., x r ,n ) — входной вектор в r-ой паре и y r — соответствующий выход.Настройка представляет собой нахождение таких параметров функций принадлежностей термов входных переменных и весовых коэффициентов правил, которые минимизируют отклонение между желаемым и действительным поведением нечеткого классификатора на обучающей выборке.
Критерий близости можно определить различными способами.Первый способ заключается в выборе в качестве критерия настройкипроцента ошибок классификации на обучающей выборке. Введем следующие обозначения:P — вектор параметров функций принадлежности термов входных ивыходной переменных;W — вектор весовых коэффициентов правил базы знаний;F ( X r , P, W ) — результат вывода по нечеткой базе (1) с параметрами( P, W ) при значении входов X r . Нечеткий логический вывод осуществляется по формулам (2)–(3).1322Секция 4.
Нейро-сетевые технологииТогда настройка нечеткого классификатора сводится к следующейзадачи оптимизации: найти такой вектор ( P, W ) , чтобы:1(5)∑ ∆ r → min ,M r =1,Mгде ∆ r — ошибка классификации объекта X r :1, если y r ≠ F ( X r , P,W ).∆r = 0, если y r = F ( X r , P,W )Преимущества критерия настройки (5) заключаются в его простоте иясной содержательной интерпретации. Процент ошибок широко используется как критерий обучения различных систем распознавания образом.
Целевая функция задачи оптимизации (5) принимает дискретные значения.Это затрудняет использование градиентных методов оптимизации, т. к. напротяженных плато целевой функции алгоритмы оптимизации «застревают». Особенно трудно подобрать подходящие параметры градиентных алгоритмов (например, приращения аргументов для расчета частных производных) при настройке нечеткого классификатора на небольшой выборкеданных.Второй способ использует в качестве критерия настройки расстояние между результатом вывода в виде нечеткого множестваµd (X ) µ d1 ( X ) µ d 2 ( X ) и значением выходной переменной в обу,,..., md2d m d1чающей выборке. Для этого выходную переменную y в обучающей выборке (4) фаззифицируют следующим образом [2, 3]:~y = (1 / d1 , 0 / d 2 ,..., 0 / d m ), если y = d1 ~y = (0 / d1 , 1 / d 2 ,..., 0 / d m ), если y = d 2 (6)...~y = (0 / d1 , 0 / d 2 ,..., 1 / d m ), если y = d m В этом случае настройка нечеткого классификатора сводится к следующей задачи оптимизации [2, 3]: найти такой вектор ( P,W ) , чтобы:1 M⋅∑M r =1∑ (мmj =1dj)2(y r ) - м d j (X r , P,W) → min ,(7)rгде мd j (y ) — степень принадлежности значения выходной переменнойy в r-ой пары обучающей выборке к решению d j в соответствии с (6);мd j (X r , P,W) — степень принадлежности выхода нечеткой модели с пара-метрами ( P, W ) к решению d j , определяемая по формуле (2) при значениях входов из r-ой пары обучающей выборке ( X r ).Целевая функция в задаче (7) не имеет протяженных плато, поэтому1323Труды II научной конференции «Проектирование инженерных и научных приложений в среде MATLAB»она пригодна к оптимизации градиентными методами.
Однако, результатыоптимизации не всегда удовлетворительные: нечеткая база знаний, обеспечивающая минимум критерия (7), не всегда обеспечивает также и минимум ошибок классификации. Это объясняется тем, что точки, близкие кграницам раздела классов, вносят почти одинаковый вклад в критерий настройки, как при правильной, так и при ошибочной классификации.Третий способ наследует достоинства предыдущих способов.
Идеязаключается в том, чтобы вклад ошибочно классифицированных объектовв критерий настройки увеличивать, посредством умножением расстояния∑ (м)2mj =1dj(y r ) - м d j (X r , P,W)на штрафной коэффициент. В результате задачаоптимизации принимает следующий вид:2m1 M(8)⋅ ∑ (∆ r ⋅ penalty + 1) ⋅ ∑ мd j (y r ) - м d j (X r , P,W) → min ,M r =1j =1где penalty > 0 — штрафной коэффициент.Задачи (5), (7) и (8) могут быть решены различными технологиямиоптимизации, среди которых часто применяется метод наискорейшегоспуска, квазиньютоновские методы и генетические алгоритмы.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
