Часть 1. Искусственные нейронные сети в задачах системного анализа (1245270), страница 15
Текст из файла (страница 15)
В данном случае чрезвычайно эффективны рассмотренные методы регуляризации и структурной оптимизации нейросетевых моделей.Следует отметить, что в ряде случаев бывает достаточно трудно определить принадлежность задачи идентификации к одной из перечисленныхвыше категорий. Понятие «достаточности» экспериментального множестванапрямую связано со сложностью системы, подлежащей идентификации.Проблема может быть решена путем последовательной многократной реа-94лизации всех этапов процедуры идентификации с целью получения наиболее полного представления о характеристиках исследуемой системы.Очевидным преимуществом является априорное знание порядка системы, основанное на четком представлении физических принципов функционирования.
В случае отсутствия такового проблема выбора регрессионного вектора может быть решена путем применения рассмотренной методики, основанной на исследовании коэффициентов Липшица.На этапе оценки (оптимизации параметров) модели необходимо осуществить выбор критерия, на основе которого реализуется оптимизационнаяпроцедура. Кроме того, должен быть выбран один из рассмотренных методов оптимизации (обучения) нейросетевой модели. В настоящей главе исследован традиционный критерий наименьших квадратов и его модификация, использующая концепцию регуляризации путем введения затуханиявесовых коэффициентов.Для реализации процедуры обучения нейросетевой модели рекомендуется использовать метод Левенберга − Маркарда. Этот метод, разработанный специально для решения задач безусловной минимизации среднеквадратичного критерия, обладает высокой скоростью сходимости, вычислительной робастностью и простотой применения.
Так как минимизируемаяфункция имеет в общем случае несколько локальных минимумов, рекомендуется проводить обучение НС 5 – 7 раз, изменяя начальные значениявесовых коэффициентов.Принятие решения об адекватности модели (подтверждение модели) вбольшей мере зависит от особенностей поставленной задачи и предполагаемого практического применения модели. В общем случае желательно,чтобы работоспособность модели была подтверждена на тестовом множестве.В настоящей главе рассмотрен ряд эффективных методов подтверждения моделей:95• корреляционные тесты для проверки невязок на «белизну» и независимость от предшествующей информации;• одношаговое и многошаговое прогнозирование;• оценка средней ошибки обобщения.Данные тесты могут быть использованы для однозначного подтверждения модели в случае реализации модельных структур на полносвязных НС.Однако, если отношение количества обучающих пар к числу настраиваемых параметров НС меньше 15, рекомендуется провести ряд экспериментов с изменением параметра затухания весовых коэффициентов НС и/илиструктурную оптимизацию модели.Процедура нейросетевой идентификации практически обеспечивает получение адекватных прогнозирующих моделей, предназначенных для моделирования поведения динамических систем.96ЛИТЕРАТУРА1.Гаврилов А.И.
Перспективы применения нейросетевых технологийв системах автоматического управления // Вестник МГТУ им. Н.Э.Баумана. Приборостроение. – 1998. – №1. – С. 119 – 126.2.Галушкин А.И. Современные направления развития нейрокомпьютерных технологий в России // Открытые системы.
– 1997. – №4. – С. 25 –28.3.Горбань А.Н. Обучение нейронных сетей. – М.: СП «ParaGraph», 1990.– 160 с.4.Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. – Новосибирск: Наука, Сиб. отделение, 1996. – 276 с.5.Гроп Д. Методы идентификации систем: Пер. с англ. – М.: Мир, 1979.– 302 с.6.Джейн А.К., Муиуддин К.М. Введение в искусственные нейронные сети // Открытые системы.
– 1997. – №4. – С. 17 – 24.7.Дэннис Дж., Шнабель Р. Численные методы безусловной оптимизации и решения нелинейных уравнений: Пер с англ. – М.: Мир, 1998. –440 с.8.Ивахненко А.Г., Юрачковский Ю.Г. Моделирование сложных системпо экспериментальным данным. – М.: Радио и связь, 1987. – 120 с.9.Льюнг Л. Идентификация систем. Теория для пользователя: Пер. сангл. – М.: Наука. Гл. ред.
физ.-мат. лит., 1991. – 432 с.10. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов,И.Ю. Тюкин и др. – СПб: Издательство С. – Петербургского университета, 1999. – 264 с.9711. Пупков К.А. Проблемы теории и практики интеллектуальных систем //Машиностроение, приборостроение, энергетика / Ред. кол.: А.Н. Тихонов, В.А.
Садовничий В.И., Сергеев и др. – М.: Изд-во Моск. ун-та,1994. – 340 с.12. Пупков К.А., Капалин В.И., Ющенко А.С. Функциональные рядыв теории нелинейных систем. – М.: Наука, 1976. – 448 с.13. Реклейтис Г., Рейвиндран А., Рэгсдел К. Оптимизация в технике:В 2-х кн. Пер. с англ. – М.: Мир, 1986. – Кн.1. – 350 с.14. Реклейтис Г., Рейвиндран А., Рэгсдел К. Оптимизация в технике:В 2-х кн.
Пер. с англ. – М.: Мир, 1986. – Кн.2. – 320 с.15. Сейдж Э.П., Мелса Д.Л. Идентификация систем управления: Пер. сангл. – М.: Наука. Гл. ред. физ.-мат. лит., 1974. – 248 с.16. Харламов А.А., Ермаков А.Е. Динамическая нейронная сеть для распознавания речевых сигналов // Вестник МГТУ им. Н.Э. Баумана. Приборостроение. – 1998. – №1. – С.
93 – 101.17. Химмельблау Д. Прикладное нелинейное программирование: Пер сангл. – М.: Мир, 1975. – 534 с.18. Хокни Р., Джессхоуп К. Параллельные ЭВМ. Архитектура, программирование, алгоритмы: Пер. с англ. – М.: Радио и связь, 1986. – 306 с.19. Цыпкин Я.З. Информационная теория идентификации. – М.: Наука,1995.
– 336 с.20. A quantitative study of pruning by optimal brain damage / J. Gorodkin,L.K. Hansen, C. Svarer et. al. // Int. Journal of Neural Systems. – 1993. –№4. – P. 159 – 169.21. Akaike H. A new look at the statistical model identification // IEEE Trans.Autom. Control. – 1974. – Vol. AC–19. – P. 716 – 723.22. Albus J.S. A new approach to manipulator control: the cerebellar model articulation controller (CMAC) // Dyn. Sys., Measurements., Control.
–1975. – Vol. 97. – P. 220 – 227.9823. Alhoniemi E., Hollmen J., Simula O. Process monitoring and modelling using the self-organizing map. – Amsterdam: IOS Press, 1999. – 14 p.24. Anderson J.A., Rosenfeld E. Neurucomputing: Foundations of Research. –Cambridge (MA): M.I.T. Press, 1988. – 488 p.25. Anscombe F.J., Tukey J.W. The examination and analysis of residuals //Technometrics. – 1963. – Vol. 5. – P. 141 – 160.26.
Astrom K.J., Wittenmark B. Computer controlled systems – theory and design. – Englewood Cliffs, New Jersey: Prentice-Hall, 1990.27. Barron A.R. Universal approximation bounds for superposition of a sigmoidal function // IEEE Transactions on Information Theory. – 1993. –Vol. 39. – P. 930 – 954.28. Billings S.A., Zhu Q.M. Nonlinear model validation using correlation tests// Int. Journal of Control. – 1994.
– Vol. 60, no. 6. – P. 466 – 470.29. Carpenter G.A., Grossberg S. A massively parallel architecture for selforganizing neural pattern recognition // Computer vision, Graphics and Image Processing. – 1983. – Vol. 37. – P. 54 – 115.30. Carpenter G.A., Grossberg S. Art 2: Self-organizing of stable category recognition codes for analog output patterns // Applied Optics. – 1983. – Vol.26. – P. 4919 – 4930.31. Carpenter G.A., Grossberg S. Art 3: Hierarchical search: Chemical transmitters in self-organizing pattern recognition architectures // Neural Networks: Proc.
Int. Conf. – Wash., DC, 1990. – Vol. 2. – P. 30 – 33.32. Chen S., Billings S.A. Neural networks for non-linear dynamic systemmodelling and identification // Int. J. Control. – 1992. – Vol. 56, no. 2. – P.319 – 349.33. Cybenco G. Approximation by superposition of a sigmoidal function //Math. Control Systems and Sygnals. – 1989. – №2. – P. 303 – 314.34.
DARPA Neural Network Study. – Fairlax (VA): AFCEA InternationalPress, 1988. – 580 р.9935. Fletcher R. Practical methods of optimization. – New York: Wiley, 1987. –424 p.36. Fukushima K. Cognitron: A self-organizing multilayered neural network //Biolog. Cybernetics. – 1975.
– Vol. 20. – P. 121 – 136.37. Fukushima K. Neocognitron: A self-organizing neural network model for amechanism of pattern recognition unaffected by shift in position //Biolog. Cybernetics. – 1980. – Vol. 36. – P. 193 – 202.38. Geman S., Bienenstock E., Doursat R. Neural networks and the bias / variance dilemma // Neural Computation.
– 1992. – Vol. 4. – P. 1 – 58.39. Girosi F., Poggio T. Representation properties of networks: Kolmogorov’stheorem is irrelevant // Neural Computation. – 1989. – Vol. 1. – P. 465 –469.40. Grewal M.S., Andrews A.P. Kalman filtering: theory and practice. –Englewood Cliffs (New Jersey): Prentice-Hall, 1993. – 240 p.41. Grossberg S. Adaptive Pettern Classification and Universal Recording.Parallel development and Coding of Neural Feature Detectors //Biolog.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
