• прогнозирование: дана последовательность чисел: 2, 8, 14, … Чему равен следующий член последовательности?

• Идентификация (синтез) функций: имеется «черный ящик», о внутреннем устройстве которого можно судить по его поведению, подавая на вход сигналы и получая в ответ выходные. Требуется по этой информации сформулировать описание работы анализируемого устройства. К задачам идентификации относятся расшифровка структуры конечных автоматов, индуктивный синтез программ на языке Lisp;

• Расшифровка языков – поиск правил синтеза текстов некоторого языка на основе анализа конкретных текстов на этом языке ( расшифровка кодов, систем письменности и т.д.). Задачей такого же типа является обучение распознаванию образов;

• Индуктивный вывод – в широком смысле в это направление вписываются все рассмотренные выше задачи, а в узком смысле совпадает с проблемой расшифровки языков;

• Синтез с дополнительной информацией. В качестве дополнительной информации может использоваться структура примеров, их родовидовая принадлежность и т.д. К дополнительной информации относятся также контрпримеры. Например, возможность синтеза программ упрощается, если с каждой парой вход – выход задается «траектория» (последовательность состояний программы без учета их тождественности) ее вычисления.

Все рассмотренные задачи в зависимости от предмета исследования относятся к одной из двух категорий: синтезу языков или синтезу функций. Для задач обучения по примерам характерны следующие два свойства:

• все они являются задачами нахождения описаний;

• задаваемая в виде примеров информация является недостаточной для однозначного формирования требуемого описания.

Возможны ситуации, когда новые примеры ничего не изменяют в уже полученном решении. Не существует алгоритма, способного определять момент стабилизации решения и, соответственно, невозможно алгоритмически определить количество примеров для достижения стабильного обучения. Предположение о предельной стабилизации гипотез является основой гипотетико-дедуктивного подхода, согласно которому решение задачи обучения по примерам включает 4 этапа:

• наблюдение: сбор и накопление исходных данных (примеров);

• обобщение: нахождение «разумной» гипотезы н об искомом описании;

• дедукцию: выдвижение различных следствий из н или прогнозов на основе ее;

• подтверждение: проверка гипотезы Н; если гипотеза Н подтверждается, то Н остается в качестве текущей гипотезы и весь процесс повторяется сначала, а в противном случае гипотеза Н заменяется новой.

Для большинства задач обучения по примерам не существует универсальных способов их решения. В теории первый результат такого рода был получен в 1967 году Гольдом, из которого следовал, что по множеству позитивных примеров нельзя синтезировать множество регулярных языков.

2. 2 Введение в нейронные сети

Постоянно возрастает необходимость в системах, которые способны не только выполнять однажды запрограммированную последовательность действий над заранее определенными данными, но и способны сами анализировать вновь поступающую информацию, находить в ней закономерности, производить прогнозирование и т.д. В этой области приложений самым лучшим образом зарекомендовали себя так называемые нейронные сети – самообучающиеся системы, имитирующие деятельность человеческого мозга.

Область науки, занимающаяся построением и исследованием нейронных сетей, находится на стыке нейробиологии, математики, электроники и программирования и называется нейрокибернетикой или нейроматематикой (neurocomputing). Способность нейронной сети к обучению была впервые исследована Дж. Маккаллоком и У. Питсом. В 1943 г. вышла их работа «Логическое исчисление идей, относящихся к нервной деятельности», в которой была построена модель нейрона и сформулированы принципы построения искусственных нейронных сетей. В 1962 г. Ф. Розенблат (Корнельский университет) предложил модель нейронной сети, названную персептроном. В 70 – х годах японским ученым К. Фукушима была предложена другая модель – когнитрон, способная хорошо распознавать сложные образы (иероглифы и т.п.) независимо от поворота и изменения масштаба изображения. В 1982 г. американский биофизик Дж. Хопфилд предложил модель нейронной сети, названную его именем.

Нейронные сети наиболее эффективны в системах распознавания образов, ассоциативной памяти, прогнозирования и адаптивного управления и неэффективны в областях, требующих точных вычислений. На рынке появляются реализации нейроподобных систем в виде пакетов программ, нейроплат и нейрочипов. Исследованиями в области нейрокомпьютеров занимаются в Японии: фирмы NBC, Nihon Denki, Mitec, Fujitsu, Matsusita, Mitsubishi, Sony, Toshiba, Hitachi; в США: AT&T, IBM, Texas Instruments, Xerox.

2. 3 Краткие сведения о нейроне

Нейрон – это нервная клетка, состоящая из тела и отростков, соединяющих ее с внешним миром.

Рисунок 1 - Биологический нейрон

Биологический нейрон содержит следующие структурные единицы:

Тело клетки (т) — сома: содержит ядро (я), митохондрии (обеспечивают клетку энергией), другие органеллы, поддерживающие жизнедеятельность клетки.

Дендриты (д) – входные волокна, собирают информацию от других нейронов. Активность в дендритах меняется плавно. Длина их обычно не больше 1 мм.

Мембрана – поддерживает постоянный состав цитоплазмы внутри клетки, обеспечивает проведение нервных импульсов.

Цитоплазма — внутренняя среда клетки. Отличается концентрацией ионов K+, Na+, Ca++ и других веществ по сравнению с внеклеточной средой.

Аксон (а), один или ни одного у каждой клетки, – длинное, иногда больше метра, выходное нервное волокно клетки. Импульс генерируется в аксонном холмике (а.х.). Аксон обеспечивает проведение импульса и передачу воздействия на другие нейроны или мышечные волокна (мв). Ближе к концу аксон часто ветвится.

Синапс (с) – место контакта нервных волокон — передает возбуждение от клетки к клетке. Передача через синапс почти всегда однонаправленная. Различают пресинаптические и постсинаптические клетки — по направлению передачи импульса.

Шванновские клетки (шв.кл). Специфические клетки, почти целиком состоящие из миелина, органического изолирующего вещества. Плотно "обматывают" нервное волокно 250 слоями миелина. Неизолированные места нервного волокна между шванновскими клетками называются перехватами Ранвье (пР). За счет миелиновой изоляции скорость распространения нервных импульсов возрастает в 5 - 10 раз и уменьшаются затраты энергии на проведение импульсов. Миелинизированные волокна встречаются только у высших животных.

В центральной нервной системе человека насчитывается от 100 до 1000 типов нервных клеток, в зависимости выбранной степени детализации. Они отличаются картиной дендритов, наличием и длиной аксона и распределением синапсов около клетки.

Клетки сильно связаны между собой. У нейрона может быть больше 1000 синапсов. Близкие по функциям клетки образуют скопления, шаровидные или параллельные слоистые. В мозгу выделены сотни скоплений. Кора головного мозга – тоже скопление. Толщина коры — 2 мм, площадь — около квадратного фута.

Нервный импульс (спайк) – процесс распространения возбуждения по аксону от тела клетки (аксонного холмика) до окончания аксона. Это основная единица информации, передаваемая по волокну, поэтому модель генерации и распространения нервных импульсов (НИ) — одна из важнейших в теории НС.

Импульсы по волокну передаются в виде скачков потенциала внутриклеточной среды по отношению к внешней среде, окружающей клетку. Скорость передачи – от 1 до 100 м/с. Для миелинизированных волокон скорость передачи примерно в 5 – 10 раз выше, чем для немиелинизированных.

При распространении форма спайка не меняется. Импульсы не затухают. Форма спайка фиксирована, определяется свойствами волокна и не зависит от того, каким способом создан импульс.

При воздействии вспышек света постоянной длительности и различной интенсивности вырабатывались импульсы в соответствующем зрительном волокне. Было определено, что от интенсивности света зависит не амплитуда импульсов и их форма, а плотность и общее количество.

2. 4 Искусственный нейрон

Несмотря на большое разнообразие вариантов нейронных сетей, все они имеют общие черты. Так, все они, так же, как и мозг человека, состоят из большого числа связанных между собой однотипных элементов – нейронов, которые имитируют нейроны головного мозга. На рисунке показана схема нейрона.