Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 9)

В нейрокомпьютерах используются принципы обработки информации, осуществляемые в реальных нейронных сетях. Эти принципиально новые вычислительные средства с нетрадиционной архитектурой позволяют выполнять высокопроизводительную обработку информационных массивов большой размерности. В отличие от традиционных вычислительных систем, нейросетевые вычислители, аналогично нейронным сетям, дают возможность с большей скоростью обрабатывать информационные потоки дискретных и непрерывных сигналов, содержат простые вычислительные элементы и с высокой степенью надежности позволяют решать информационные задачи обработки данных, обеспечивая при этом режим самоперестройки вычислительной среды в зависимости от полученных решений.

Вообще говоря, под термином «нейрокомпьютер» в настоящее время подразумевается довольно широкий класс вычислителей. Это происходит по той простой причине, что формально нейрокомпьютером можно считать любую аппаратную реализацию нейросетевого алгоритма, от простой модели биологического нейрона до системы распознавания символов или движущихся целей. Нейрокомпьютеры не являются компьютерами в общепринятом смысле этого слова. В настоящее время технология еще не достигла того уровня развития, при котором можно было бы говорить о нейрокомпьютере общего назначения (который являлся бы одновременно искусственным интеллектом). Системы с фиксированными значениями весовых коэффициентов – вообще самые узкоспециализированные из нейросетевого семейства. Обучающиеся сети более адаптированы к разнообразию решаемых задач. Обучающиеся сети более гибки и способны к решению разнообразных задач. Таким образом, построение нейрокомпьютера – это каждый раз широчайшее поле для исследовательской деятельности в области аппаратной реализации практически всех элементов НС.

В начале 21 века, в отличие от 40-50-х годов прошлого столетия, существует объективная практическая потребность научиться создавать нейрокомпьютеры, т.е. необходимо аппаратно реализовать довольно много параллельно действующих нейронов, с миллионами фиксированных или параллельно адаптивно модифицируемых связей-синапсов, с несколькими полносвязными слоями нейронов.

В то же время физические возможности технологии интегральной электроники не безграничны. Геометрические размеры транзисторов больше нельзя физически уменьшать: при технологически достижимых размерах порядка 1 мкм и меньше проявляются физические явления, незаметные при больших размерах активных элементов – начинают сильно сказываться квантовые размерные эффекты. Транзисторы перестают работать как транзисторы.

Для аппаратной реализации НС необходим новый носитель информации. Таким новым носителем информации может быть свет, который позволит резко, на несколько порядков, повысить производительность вычислений. Единственной технологией аппаратной реализации НС, способной в будущем прийти на смену оптике и оптоэлектронике, является нанотехнология, способная обеспечить не только физически предельно возможную степень интеграции субмолекулярных квантовых элементов с физически предельно возможным быстродействием, но и столь необходимую для аппаратной реализации НС трехмерную архитектуру. См. также Вопрос 48.

1. Области применения нейронных сетей.

Возьмем классическую задачу распознавания образов: определение принадлежности точки одному из двух классов. Такая задача естественным образом решается с помощью одного нейрона. Он позволит разделить гиперпространство на две непересекающиеся и невложенные гиперобласти. Входные сигналы в задачах, решаемых с помощью нейросетей, образуют в гиперпространстве сильно вложенные или пересекающиеся области, разделить которые с помощью одного нейрона невозможно. Это можно сделать, только проведя нелинейную гиперповерхность между областями. Ее можно описать с помощью полинома n-го порядка. Однако степенная функция слишком медленно считается и поэтому очень неудобна для вычислительной техники. Альтернативным вариантом является аппроксимация гиперповерхности линейными гиперплоскостями. Понятно, что при этом точность аппроксимации зависит от числа используемых гиперплоскостей, которое, в свою очередь, зависит от числа нейронов в сети. Отсюда возникает потребность в аппаратной реализации как можно большего числа нейронов в сети. Количество нейронов в одном слое сети определяет ее разрешающую способность. Однослойная НС не может разделить линейно зависимые образы. Поэтому важно уметь аппаратно реализовывать многослойные НС.

Длительное время считалось, что нейрокомпьютеры эффективны для решения так называемых неформализуемых и плохо формализуемых задач, связанных с необходимостью включения в алгоритм решения задачи процесса обучения на реальном экспериментальном материале. В первую очередь к таким задачам относилась задача аппроксимации частного вида функций, принимающих дискретное множество значений, т. е. задача распознавания образов.

В настоящее время к этому классу задач добавляется класс задач, иногда не требующий обучения на экспериментальном материале, но хорошо представимый в нейросетевом логическом базисе. К ним относятся задачи с ярко выраженным естественным параллелизмом обработки сигналов, обработка изображений и др. Подтверждением точки зрения, что в будущем нейрокомпьютеры будут более эффективными, чем прочие архитектуры, может, в частности, служить резкое расширение в последние годы класса общематематических задач, решаемых в нейросетевом логическом базисе. К ним, кроме перечисленных выше, можно отнести задачи решения линейных и нелинейных алгебраических уравнений и неравенств большой размерности; систем нелинейных дифференциальных уравнений; уравнений в частных производных; задач оптимизации и других задач.

1. Модели программирования для систем с разделяемой, распределенной памятью.

Программирование в модели общей памяти. (POSIX threads, OpenMP). Для SMP-систем существуют сравнительно эффективные средства автоматического распараллеливания. Подробнее см. Вопросы .

Программирование в модели распределенной памяти. Программирование в рамках модели передачи сообщений (MPI, PVM, BSPlib).

Эта модель схожа с парадигмой последовательного программирования. Программист имел упрощенную точку зрения на целевую машину, которая имеет единственный процессор и адресуется к определенному объему памяти. Поэтому он писал единственную программу, чтобы выполнять ее на этом процессоре. В сущности, парадигма может быть обеспечена разными путями, возможно, в системе разделения времени, где другие процессы разделяют процессор и память, но программисту нет необходимости вдаваться такие детали реализации, если он уверен, что программа или разработанный алгоритм в принципе могут быть перенесены на любую логическую архитектуру -- это сущность парадигмы.

Парадигма передачи сообщений является развитием этой идеи применительно к целям параллельного программирования. Некоторые положения последовательной парадигмы сохраняются. Так, программист представляет несколько процессоров, каждый со своим адресным пространством, и составляет программу, чтобы запустить ее на каждом процессоре. Параллельное программирование по определению требует взаимодействия между процессорами для решения задачи, используя некоторую связь. Основное положение парадигмы передачи сообщений - процессы общаются путем передачи друг другу сообщений. Модель передачи сообщений не вводит понятие разделяемого адресного пространства или непосредственного доступа одного процессора к памяти другого - все не относящееся к передаче сообщений, находится вне парадигмы. Поскольку программы, выполняющиеся на отдельных процессорах, связаны, операции передачи сообщений представляют собой вызовы подпрограмм.

Для тех, кто имеет опыт работы с сетями, системами клиент-сервер или объектно-ориентированными программами, парадигма передачи сообщений не преподнесет ничего нового. С недавнего времени парадигма программирования с передачей сообщений стала популярной. Одной из причин этого стало увеличение числа платформ, поддерживающих модель передачи сообщений. Программы, написанные с использованием передачи сообщений, могут выполняться на распределенных многопроцессорных комплексах или системах с разделяемой памятью, сетях и даже на однопроцессорых системах. Применяя парадигму, программист знает, что его алгоритмы должны быть в принципе переносимы на любую платформу, поддерживающую модель передачи сообщений. Модель передачи сообщений популярна не потому, что достаточно проста, но потому, что она фундаментальна.

Программирование в модели обработки данных – параллелизм по данным. Подробнее см. Вопросы 45, 46.

1. Разделение последовательных программ на параллельные нити.

В системах с общей памятью

В принципе, для распараллеливания программ можно использовать механизм порождения процессов. Однако этот механизм не очень удобен, поскольку каждый процесс функционирует в своем адресном пространстве, и основное достоинство этих систем - общая память - не может быть использован простым и естественным образом. Для распараллеливания программ используется механизм порождения нитей (threads) - легковесных процессов, для которых не создается отдельного адресного пространства, но которые на многопроцессорных системах также распределяются по процессорам. В языке программирования C возможно прямое использование этого механизма для распараллеливания программ посредством вызова соответствующих системных функций, а в компиляторах с языка FORTRAN этот механизм используется либо для автоматического распараллеливания, либо в режиме задания распараллеливающих директив компилятору (такой подход поддерживают и компиляторы с языка С).

Все производители симметричных мультипроцессорных систем в той или иной мере поддерживают стандарт POSIX Pthread и включают в программное обеспечение распараллеливающие компиляторы для популярных языков программирования или предоставляют набор директив компилятору для распараллеливания программ. В частности, многие поставщики компьютеров SMP архитектуры (Sun, HP, SGI) в своих компиляторах предоставляют специальные директивы для распараллеливания циклов. Однако эти наборы директив, во-первых, весьма ограничены и, во-вторых, несовместимы между собой. В результате этого разработчикам приходится распараллеливать прикладные программы отдельно для каждой платформы.

1. Ограничения на распараллеливание циклов.

Распараллеливание циклов возможно, если все итерации цикла независимы. Тело цикла не должны содержать:

• операторов перехода

• операторов ввода-вывода

Индексные выражения не должны иметь индекс в индексе А(В(С))

+ см. вопрос 64

1. Синхронизация параллельных процессов. Барьеры.

Барьеры – весьма своеобразное средство синхронизации. Идея его в том, чтобы в определенной точке ожидания собралось заданное число потоков управления. Только после этого они смогут продолжить выполнение. (Поговорка "семеро одного не ждут" к барьерам не применима.)

Барьеры полезны для организации коллективных распределенных вычислений в многопроцессорной конфигурации, когда каждый участник (поток управления) выполняет часть работы, а в точке сбора частичные результаты объединяются в общий итог.

Функции, ассоциированные с барьерами, подразделяются на следующие группы.

инициализация и разрушение барьеров: pthread_barrier_init(), pthread_barrier_destroy()

#include <pthread.h>

int pthread_barrier_init (

pthread_barrier_t *restrict barrier,

const pthread_barrierattr_t

*restrict attr,

unsigned count);

int pthread_barrier_destroy (

pthread_barrier_t *barrier);

синхронизация на барьере: pthread_barrier_wait() (см. листинг 2.37);

#include <pthread.h>

int pthread_barrier_wait (

pthread_barrier_t *barrier);

инициализация и разрушение атрибутных объектов барьеров: pthread_barrierattr_init(), pthread_barrierattr_destroy() (см. листинг 2.38);

#include <pthread.h>

int pthread_barrierattr_init (

pthread_barrierattr_t *attr);

int pthread_barrierattr_destroy (

pthread_barrierattr_t *attr);

опрос и установка атрибутов барьеров в атрибутных объектах: pthread_barrierattr_getpshared(), pthread_barrierattr_setpshared() (см. листинг 2.39).

#include <pthread.h>

int pthread_barrierattr_getpshared

(const pthread_barrierattr_t

*restrict attr,

int *restrict pshared);

int pthread_barrierattr_setpshared

(pthread_barrierattr_t *attr,

int pshared);

Обратим внимание на аргумент count в функции инициализации барьера pthread_barrier_init(). Он задает количество синхронизируемых потоков управления. Столько потоков должны вызвать функцию pthread_barrier_wait(), прежде чем каждый из них сможет успешно завершить вызов и продолжить выполнение. (Разумеется, значение count должно быть положительным.)

Когда к функции pthread_barrier_wait() обратилось требуемое число потоков управления, одному из них (стандарт POSIX-2001 не специфицирует, какому именно) в качестве результата возвращается именованная константа PTHREAD_BARRIER_SERIAL_THREAD, а всем другим выдаются нули. После этого барьер возвращается в начальное (инициализированное) состояние, а выделенный поток может выполнить соответствующие объединительные действия.

if ((status = pthread_barrier_wait(

&barrier)) ==

PTHREAD_BARRIER_SERIAL_THREAD) {

Характеристики

Список файлов лекций