Состояние и перспективы развития нейрокомпьютерных систем

Филиал Нижегородский

Электронная письменная предзащита

Название дисциплины

ЭВМ и вычислительные системы

Тема

Состояние и перспективы развития нейрокомпьютерных систем

Фамилия выпускника

Варакин Алексей Сергеевич

Содержание

Введение

1. Основы нейрокомпьютерных систем

1.1 Основы искусственных нейронных сетей

1.2 Алгоритм обратного распространения

1.3 Нейронные сети Хопфилда и Хэмминга

2. Современные направления развития нейрокомпьютерных технологий в России и зарубежом

2.1 Применение искусственных нейронных сетей в системах управления

2.2 Теория нейронных сетей

2.3 Нейроматематика

2.4 Прикладная нейроматематика

2.5 Нейрочипы и нейрокомпьютеры

2.6 Обзор зарубежных достижений нейрокомпьютерных систем

Заключение

Глоссарий

Список использованных источников

Введение

Актуальность исследования. Теория искусственных нейронных сетей (ИНС) благодаря фундаментальным работам зарубежных исследователей У. Мак-Каллока, У. Питтса, Ф. Розенблатта, М. Минского, Б. Уидроу, Т. Кохонена, Д. Хопфилда, С. Гроссберга, а также советских и российских ученых И.Б. Гутчина, A. C. Кузичева, Н.В. Позина, С.О. Мкртчяна, Н.М. Амосова, А.И. Галушкина, А.Н. Горбаня и др. получила широкое развитие. При этом основные направления исследований были связаны с разработкой моделей искусственных нейронов (ИН), изучением структуры и свойств различных моделей нейронных сетей, их обучением (настройкой) для решения поставленных задач и проектированием нейрокомпьютерных систем (НКС) на их основе. В настоящее время нейросетевая тематика стала междисциплинарной и. породила новые научные направления, такие как нейроинформатика, нейроматематика и др. В нашей стране и за рубежом издано большое количество монографий и учебников, посвященных основам и развитию теории ИНС и НКС, рассчитанных на максимально широкий круг читателей.

Нейронные сети и нейрокомпьютеры в настоящее время находят применение для решения задач практически во всех областях научно-исследовательской и инженерной деятельности: в авиации и космической технике, энергетике (в т. ч. атомной), химической, электронной и нефтегазодобывающей отраслях промышленности, военной технике и системах двойного применения, в управлении роботами, станками и технологическими процессами, в системах обработки изображений, сигналов и данных, вычислительных системах и др.

Известно, что искусственные нейронные сети в первую очередь предназначены для решения специфических, трудно формализуемых задач (также возможно применение ИНС для решения формализуемых задач вместо традиционных фоннеймановских вычислителей), что дает основания предполагать высокую эффективность использования нейрокомпьютеров в так называемых системах специального (двойного) назначения. В настоящее время в связи с бурным развитием информационных технологий можно ожидать появления новых сверхмощных универсальных нейровычислительных комплексов и систем, способных выполнять большие объемы вычислительных работ в реальном масштабе времени.

Стремительное развитие нейрокомпьютерных технологий приводит к появлению научных проблем и задач, системному решению которых ранее уделялось недостаточно внимания.

Объектом исследования выступают нейрокомпьютерные системы. Предметом исследования является процессы способствующих развитию нейрокомпьютерных систем.

Таким образом, целью данного исследования является исследование состояния и перспектив развития нейрокомпьютерных систем.

Основные задачи, поставленные и решенные в данной работе, следующие.

         Теоретическое обосновать и исследовать нейрокомпьютерные системы;

2        Рассмотреть текущее состояние проблемы;

         Определить перспективы развития нейрокомпьютерных систем.

Практическая значимость исследования заключается в том, что поставлены и решены задачи повышения эффективности применения нейрокомпьютерных систем с учетом различных условий работы и особенностей их технической реализации, которые могут использоваться в практике.

1. Основы нейрокомпьютерных систем

1.1 Основы искусственных нейронных сетей

Для решения задач идентификации и прогнозирования технического состояния могут быть использованы искусственные нейронные сети (ИНС) или, просто, нейронные сети (НС) различного рода.

Для реализации с максимальным эффектом функций НС, как правило, существует оптимальная совокупность параметров НС. Следовательно, одной из основных задач, стоящих перед разработчиком НС, является выбор этой совокупности, определяющей, в конечном итоге, вид сети.

Основным элементом сети является искусственный нейрон (далее нейрон) (приложение А).

Нейроны представляют собой относительно простые, однотипные элементы, имитирующие работу нейронов мозга. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены и заторможены. Искусственный нейрон, также как и его естественный прототип, имеет группу синапсов (входов), которые соединены с выходами других нейронов, а также аксон - выходную связь данного нейрона - откуда сигнал возбуждения или торможения поступает на синапсы других нейронов. Общий вид нейрона представлен на рис 1.

нейронная сеть нейрокомпьютерная россия

Рис.1 Искусственный нейрон - простейший элемент искусственной нейронной сети_j - сигнал, поступающий от нейрона j;_k - скалярное произведение вектора входных сигналов и вектора весов;_k - функция возбуждения;_k - выходной сигнал нейрона

Каждый синапс характеризуется величиной синаптической связи или весом w_i, который по своему физическому смыслу эквивалентен электрической проводимости.

Текущее состояние нейрона определяется как взвешенная сумма его входов:

 (1)

где x - вход нейрона, а w - соответствующий этому входу вес.

Выход нейрона есть функция его состояния, т.е.  Нелинейная функция f (s) называется активационной, сжимающей функцией или функцией возбуждения нейрона. Основные разновидности активационных функций, применяемых в нейронных сетях, представлены на рис.2.

Рис.2 Активационная функция

а) пороговая; b) полулинейная; c) сигмоидальная

В качестве активационной функции часто используется сигмоидальная (s-образная или логистическая) функция, показанная на рис.2. (приложение Б). Эта функция математически выражается по формуле

 (2)

При уменьшении  сигмоидальная функция становится более пологой, в пределе при =0 вырождаясь в горизонтальную линию на уровне 0,5; при увеличении  сигмоидальная функция приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоидальной функции видно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из полезных свойств сигмоидальной функции - простое выражение для ее производной, применение которого будет рассмотрено в дальнейшем:

 (3)

Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, сигмоидальная функция обладает свойством усиливать малые сигналы лучше, чем большие, тем самым предотвращая насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоидальная функция имеет пологий наклон.

Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день конфигурации, описанные. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации.

Теоретически число слоев и число нейронов в каждом слое нейронной сети может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется нейронная сеть.

Нейроны делятся на три типа (рис.3) в соответствии с функциями, выполняемыми ими в сети. Входные нейроны (нейроны входного слоя) принимают данные из внешней среды и определенным образом распределяют их далее по сети. На промежуточные нейроны (нейроны скрытого слоя) возлагается роль основных участников процесса решения задачи. Выходные же нейроны (нейроны выходного слоя) передают результаты работы сети во внешнюю среду (потребителю) .

Рис.3 Типы нейронов в зависимости от их функций в сети

В зависимости от механизма обработки получаемых данных можно выделить целый ряд математических моделей нейронов (рис.4). Существует две группы моделей нейронов, которые принадлежат, соответственно, двум типам сетей: классическим и нечетким. Каждая из моделей нейронов обладает рядом присущих ей свойств, однако имеются и общие черты, к которым можно отнести наличие входного и выходного сигналов, а также блока их обработки.

Для решения конкретной задачи существует ряд наиболее предпочтительных моделей нейронов. Модель нейрона МакКаллока-Питса, сигмоидальный нейрон и нейрон типа "адалайн" имеют схожие структуры и отличаются лишь видами функций активации (реакции нейрона на входящий сигнал). Вышеприведенные модели нейронов могут обучаться только с учителем, то есть требуют наличия входного и выходного векторов (значений). Так как функция активации нейрона МакКаллока-Питса дискретна (выходной сигнал может принимать только два значения - 0 или 1), то невозможно проследить за изменением значения выхода. Достижение необходимого результата в некоторых задачах может оказаться невозможным. В этом случае более предпочтительной может являться сигмоидальная модель нейрона. Модели нейронов типа "инстар" и "оутстар Гроссберга" дополняют друг друга и отличаются от вышеуказанных трех типов нейронов тем, что могут обучаться и без учителя (имея только входной вектор) .

Нейроны типа WTA (от англ. - “победитель получает всё”) чаще всего используются в задачах классификации и распознавания данных и образов. Они, как и модели нейронов Гроссберга, в процессе обучения также не нуждаются в учителе. Однако существенным недостатком нейронов этого типа является значительно возрастающая погрешность распознавания данных вследствие наличия мертвых нейронов, которые не смогли выжить в конкурентной борьбе. Модель нейрона Хебба схожа с моделью нейрона обычной формы (вход - блок обработки - выход). Может обучаться как с учителем, так и без него. Особенностью данной модели является то, что вес связи нейрона изменяется пропорционально произведению его входного и выходного сигналов.

Рис.4 Виды математических моделей нейронов

В стохастической модели выходное значение нейрона зависит еще и от некоторой случайной переменной, лежащей в интервале (0,1), что позволяет при подборе весов снизить до минимума среднеквадратичную погрешность. Модели нейронов нечетких сетей применяются главным образом для аппроксимации с произвольной точностью любой нелинейной функции многих переменных и используются там, где входные данные ненадежны и слабо формализованы.

Одна и та же модель нейрона в разных сетях может иметь разные функции активации (рис.5).

Рис.5 Функции активации нейронов

Однако это высказывание справедливо не для всех типов нейронов. Так, например, персептрон может иметь только пороговую функцию активации (функция единичного скачка). Несмотря на все многообразие функций активации, наиболее распространенной является нелинейная функция активации с насыщением (сигмоидальная функция). Необходимо так же отметить, что нейроны входного слоя имеют тождественные функции активации, что позволяет им распределять полученные сигналы нейронам скрытого слоя без изменений.

Совокупности нейронов образуют нейронные сети. НС различаются по архитектуре (рис.6), по типу входящих в нее нейронов (рис.7), по типу обрабатываемых ею сигналов (рис.8), по типу смены состояния нейронов в момент времени (рис.9). НС различаются так же топологией. Отметим, что статическими и динамическими НС являются однонаправленные и рекуррентные НС соответственно. Одним из отрицательных качеств динамических НС является их возможная неустойчивость при работе (приложение В).

Однородность НС (использование однотипных нейронов с единой функцией активации) в различных задачах по-разному влияет на производительность и скорость обучения НС.

Рис.6 Обобщенная классификация нейронных сетей с точки зрения их архитектуры

Рис.7 Классификация нейронных сетей по типу входящих в нее нейронов

Рис.8 Классификация нейронных сетей по типу обрабатываемых сигналов

Рис.9 Классификация нейронных сетей по типу смены состояния в момент времени

Рис.10 Топология (архитектура) нейронных сетей

Синхронность НС означает, что в каждый момент времени только один нейрон меняет свое состояние. Асинхронность подразумевает смену состояний у целого ряда нейронов (чаще всего - слоя). На практике большее предпочтение отдается синхронным НС.

Весьма обширна и топология (архитектура) НС, что говорит о довольно узкой направленности каждого типа НС для оптимального решения определенного круга задач. Однако для решения сложных задач наибольший интерес представляют многослойные однонаправленные (без обратных связей) и рекуррентные НС.

Рис.11 Многослойные (слоистые) нейронные сети

Для выполнения сетью поставленной задачи ее необходимо обучить, то есть сообщить ей, каким образом она должна действовать, чтобы выдать разработчику желаемый результат. Стратегии обучения нейронных сетей представлены на рис.12. Особенностью обучения с учителем (обучение под надзором) является то, что наряду с входным вектором (значения элементов входа) априори известен и выходной вектор (соответствующие входам значения элементов выхода). Если значения выхода НС заранее не известны, то необходимо воспользоваться другой стратегией - обучение без учителя. Тогда подбор весовых коэффициентов (в этом и заключается суть обучения) осуществляется по соответствующим стратегиям обучения с использованием определенных алгоритмов.

Рис.12 Используемые типы решеток расположения нейронов в слабосвязных нейронных сетях

Для задач аппроксимации представляется целесообразным использование многослойной НС прямого распространения, либо нечеткой НС.

Для задач идентификации состояний авиационной техники представляется целесообразным рассмотреть также возможность применения рекуррентных НС и НС с обучением по методу обратного распространения ошибок для решения задачи прогнозирования изменения параметров АТ.

Задать НС, способную решить конкретную задачу, - это значит определить модель нейрона, топологию связей, веса связей. Нейронные сети различаются между собой меньше всего моделями нейрона, а в основном топологией связей и правилами определения весов или правилами обучения (рис.13), программирования.

Рис.13 Процесс обучения нейросети

Рис.14 Процесс применения нейросети

В настоящее время существует два подхода к решению задачи обучения НС решению задачи распознавания образов, оптимизации и т.д. Один, исторически более ранний, состоит в постепенной модификации весовых коэффициентов в процессе обучения (рис.15).

Исходя из вышеизложенного, можно заключить, что для решения задач прогнозирования наиболее подходит сеть с обратным распространением. Она позволяет формальным образом обучить сеть прогнозировать изменение требования на основе исторических данных о требовании.

1.2 Алгоритм обратного распространения

Одним из наиболее распространенных видов нейронных сетей является многослойная структура, в которой каждый нейрон произвольного слоя связан со всеми аксонами нейронов предыдущего слоя, или в случае первого слоя со всеми входами нейронной сети. Такие нейронные сети называются полносвязанными.

Алгоритм обратного распространения, применяемый для таких структур, заключается в распространение сигналов ошибки от выходов нейронной сети к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Эта процедура обучения нейронной сети и получила название алгоритма обратного распространения.

Согласно методу наименьших квадратов минимизируемой целевой функцией ошибки нейронной сети является

 (4)

где  - реальное выходное состояние нейрона j выходного слоя n нейронной сети при подаче на ее входы p-го образа;

 - идеальное (желаемое) выходное состояние этого нейрона.

Суммирование ведется по всем нейронам выходного слоя и по всем образам, обрабатываемым нейронной сетью. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов:

 (5)

Где  - весовой коэффициент синаптической связи, соединяющей i-й нейрон слоя n-1 с j-м нейроном слоя n, h - коэффициент скорости обучения, 0 < h < 1.

 (6)

где под y_j, подразумевается выход нейрона j, а под s_j - взвешенная сумма его входных сигналов, т.е. аргумент активационной функции.

Так как множитель dy_j/ds_j является производной этой функции по ее аргументу, следовательно, производная активационной функции должна быть определена на всей оси абсцисс. Поэтому функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых нейронных сетей. Как правило, применяются такие гладкие функции, как гиперболический тангенс или классическая сигмоидальная функция с экспонентой. В случае гиперболического тангенса

 (7)

Третий множитель ¶ равен выходу нейрона предыдущего слоя

Первый множитель (2.7) раскладывается следующим образом:

 (8)

где суммирование по k выполняется среди нейронов слоя n+1.

Введем переменную

 (9)

Тогда получим рекурсивную формулу для расчетов величин  слоя n

из величин  более старшего слоя n+1.

 (10)

Для выходного слоя

 (11)

Запишем (5) в развернутом виде:

 (12)

Для придания процессу коррекции весов инерционности,

сглаживающей резкие скачки при перемещении по поверхности целевой функции, (12) дополняется значением изменения веса на предыдущей итерации:

 (13)

 - коэффициент инерционности, t - номер текущей итерации. Таким образом, полный алгоритм обучения нейронной сети с помощью процедуры обратного распространения строится так:

При подаче на входы нейронной сети одного из возможных образов в режиме обычного функционирования нейронной сети, когда сигналы распространяются от входов к выходам, рассчитать значения сигналов

 (14)

где f - сигмоидальная функция;

 (15)

 - q-я компонента вектора входного образа.

Рассчитать  для выходного слоя по формуле (11), а также по формуле (12) или (13) изменения весов  слоя n.

Рассчитать по формулам (10) и (13) (или (11) и (13))

Соответственно и для всех остальных слоев, n=N-1,.1.

Скорректировать все веса в нейронной сети

 (16)

Если ошибка сети существенна, перейти на шаг 1. В противном случае - завершение обучения.

Нейронной сети на шаге 1 попеременно в случайном порядке предъявляются все представительские выборки, чтобы нейронная сеть, образно говоря, не забывала одни по мере запоминания других (рис.13).

Эффективность обучения заметно снижается когда выходное значение  в (12) стремится к нулю. При двоичных входных векторах в среднем половина весовых коэффициентов не будет корректироваться, поэтому область возможных значений выходов нейронов [0; 1] желательно сдвинуть в пределы [-0,5; +0,5], что достигается простыми модификациями активационных функций, например: сигмоидальная функция с экспонентой преобразуется к виду

 (17)

Рассмотрим вопрос о числе образов, предъявляемых на входы нейронной сети, которые она способна научиться распознавать (емкость нейронной сети). Для нейронной сети с одним скрытым слоем, детерминистская емкость нейронной сети C_d оценивается как

 (18)

где N_w - число подстраиваемых весов, N_y - число нейронов в выходном слое.

Следует отметить, что данное выражение получено с учетом некоторых ограничений. Во-первых, число входов N_x и нейронов в скрытом слое N_h должно удовлетворять неравенству N_x+N_h > N_y.

Во-вторых, N_w/N_y >1000. Однако вышеприведенная оценка выполнялась для нейронных сетей с активационными функциями нейронов в виде порога, а емкость сетей с гладкими активационными функциями, обычно больше. Кроме того, фигурирующее в названии емкости прилагательное "детерминистский" означает, что полученная оценка емкости подходит абсолютно для всех возможных входных образов, которые могут быть представлены N_x входами. Распределение входных образов, как правило, обладает некоторой регулярностью, что позволяет нейронной сети проводить обобщение и, таким образом, увеличивать реальную емкость. Так как распределение образов, в общем случае, заранее не известно, можно говорить о такой емкости только предположительно, но обычно она раза в два превышает емкость детерминистскую.

Рассмотрим вопрос о размерности выходного слоя нейронной сети, выполняющего окончательную классификацию образов. Для разделения множества (классификации) входных образов, например, по двум классам достаточно всего одного выхода.

Рис.16 Диаграмма сигналов при обучении нейронной сети по алгоритму обратного распространения

При этом каждый логический уровень - "1" и "0" - будет обозначать отдельный класс. На двух выходах можно закодировать 4 класса и так далее. Однако результаты работы нейронной сети, организованной таким образом, "под завязку", не очень надежны. Для повышения достоверности классификации желательно ввести избыточность путем выделения каждому классу одного нейрона в выходном слое или, что еще лучше, нескольких, каждый из которых обучается определять принадлежность образа к классу со своей степенью достоверности - высокой, средней или низкой, что позволит проводить классификацию входных образов, объединенных в нечеткие (размытые или пересекающиеся) множества. Это свойство приближает нейронные сети к естественному человеческому интеллекту.

Такая нейронная сеть имеет несколько ограничений. Во-первых, в процессе обучения может возникнуть ситуация, когда большие положительные или отрицательные значения весовых коэффициентов сместят рабочую точку на сигмоидальной функции многих нейронов в область насыщения. Малые величины производной от активационной функции в соответствии с (10) и (11) приведут к остановке обучения нейронной сети. Во-вторых, применение метода градиентного спуска не гарантирует, что будет найден глобальный, а не локальный минимум целевой функции. Эта проблема связана еще с одной, а именно - с выбором коэффициента скорости обучения. Доказательство сходимости обучения в процессе обратного распространения основано на производных, т.е. приращениях весов и, следовательно, скорость обучения должна быть бесконечно малой, однако в этом случае обучение будет происходить неприемлемо медленно. С другой стороны, слишком большие коррекции весов могут привести к постоянной неустойчивости процесса обучения [30, c.14].

Поэтому, коэффициент  обычно выбирается меньше 1, но не очень малым, например, 0,1, и он может постепенно уменьшаться в процессе обучения. Кроме того, для исключения случайных попаданий в локальные минимумы кратковременно можно значительно увеличить, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние нейронной сети, можно более или менее быть уверенным в том, что найден глобальный минимум ошибки, иногда, после того как значения весовых коэффициентов стабилизируются, кратковременно можно значительно увеличить, чтобы начать градиентный  спуск из новой точки. Если повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние нейронной сети, можно более или менее быть уверенным в том, что найден глобальный минимум ошибки.

1.3 Нейронные сети Хопфилда и Хэмминга

Среди различных конфигураций искусственных нейронных сетей (НС) встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету. С одной стороны, предъявление априорной информации можно расценивать, как помощь учителя, но с другой - сеть фактически просто запоминает образцы до того, как на ее вход поступают реальные данные, и не может изменять свое поведение, поэтому говорить о звене обратной связи с "миром" (учителем) не приходится. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга, которые обычно используются для организации ассоциативной памяти. Далее речь пойдет именно о них.

Структурная схема сети Хопфилда приведена на рис.17. Она состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один входной синапс, через который осуществляется ввод сигнала. Выходные сигналы, как обычно, образуются на аксонах.

Задача, решаемая данной сетью в качестве ассоциативной памяти, как правило, формулируется следующим образом. Известен некоторый набор двоичных сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми.

Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить ("вспомнить" по частичной информации) соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов (приложение Г).

Рис.17 Структурная схема сети Хопфилда

В общем случае, любой сигнал может быть описан вектором , n - число нейронов в сети и размерность входных и выходных векторов. Каждый элемент x_j равен либо +1, либо - 1. Обозначим вектор, описывающий k-ый образец, через Х^к, а его компоненты, соответственно, - х> k=0. m-l, m - число образцов. Когда сеть распознает (или "вспомнит") какой-либо образец на основе предъявленных ей данных, ее выходы будут содержать именно его, то есть Y = Х^к, где Y - вектор выходных значений сети: . В противном случае, выходной вектор не совпадет ни с одним образцовым.

Если, например, сигналы представляют собой некие изображения, то, отобразив в графическом виде данные с выхода сети, можно будет увидеть картинку, полностью совпадающую с одной из образцовых (в случае успеха) или же "вольную импровизацию" сети (в случае неудачи).

На стадии инициализации сети весовые коэффициенты синапсов устанавливаются следующим образом:

 (19)

Здесь i и j - индексы, соответственно, предсинаптического и постсинаптического нейронов;

 - i-ый и j-ый элементы вектора k-ого образца.

Алгоритм функционирования сети следующий (р - номер итерации):

1        На входы сети подается неизвестный сигнал. Фактически его ввод осуществляется непосредственной установкой значений аксонов:

поэтому обозначение на схеме сети входных синапсов в явном виде носит чисто условный характер.

Ноль в скобке справа от y_i, означает нулевую итерацию в цикле работы сети.

2        Рассчитывается новое состояние нейронов

 (20)

и новые значения аксонов

 (21)

где f - активационная функция в виде скачка, приведенная на рис.18а.

Рис.18. Активные функции

3        Проверка, изменились ли выходные значения аксонов за последнюю итерацию. Если да - переход к пункту 2, иначе (если выходы застабилизировались) - конец. При этом выходной вектор представляет собой образец, наилучшим образом сочетающийся с входными данными.

Как говорилось выше, иногда сеть не может провести распознавание и выдает на выходе несуществующий образ. Это связано с проблемой ограниченности возможностей сети. Для сети Хопфилда число запоминаемых образов m не должно превышать величины, примерно равной 0.15*n. Кроме того, если два образа А и Б сильно похожи, они, возможно, будут вызывать у сети перекрестные ассоциации, то есть предъявление на входы сети вектора А приведет к появлению на ее выходах вектора Б и наоборот. Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то есть достаточно, скажем, получать номер образца, ассоциативную память успешно реализует сеть Хэмминга.

Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объемом вычислений, что становится очевидным из ее структуры (рис. 19).

Рис. 19. Структурная схема сети Хэмминга

Сеть состоит из двух слоев. Первый и второй слои имеют по m нейронов, где m - число образцов. Нейроны первого слоя имеют по п синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.

На стадии инициализации весовым коэффициентам первого слоя и порогу активационной функции присваиваются следующие значения:

 (22),  (23)

Здесь  - i-й элемент к-ого образца. Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине . Синапс нейрона, связанный с его же аксоном имеет вес +1.

Алгоритм функционирования сети Хэмминга следующий:

На входы сети подается неизвестный вектор исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс в скобках указывает номер слоя):

 (24)

После этого полученными значениями инициализируются значения аксонов второго слоя:

 (25)

Вычислить новые состояния нейронов второго слоя:

 (26)

И значение аксионов

 (27)

Активационная функция f имеет вид порога (рис.26), причем величина F должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению.

4        Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да - перейди к шагу 2. Иначе - конец.

Из оценки алгоритма видно, что роль первого слоя весьма условна: воспользовавшись один раз на шаге 1 значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому первый слой может быть вообще исключен из сети (заменен на матрицу весовых коэффициентов), что и было сделано в ее конкретной реализации, описанной ниже.

Программная модель сети Хэмминга строится на основе набора специальных классов NeuronHN, LayerHN и NetHN - производных от классов, рассмотренных в предыдущих статьях цикла. Описания классов приведены в листинге 1. Реализации всех функций находятся в файле NEURO_HN (листинг 2). Классы NeuronHN и LayerHN наследуют большинство методов от базовых классов.

В классе NetHN определены следующие элементы:

Nin и Nout - соответственно размерность входного вектора с данными и число образцов;

d_x и d_y - размеры входного образа по двум координатам (для случая трехмерных образов необходимо добавить переменную dz), dx*dy должно быть равно Nin, эти переменные используются функцией загрузки данных из файла LoadNextPattern;

DX и DY - размеры выходного слоя (влияют только на отображение выходого слоя с помощью функции Show); обе пары размеров устанавливаются функцией SetDxDy;

Class - массив с данными об образцах, заполняется функцией SetClasses, эта функция выполняет общую инициализацию сети, сводящуюся к запоминанию образцовых данных.

Метод Initialize проводит дополнительную инициализацию на уровне тестируемых данных (шаг 1 алгоритма). Метод Cycle реализует шаг 2, а метод IsConverged проверят, застабилизировались ли состояния нейронов (шаг 3).

Из глобальных функций - SetSigmoidAlfaHN позволяет установить параметр F активационной функции, a SetLimitHN задает коэффициент, лежащий в пределах от нуля до единицы и определяющий долю величины 1/т, образующую с.

На листинге 3 приведена тестовая программа для проверки сети. Здесь конструируется сеть со вторым слоем из пяти нейронов, выполняющая распознавание пяти входных образов, которые представляют собой схематичные изображения букв размером 5 на 6 точек (рис. 20а). Обучение сети фактически сводится к загрузке и запоминанию идеальных изображений, записанных в файле "charh. img", приведенном на листинге 4. Затем на ее вход поочередно подаются зашумленные на 8/30 образы (рис. 20б) из файла "charhh. img" с листинга 5, которые она успешно различает.

Рис.20 Образцовые и тестовые образцы

Рис.21 Структурная схема ДАП

R проект кроме файлов NEURO_HN и NEUROHAM входят также SUBFUN и NEURO_FF. Программа тестировалась в среде Borland С++ 3.1.

Предложенные классы позволяют моделировать и более крупные сети Хэмминга. Увеличение числа и сложности распознаваемых образов ограничивается фактически только объемом ОЗУ. Следует отметить, что обучение сети Хэмминга представляет самый простой алгоритм из всех рассмотренных до настоящего времени алгоритмов в этом цикле статей. Обсуждение сетей, реализующих ассоциативную память, было бы неполным без хотя бы краткого упоминания о двунаправленной ассоциативной памяти (ДАП). Она является логичным развитием парадигмы сети Хопфилда, к которой для этого достаточно добавить второй слой. Структура ДАП представлена на рис.18. Сеть способна запоминать пары ассоциированных друг с другом образов. Пусть пары образов записываются в виде векторов  и , где r - число пар. Подача на вход первого слоя некоторого вектора  вызывает образование на входе второго слоя некоего другого вектора , который затем снова поступает на вход первого слоя. При каждом таком цикле вектора на выходах обоих слоев приближаются к парс образцовых векторов, первый из которых - X - наиболее походит на Р, который был подан на вход сети в самом начале, а второй - Y - ассоциирован с ним. Ассоциации между векторами кодируются в весовой матрице W ^(l) первого слоя. Весовая матрица второго слоя W ⁽²⁾ равна транспонированной первой (W ^{(1)) T}. Процесс обучения, также как и в случае сети Хопфилда, заключается в предварительном расчете элементов матрицы W (и соответственно W^T) по формуле:

 (28)

Эта формула является развернутой записью матричного уравнения

 (29)

для частного случая, когда образы записаны в виде векторов, при этом произведение двух матриц размером соответственно [n*1] и [1*n] приводит к (11). В заключении можно сделать следующее обобщение. Сети Хопфилда, Хэмминга и ДАП позволяют просто и эффективно разрешить задачу воссоздания образов по неполной и искаженной информации. Невысокая емкость сетей (число запоминаемых образов) объясняется тем, что, сети не просто запоминают образы, а позволяют проводить их обобщение, например, с помощью сети Хэмминга возможна классификация по критерию максимального правдоподобия. Вместе с тем, легкость построения программных и аппаратных моделей делают эти сети привлекательными для многих применений.

2. Современные направления развития нейрокомпьютерных технологий в России и зарубежом

.1 Применение искусственных нейронных сетей в системах управления

В историческом плане можно утверждать, что разработка систем управления (СУ) всегда происходит поэтапно. В качестве таких этапов можно выделить:

-       этап разработки концепции построения СУ;

-       этап моделирования СУ, в соответствии с предлагаемой концепцией построения;

-       этап анализа получаемых результатов; этап доработки (модернизации) концепции построения СУ. На протяжении всех этих этапов не прекращаются теоретические исследования, которые позволяют выбирать основные направления совершенствования первоначально сформулированной концепции построения СУ и распространять ее основные идеи на ряд смежных областей.

По аналогичной схеме происходит развитие СУ, использующих искусственные НС. Однако следует заметить, что большое количество разработанных аппаратных и программных моделей нейросетевых СУ часто опережают теоретическое понимание происходящих при этом процессов и имеющихся проблем.

Необходимым этапом решения задач управления нелинейными динамическими системами является получение их адекватных математических моделей, базирующееся, как правило, на теоретическом и экспериментальном анализе свойств этих систем. Теоретический анализ процессов, происходящих в системе, позволяет получить математическое описание в виде, например, дифференциальных уравнений. При экспериментальном анализе на основе наблюдений входных и выходных сигналов системы получают либо ее параметрическую, либо непараметрическую модель. Наиболее широкое распространение получили параметрические модели, требующие решения задач структурной и параметрической идентификации и использующие ограниченное число параметров. Несмотря на огромное количество работ, многообразие видов нелинейностей не позволяет создать единую теорию идентификации нелинейных систем. Применяемый чаще всего классический подход основан на аппроксимации нелинейностей, например рядами Вольтера, Гаммерштейна, Винера, полиномами Колмогорова-Габора и др. Однако область применения таких моделей ограничена. Кроме того, дополнительные трудности получения адекватного математического описания обусловлено наличием в реальных сигналах помех.

Одной из классических моделей СУ является модель с обратной связью с регулируемыми в реальном масштабе времени коэффициентами, например самонастраивающийся регулятор Астрома. Коэффициенты такого контроллера регулируются в течение каждого цикла управления в соответствии с оценкой параметров системы. Блок-схема управления с обратной связью и регулируемыми в реальном масштабе времени коэффициентами приведена на рис.22.

Рис.22 Блок-схема управления с обратной связью и регулируемыми коэффициентами

Другой хорошо известной моделью СУ является модель Ляпунова. Системы адаптивного управления, использующие эталонную модель Ляпунова проектируются таким образом, чтобы выходной сигнал управляемой модели в конце концов соответствовал выходному сигналу предварительно определенной модели, которая имеет желаемые характеристики.

Такая система должна быть асимптотически устойчивой, то есть управляемая система в итоге отслеживает эталонную модель с нулевой ошибкой. Более того, переходные процессы на этапе адаптивного управления или обучающего управления имеют гарантированные пределы. Блок-схема адаптивного управления с эталонной моделью представлена на рис.23.

Рис.23 Блок-схема адаптивного управления с эталонной моделью

Системы управления, так или иначе использующие искусственные НС являются одной из возможных альтернатив классическим методам управления. Возможность использования НС для решения задач управления во многом основывается на том, что НС, состоящая из двух слоев и имеющая в скрытом слое произвольное большое количество узлов, может аппроксимировать любую функцию действительных чисел с заданной степенью точности. Доказательство этого положения, основанное на известной теореме Вейерштрасса. Таким образом, для решения задач идентификации и управления могут быть использованы НС даже с одним скрытым слоем.

Одним из первых используемых методов построения нейросетевых СУ был метод, основанный на "копированиии" существующего контроллера. Применив этот метод в 1964 Уидроу назвал его методом построения экспертной системы за счет получения знаний от уже существующего эксперта. Архитектура такой СУ представлена на рис.21.

Рис.24 Нейросетевая СУ, основанная на "копировании" существующего контролера

Глядя на этот рисунок 24 можно усомниться в полезности этого метода. Зачем нужно использовать еще один управляющий контроллер (в виде НС), если один уже существует. Однако, во-первых, существующий контроллер может быть неудобен при использовании (например, в роли такого контроллера может выступать человек), а во-вторых, для выработки эффективного управления НС может использовать отличную, от существующего контроллера, по способу представления (легче измерить, формализовать и т.д.) информацию о состоянии объекта управления.

В настоящее время достаточно хорошо разработан и широко используется целый ряд других возможных архитектур построения нейросетевых СУ. Во всех из них, назначением нейросетевого контроллера является выработка адекватного управляющего сигнала для управления динамикой состояний объекта управления от начального состояния до желаемого итогового состояния. Причем смена состояний должна происходить по оптимальной траектории. Организация контроля за состоянием объекта управления и реализация нейросетевого контроллера в значительной степени зависят от выбранного алгоритма обучения и используемой структуры управления. Наиболее широко используемыми являются схема прямого (непосредственного) управления и схема косвенного управления. При этом чаще всего в качестве алгоритма обучения используется алгоритм обратного распространения ошибки.

В схеме косвенного управления параметры объекта управления определяются в каждый момент времени и затем используются для оценки параметров контроллера (рис.25). Таким образом, имеет место явно выраженный процесс идентификации.

Рис.25 Схема косвенного управления

Недостатком такой схемы является то, что идентификация и управление основываются исключительно на ошибке е_и, и, следовательно, минимизацию ошибки на выходе системы е_у гарантировать нельзя.

В схеме прямого управления параметры нейросетевого контроллера регулируются таким образом, чтобы уменьшить непосредственно ошибку выхода е_у (рис.26).

Рис.26 Схема прямого управления

В качестве целевой функции, которая должна быть минимизирована контроллером используется среднеквадратическая ошибка на выходе объекта управления:

Вопросы устойчивости и управляемости таких СУ подробно рассматриваются в работах.

Одной из областей теоретических исследований, рассматривающих проблемы использования НС в системах управления, является сравнение таких методов управления с другими известными типами СУ, выявление присущих нейросетевым методам особенностей и их анализ. Хотя каждый из рассмотренных методов имеет как хорошие, так и плохие характеристики следует заметить, что метод нейросетевого управления имеет такие полезные свойства, которые плохо реализуются в двух других методах.

Основные результаты, полученные при сравнении, приведены в табл.1.

В методе с использованием НС отсутствуют ограничения на линейность системы, он эффективен в условиях шумов и после окончания обучения обеспечивает управление в реальном масштабе времени. Нейросетевые СУ более гибко настраиваются на реальные условия, образуя модели полностью адекватные поставленной задаче, не содержащие ограничений, связанных с построением формальных систем. Кроме того, нейросетевые СУ не только реализуют стандартные адаптивные методы управления, но и предлагают свои алгоритмические подходы к ряду задач, решение которых вызывает затруднение вследствие неформализованное.

Таблица 1 Обзор характеристик методов управления

Так, появляется возможность обработки в рамках одной модели данных одной природы - для НС важна лишь их коррелированность.

Таким образом, будущее интеллектуального управления лежит в сочетании традиционного управления с потенциальными возможностями и перспективами использования систем, основанных на использовании искусственных НС.

Нейросетевые системы управления относятся к классу нелинейных динамических систем. В составе таких систем искусственная нейронная сеть может выполнять различные функции: диагностику технологического оборудования, управления подвижными объектами в и технологическими процессами, прогнозирование ситуаций, оценку состояния и мониторинг технологических процессов и многое другое. В более узком смысле понятие "нейросетевые системы управления" можно ограничить нижеописанной областью функций.

Это, во-первых, функция адаптивного регулятора нелинейного многосвязного объекта. Здесь возможны два варианта функционирования нейросети. В первом - нейросеть обучается и одновременно формирует управляющее воздействие на входе исполнительного устройства системы управления. Цель обучения сети и цель управления объектом совпадают, что отражается в задании единой целевой функции системы. Сеть обучается в реальном времени, в темпе протекания процессов в системе (режим on-line). Во втором варианте работа сети состоит из двух этапов:

) предварительного этапа обучения сети заданной оптимальной функции управления

) этапа воспроизведения аппроксимации этой функции в режиме управления объектом при тех же условиях или близких к ним. Целевые функционалы обучения сети и управления объектом могут отличаться друг от друга. Такой вариант применения нейронной сети для управления - так называемое супервизорное управление - нашел преимущественное распространение до настоящего времени, хотя процесс синтеза нейросетевого контроллера и настройка его параметров в этом случае протекает не в реальном времени (режим off-line) .

Выбор конкретного подхода к обучению сети (on-line или off-line) зависит от специфики задачи и, более того, определяет конкретный вид алгоритма обучения сети (беспоисковые/поисковые схемы, глобальная/локальная оптимизация и т.д.). Так, например, в отраслях промышленности, где накоплены огромные массивы данных о поведении исследуемого технического объекта (например, в автомобильной промышленности при проектировании системы управления новым типом двигателя) более разумным представляется использование off-line техники обучения с применением генетических алгоритмов, алгоритмов с элементами случайного поиска или "статистического" обучения. С другой стороны, для объектов, технические характеристики которых меняются в процессе эксплуатации, наиболее предпочтительным становится применение on-line алгоритмов настройки сети.

Во-вторых, нейронные сети находят применение как идентификаторы для оценивания вектора состояния нелинейных систем и как расширенные фильтры Калмана.

В-третьих, отметим известное применение нейронной сети в качестве оптимизаторов для настройки параметров регуляторов с типовыми законами регулирования и для настройки параметров алгоритмов адаптации, реализуемых на основе известных методов теории адаптивных систем.

Существуют три основных типа искусственных нейросетей:

) обучаемые многослойные нейронные сети прямого распространения (многослойные перцептроны;

) рекуррентные сети Хопфилда;

) сети ("самоорганизующиеся карты") Кохонена.

Наибольшее распространение для целей управления по ряду причин нашли многослойные нелинейные нейронные сети (МНС), меньшее - сети Хопфилда и еще меньшее - сети Кохонена; в частности, "самоорганизующаяся карта" Кохонена образует первый слой применяемых в системах управления сетей с "радиальными базисными функциями" активации (RBF-сети от англ. Radial Basis Function).

Применение обучаемых многослойных нейросетей в системах управления началось по - настоящему в конце 80-х годов, главным образом в США, для управления движением подвижными роботами по аналитически заданным траекториям. Это направление использования нейросетей в системах управления остается по прежнему актуальным, только теперь решение задачи распространилось и на случай не заданных заранее траекторий движения. В это же время начались исследования по применению многослойных сетей как идентификаторов состояния нелинейных объектов, и это направление также получило впоследствии развитие. Многослойная нейронная сеть может выполнять функцию оптимизатора настроек параметров промышленного ПИД - регулятора.

Но лишь в последние годы появились первые результаты по использованию нейросетей для управления динамическими объектами. Эти проблемы касаются:

-       синтеза структур нейросетевых систем управления;

-       ограничений на скорость настройки параметров сети;

-       модификации алгоритмов настройки, обеспечивающих малые траекторные ошибки при ограничениях на значения весовых коэффициентов синаптических связей нейронов;

-       модификации управления, гарантирующего грубость в условиях неконтролируемых возмущений.

Подходы к решению перечисленных проблем, безусловно, так или иначе, отражены в литературе по применению нейросетей в задачах управления. Еще в 1992 г, была разработана процедура синтеза системы управления нелинейными объектами с применением RBF-сети и достаточно подробно рассмотрены вопросы синтеза ее архитектуры и алгоритма настройки. Проблемы же, связанные с качеством процессов и нечувствительностью системы к неизмеряемым возмущениям, не были решены. В ряде других работ и в более позднее время были предложены методы синтеза нейросетевых систем управления сложными техническими объектами, в частности, для решения задач синтеза нейросетевых автопилотов и систем управления угловым движением ракеты. Необходимо отметить, что методы, описанные в этих работах, были протестированы на действующих моделях в реальных условиях (т.е. при наличии помех в каналах измерения, неточности математических моделей и т.д.).

Примечательно, что большинство работ по искусственным нейронным сетям и их применению опубликовано в зарубежных изданиях научной литературы. российская же библиография в этом направлении довольно скудна, а в приложениях к управлению динамическими объектами практически отсутствует.

Главной проблемой как алгоритмического, так и структурного синтеза нейросетевых систем управления является обоснованный выбор содержательной информации, необходимой для обучения многослойных нейронных сетей для формирования ею оптимального закона управления и установления условий существования решения задачи управления для класса нелинейных объектов и требуемых целей управления. Алгоритмический синтез включает в себя решение задачи выбора алгоритма обучения нейросети в реальном времени и анализа условий достижимости целей управления с их помощью, что существенно с практической точки зрения.

В узком смысле понятие "нелинейный объект со сложной динамикой" можно дать, опираясь на следующие признаки:

-       многомерность и многосвязность объектов и систем;

-       нелинейность, нестационарность и априорная неопределенность динамики объекта управления (существование так называемой "немоделируемой динамики");

-       возмущаемая среда функционирования системы управления.

Даже при этом ограниченном перечне исходных реальных условий работы системы управления очевидны те аналитические проблемы, с которыми приходится иметь дело при проектировании и расчете регулятора такой системы. Применение нейросетевой технологии управления позволяет в значительной мере снять математические проблемы аналитического синтеза и анализа свойств проектируемой системы. Это объясняется тем, что достигаемые свойства и качество процессов управления в нейросетевых системах в большей степени зависят от фундаментальных свойств многослойных нелинейных нейросетей, а не от аналитически рассчитанных оптимальных законов, обычно реализуемых в виде компьютерной программы. Настраиваемые многослойные нейросети обладают рядом достоинств, оправдывающих их применение в задачах управления нелинейными динамическими объектами.

2.2 Теория нейронных сетей

В области теории нейронных сетей российская научная школа, которая развивается уже в течение 30 лет, имеет определенный приоритет по сравнению с зарубежными исследованиями. Теория нейронных сетей - алгоритмический базис нейрокомпьютеров, подобно тому, как булева алгебра служила основой логики однопроцессорных и многопроцессорных компьютеров.

Общая методика синтеза многослойных нейронных сетей была разработана сотрудниками Научного центра нейрокомпьютеров еще в конце 60-х годов и постоянно развивалась в течение 30 лет. В результате в России сформировалось направление в области теории нейронных сетей, которое по ряду параметров превосходит уровень зарубежных работ. Например были разработаны методы адаптивной настройки нейронных сетей с произвольным видом нейрона и произвольным числом слоев; с различными видами связей между слоями; с различными видами критериев оптимизации; с различными ограничениями на весовые коэффициенты нейронных сетей.

Реализованные в известных зарубежных нейропакетах нейросетевые парадигмы имеют по крайней мере два серьезных недостатка:

) они реализуют нейросетевой алгоритм, не адекватный выбранной задаче;

) достигают локального эффекта на первом этапе использования без возможности улучшения для повышения качества решения задачи.

В таблице 1 представлена сравнительная характеристика зарубежных и отечественных методов настройки многослойных нейронных сетей.

Определенная общность отечественных методов развития теории нейронных сетей позволила создать единый подход к разработке нейросетевых алгоритмов решения самых разнообразных задач, сформировав новое направление в вычислительной математике - нейроматематику. Эта область связана с разработкой алгоритмов решения математических задач в нейросетевом логическом базисе. Необходимо отметить, что передовая в этом направлении американская школа разработки нейрокомпьютеров уже трижды в истории развития вычислительной техники совершала принципиальные ошибки.

Таблица 2. Сравнение метода обратного распространения и российских методов адаптации в многослойных нейронных сетях

Первая из них была сделана в 60-е годы, когда создавались нейрокомпьютеры с ориентацией на элементную базу с адаптацией весовых коэффициентов. Российская школа приняла тогда концепцию разработки нейрокомпьютеров, в которых рабочая, распознающая часть, реализовывалась в виде аналогового блока с фиксированными или перестраиваемыми коэффициентами, а блок адаптации реализовывался на универсальных ЭВМ.

Вторая ошибка была связана с публикацией работы Минского и Пейперта "Персептроны", где показывалась, якобы, невозможность решения на двухслойной нейронной сети задачи реализации "исключающего или". Российские специалисты, владея в то время общей методикой настройки многослойных нейронных сетей, продолжая работы в этой области, наблюдали практически полное их отсутствие за рубежом вплоть до середины 80-х годов.

Третья ошибка связана с тем, что в работах американских ученых решение отдельных математических задач в нейросетевом логическом базисе ориентируется на частные нейросетевые парадигмы. В наших работах общий метод синтеза нейронных сетей позволил создать и развивать в дальнейшем единую методику решения любых математических задач, создавая нейроматематику - новый раздел вычислительной математики.

2.3 Нейроматематика

Всегда звучит вопрос: для какого класса задач наиболее эффективно применение того или иного вычислительного устройства, построенного по новым признакам. По отношению к нейрокомпьютерам ответ на него постоянно меняется в течение уже почти 50 лет.

Долгое время считалось, что нейрокомпьютеры эффективны для решения неформализуемых и плохо формализуемых задач, связанных с необходимостью включения в алгоритм решения задач процесса обучения на реальном экспериментальном материале - распознавания образов. Конечно неформализуемые задачи являются важным аргументом использования нейрокомпьютеров. Однако необходимо помнить, что это всего лишь частная постановка аппроксимации функций, заданных некоторым множеством значений. При этом главное, что для аппроксимации используются не прежние статистические, в частности, регрессионные, а гибкие нелинейные нейросетевые модели.

Сегодня к этому классу задач добавляется второй класс задач, иногда не требующих обучения на экспериментальном материале, но хорошо представимых в нейросетевом логическом базисе - это задачи с ярко выраженным естественным параллелизмом: обработка сигналов и обработка изображений. В истории вычислительной техники всегда были задачи, не решаемые компьютерами текущего уровня развития и для них переход к нейросетевому логическому базису характерен в случае резкого увеличения размерности пространства решения или необходимости резкого сокращения времени. Различают три раздела нейроматематики: общая, прикладная и специальная.

Такие казалось бы простые задачи, как сложение чисел, умножение, деление, извлечение корня, обращение чисел и т.п. многие авторы пытаются решить с помощью нейрокомпьютеров. Действительно, при ориентации на нейросетевую физическую реализацию алгоритмов эти операции можно реализовать значительно эффективнее, чем на известных булевских элементах. В нейронных сетях это функции активации, поэтому сегодня много говорят о решении систем линейных уравнений и неравенств, обращении матриц, сортировки с помощью нейрокомпьютерных технологий.

2.4 Прикладная нейроматематика

Как правило множество задач прикладной нейроматематики не решается известными типами вычислительных машин.

Это задачи, достаточно просто сводимые к обработке нейронной сетью многомерных векторов вещественных переменных, например:

контроль кредитных карточек. Сегодня 60% кредитных карточек в США обрабатываются с помощью нейросетевых технологий;

система скрытого обнаружения веществ с помощью системы на базе тепловых нейронов и с помощью нейрокомпьютера на заказных цифровых нейрочипах. Подобная система фирмы SAIC эксплуатируется уже во многих аэропортах США при досмотре багажа для обнаружения наркотиков, взрывчатых веществ, ядерных и других материалов;

система автоматизированного контроля безопасного хранения ядерных изделий.

Наиболее перспективными задачами обработки изображений нейрокомпьютерами являются обработка аэрокосмических изображений (сжатие с восстановлением, сегментация, контрастирование и обработка текстур), выделение на изображении движущихся целей, поиск и распознавание на нем объектов заданной формы, обработка потоков изображений, обработка информации в высокопроизводительных сканерах.

В первую очередь это класс задач, связанных с прогнозированием временных зависимостей:

прогнозирование финансовых показателей;

прогнозирование надежности электродвигателей;

упреждение мощности АЭС и прогнозирование надежности систем электропитания на самолетах;

обработка траекторных измерений.

При решении этих задач сейчас все переходят от простейших регрессионных и других статистических моделей прогноза к существенно нелинейным адаптивным экстраполирующим фильтрам, реализованным в виде сложных нейронных сетей.

При обработке гидролокационных сигналов нейрокомпьютеры применяются при непосредственной обработке сигнала, распознавании типа надводной или подводной цели, определении координат цели. Сейсмические сигналы по структуре весьма близки к гидролокационным. Обработанные нейрокомпьютером позволяют получить с достаточной точностью данные о координатах и мощности землетрясения или ядерного взрыва. Нейрокомпьютеры начали активно использовать при обработке сейсмических сигналов в нефтегазоразведке. В Международном обществе по нейронным сетям для этого создана специальная группа.

Нейрокомпьютеры в системах управления динамическими объектами - это одна из самых перспективных, областей применения нейрокомпьютеров. По крайней мере США и Финляндия ведут работы по использования нейрокомпьютеров для управления химическими реакторами. В нашей стране этим не занимались, в частности, по причине морального устаревания существующих реакторов и нецелесообразности совершенствования их систем управления.

Перспективной считается разработка нейрокомпьютера для управления двигательной установкой гиперзвукового самолета. Фактически единственным вариантом реализации высокопараллельной вычислительной системы управления зеркалами (100-400 зеркал) адаптивного составного телескопа сегодня является нейрокомпьютер. Адаптивные режимы управления этим сложным объектом по критерию обеспечения максимального высокого качества изображения и компенсации атмосферных возмущений может обеспечить мощный нейрокомпьютер, в свою очередь реализующий адаптивный режим собственного функционирования.

Весьма адекватной нейрокомпьютеру является задача обучения нейронной сети выработке точного маневра истребителя. Обучение системы с достаточно слабой нейронной сетью требовало 10 часов на ПК 386. Тоже можно сказать и о задаче управления роботами: прямая, обратная кинематические и динамические задачи, планирование маршрута движения робота. Переход к нейрокомпьютерам здесь связан в первую очередь с ограниченностью объемов размещения вычислительных систем, а также с необходимостью реализации эффективного управления в реальном масштабе времени.

Необходимость реализации экспертных систем в нейросетевом логическом базисе возникает при значительном увеличении числа правил и выводов. Примерами реализации конкретных нейросетевых экспертных систем могут служить система выбора воздушных маневров в ходе воздушного боя и медицинская диагностическая экспертная система для оценки состояния летчика.

2.5 Нейрочипы и нейрокомпьютеры

В 1995 году была завершена разработка первого отечественного нейрокомпьютера на стандартной микропроцессорной элементной базе, а сегодня проводится разработка на базе отечественных нейрочипов, в том числе супернейрокомпьютера для решения задач, связанных с системами уравнений математической физики: аэро-, гидро-, и газодинамики.

Главный результат разработки нейросетевого алгоритма решения задачи - возможность создания архитектуры нейрочипа, адекватного решаемой задаче. Можно с уверенностью сказать что программная эмуляция нейросетевых алгоритмов на вычислительных средствах, реализованных на элементной базе, не имеющей отношения к нейросетевому логическому базису, либо неэффективна, либо представляет собой временное явление. Для эмуляции нейросетевых алгоритмов с использованием универсальных микропроцессорных средств эффективнее создать архитектуры, ориентированные на выполнение нейросетевых операций, чем использовать стандартные, ориентированные на модификацию однопроцессорных алгоритмов решения задач.

В отличие от других направлений развития сверхвысокопроизводительной вычислительной техники нейрокомпьютеры дают возможность вести отечественные разработки с использованием имеющегося потенциала электронной промышленности. Необходимо отметить ряд важных особенностей данных работ:

-       это направление позволяет создать уникальные суперкомпьютеры на отечественной элементной базе, поскольку для них не так важен уровень развития технологии;

-       разработки нейрочипов и нейрокомпьютеров характеризуются переходом от цифровой обработки к аналого-цифровой и аналоговой с целью резкого увеличения отношения производительность/цена при контролируемой точности вычислений;

-       для разработки нейрочипов больше подходит полузаказная технология, нежели заказная, из-за относительной "сырости" идей архитектуры алгоритмов и нейрочипов, нехватки времени и средств для проведения работ;

-       нейросетевые архитектуры по сравнению с другими приводят к активизации использования новых технологических направлений реализации: нейросистемы на пластине, оптоэлектронные и оптические нейрокомпьютеры, молекулярные нейрокомпьютеры и нанонейроэлементы;

-       возникает потребность в универсализации САПР нейрочипов. Сейчас основное внимание разработчиков нейрочипов сосредоточено на системах Компас и SPICE, которые становятся базовыми для таких предприятий как НИИ "Квант", АО "Ангстрем", "Ангстрем РТМ", НИИМЭ, НИИ "Научный центр", НИИМА "Прогресс";

-       рождение технологии систем на пластине и нанотехнологии приведет к появлению новых сверхпараллельных архитектур. Уже сейчас ясна адекватность нейросетевых архитектур технологии на пластине (американская и японская разработки). Поэтому попытки на уровне наноэлементов делать функциональные блоки со старой архитектурой, соответствующей однопроцессорным машинам, можно считать бесплодными. Начиная с нанонейроэлементов, мы вплотную подходим к другим принципиально новым архитектурным элементам, образующим сверхпараллельные высокопроизводительные вычислительные системы.

Нейрокомпьютеры являются перспективным направлением развития современной высокопроизводительной вычислительной техники, а теория нейронных сетей и нейроматематика представляют собой приоритетные направления российской вычислительной науки, и при соответствующей поддержке, в ближайшее время станут интенсивно развиваться.

Основой активного развития нейрокомпьютеров является принципиальное отличие нейросетевых алгоритмов решения задач от однопроцессорных, малопроцессорных, а также транспьютерных. Для данного направления развития вычислительной техники не так важен уровень развития отечественной микроэлектроники, поэтому оно позволяет создать основу построения российской элементной базы суперкомпьютеров.

Сегодня начинает расширяться сфера коммерческой деятельности в области нейрокомпьютеров или подобных им систем, в частности: нейропакеты; нейроплаты (CNAPS и другие); нейрокомпьютеры (Sinapse и другие); видеокурсы; нейросетевые системы управления электроэррозионными станками; охранные системы с нейросетевыми алгоритмами выделения движущихся объектов; системы "электронного ключа" с распознаванием отпечатков пальцев, рисунка радужной оболочки глаза; экспертная система G2 (1)

2.6 Обзор зарубежных достижений нейрокомпьютерных систем

Анализ зарубежной научно-технической литературы в области перспективных средств обработки информации, использующих элементы искусственного интеллекта (ИИ), свидетельствует о дальнейшем развитии исследований и разработок, направленных на создание и аппаратное внедрение нейроподобных сетей. Данную ситуацию можно объяснить двумя объективными причинами. Во-первых, проведенные по широкому фронту исследования обнаружили ряд практических областей, в которых применение нейроинтеллекта позволяет получить эффективные результаты даже при условии программной реализации НПС на базе традиционной вычислительной техники. Во-вторых, успехи в области цифровой и аналоговой микроэлектроники обеспечили реальность создания нейрочипов, позволяющих в полном объеме реализовать возможности параллельной и распределенной обработки информации, характерных для НПС.

Компания Loral Space Information System развивает нейроэмулятор собственной разработки NET (Neural Emulation Tool), который используется в качестве ускорителя персональной вычислительной техники. Эмулятор выполнен в двух модификациях - сопроцессора и памяти.net - процессор содержит четыре 32-разрядных чипа сигнальных процессоров с плавающей точкой TMS 320C30 компании Texas Instruments. В нем реализованы различные нейросетевые парадигмы.net - память выполнена на одном чипе [15].

Характерный пример реализации НПС на современной мультипроцессорной ЭВМ описан в работе. На транспьютерной ЭВМ Computing Surfase была реализована многослойная НПС, обучающаяся по методу обратного распространения ошибки. ЭВМ содержала 32 транспьютера с 4 Мбайт памяти в каждом узле. При реализации НПС обеспечивалось равномерное распределение нейронов по транспьютерным узлам с обеспечением симметрии связей. В результате удалось получить скорость моделирования трехслойной НПС до 1,8 млн. переключений связей/с при общем числе нейронов до 5040, а связей - до 5 644 800.

В работе [13] описывается реализация трехслойной НПС с 256 нейронами и 131072 связями на специализированном клеточном процессоре ААР-2 фирмы NTT. Процессор ААР-2 содержит 65536 процессорных элементов. Каждый процессорный элемент представляет собой совокупность однобитного АЛУ, 144-битного регистрового файла и 8 Кбит локальной памяти. При обучении НПС была показана скорость 18 млн. переключений связей/с, что в 45 раз быстрее, чем на высокопроизводительной универсальной ЭВМ IBM-3090. Следует отметить, что размер моделируемой сети был ограничен объемом локальной памяти.

Фирмой Intel совместно с фирмой Nestor разработана СБИС NI1000 [14], которая ориентирована на решение задач распознавания на основе вероятностных НПС и НПС, реализующих алгоритмы окон Парзена. СБИС позволяет проводить распознавание со скоростью 40 тыс. образов/с при тактовой частоте 40 МГц или 20 млрд. коротких операций с 5 битными данными в секунду и 160 млн. операций с запятой/с. Образ представляется вектором с размерностью до 256 и разрядностью элемента вектора 5 бит. Характеристики этого нейрочипа в настоящее время являются рекордными в данном классе реализаций НПС.

Американской фирмой Intel разработан и серийно выпускается специализированный аналоговый нейрочип ETANN (80170NX). Он представляет собой электрически перепрограммируемую аналоговую НПС, со средствами для программирования весовых коэффициентов и других параметров. Микросхема смонтирована на 208-выводном корпусе типа PGA.

Основной прирост производительности обеспечивается за счет применения параллельного аналогового перемножения входных сигналов на весовые коэффициенты НПС. Максимальная производительность достигается при реализации НПС с прямым распространением сигналов - 2 млн. связей/с.

От аналогичных разработок ETANN отличается законченностью архитектуры НПС достаточно большого размера, реализуемой одной микросхемой, и частичной реализацией алгоритма ее обучения. Все эти три основных составляющих обеспечивают нейрочипу широкий спектр применения в различных областях. Применение ЭППЗУ (CHMOS) технологии в НЧ обеспечивает высокую его производительность, малое энергопотребление, длительное хранение весовых коэффициентов без существенного изменения параметров НПС и широкий диапазон применения.

Рассмотрим архитектуру нейрочипа. Внутри аналогового НЧ 80170NХ размещены 64 аналоговых нейрона-сумматора. На входе и выходе НЧ расположены матрицы синаптических элементов размерностью 80 х 60. Они обеспечивают умножение входных сигналов НПС на хранящиеся весовые коэффициенты. Максимальная размерность НПС, реализуемая отдельным кристаллом равна 64. Максимально возможное число входных сигналов в этой сети - 128 на один нейрон. Матрицы 14 х 64 используются для задания начальных смещений нейронов. Нейрочип имеет встроенные средства для реализации некоторых алгоритмов обучения. Возможно использование НЧ для обработки цифровых сигналов в смешанной среде.

Корпорация Formulab Neoronetics (Уэст-Перт, Австралия) разработала нейрокомпьютер, быстродействие которого значительно выше, чем у существующих персональных компьютеров (ПК) [3]. Благодаря интуитивному визуальному интерфейсу, программирование для новой машины (Richter Paradigm Computer), моделирующей деятельность мозга и обучаемой пользователем, осуществляется просто и быстро.

Компьютер, содержащий 896 RISC-процессоров, выполняет приложения, основанные на технологии нейронной сети, в 180 раз быстрее, чем машина на базе процессора Pentium/166. В компьютере применены новые объектно-специфические архитектура и система адресации, обеспечивающие повышение скорости, гибкости и отказоустойчивости системы.

Вместе с компьютером разработано программное обеспечение (ПО) Richter Paradigm View, позволяющее создавать программы, просто соединяя ячейки на экране дисплея. Действия по написанию программы моделируют процесс принятия решения, происходящий в биологическом мозге. При этом может быть учтена вся необходимая информация, даже если некоторые данные неполны или отсутствуют, а также противоречивы и неясны.

Поскольку Richter Paradigm Computer может быть адаптирован к решению в реальном времени множества разнообразных задач, он представляет собой нечто большее, чем экспертная система или нейросеть. Систему можно расширять, наращивая число процессоров.

Важным компонентом новой технологии является плата Richter Paradigm Neurocard.

Если ее установить в ПК или подсоединить его к внешнему порту, ПК превратится в настоящую “думающую" машину.

Руководство корпорации уверено, что благодаря невысокой стартовой цене:

Richter Paradigm Computer - 3 тыс. долларов;

платы Richter Paradigm View - 300 долларов;

ПО Richter Paradigm Neurocard - 90 долларов;

новая, способная “мыслить” машина (на разработку которой ушло более 14 лет) будет пользоваться значительным спросом.

Одна из разработок фирмы Siemens Nixdorf - специализированный компьютер Synaps1, который разработчики слишком смело назвали НК [4]. За счет масштабируемой мультипроцессорной архитектуры, архитектуры памяти, использования сигнальных процессоров, выполняющих наиболее интенсивные вычислительные операции, разработчикам удалось добиться производительности компьютера, равной нескольким миллиардам соединений (умножений и сложений) в секунду. Благодаря этим аспектам, становится возможной реализация большого спектра приложений, выходящих за рамки классических информационных технологий, включая моделирование деятельности мозга и органов чувств человека, решение комплексных вопросов оптимизации и управления, разработку самообучаемых и экспертных систем, то есть тех задач, которые составляют проблематику современной теории НПС.

Ориентация аппаратных и инструментальных программных средств Synaps1 на решение задач в нейросетевом исполнении, а так же архитектурная способность к наращиванию мощности и подключению внешних устройств “очувствления”, позволяют выделить эту вычислительную систему в отдельный класс специализированных вычислительных систем, подготовленных к быстрому прототипированию любых, даже самых сложных НПС, тестированию концепций и созданию нейроимитаций, доведению разработок до готового коммерческого продукта.

Приведенные сведения подтверждают реальность создания нейрокомпьютерных средств уже сегодня на базе интегральной цифровой микроэлектроники, что дает дополнительный стимул развития теоретических исследований, направленных на поиск решений широкого круга практических задач на основе нейросетевых парадигм вычислений.

Заключение

Искусственные нейронные сети служат универсальным и эффективным средством моделирования и идентификации нелинейных объектов. С их помощью в настоящее время успешно решаются сложные задачи распознавания, классификации и оптимизации. Не менее перспективным является использование искусственных нейросетей, и прежде всего класса многослойных, для синтеза оптимальных (точнее, субоптимальных) алгоритмов управления многосвязными нелинейными объектами со сложной и немоделируемой динамикой. Сочетание концепций, методов и математического аппарата современной нелинейной теории управления с теорией обучаемых искусственных нейронных сетей открывает широкие перспективы для структурного синтеза сложных динамических систем, в том числе того класса, который сейчас относят к системам с элементами искусственного интеллекта.

С позиций современной теории автоматического управления применение МНС как регуляторов объектов адекватно задачам, возникающим в тех нередких случаях, когда аналитический синтез системы управления становится весьма трудоемкой задачей из-за сложности или недостоверности используемой математической модели объекта. Такая ситуация неизбежна, если объект - многосвязный и содержит нелинейности, а его функционирование сопровождается неконтролируемыми изменениями во времени его динамических свойств.

Состояние теории искусственных нейронных сетей и их применение отражено в огромном числе работ и реализовано главным образом за рубежом: в коммерческих программных средствах научного и прикладного характера. Немалое их число составляют работы по применению сетей для автоматического управления. Наибольшая часть из них посвящена применению МНС для управления движением роботов и манипуляторов. В этих случаях объект описывается статическими уравнениями, а обучение сети осуществляется для заданных, как правило, классов траекторий движения.

Проблемам управления динамическими объектами с помощью искусственных нейросетей уделяется меньшее внимание, как это следует из обзоров отечественных и зарубежных публикаций. В определенной степени это объяснимо теми проблемами, с которыми приходится сталкиваться специалистам при использовании стандартных алгоритмов обучения нейросетей в реальном масштабе времени, т.е. в темпе протекания процессов в динамических объектах управления. С другой стороны существующее состояние структурного синтеза нейросетевых систем управления является следствием того, что специалисты по управлению пока еще недостаточно осведомлены о тех возможностях, которые открываются с использованием МНС для решения задач управления. В то же время сами приложения в области управления динамическими объектами занимают незначительное место в исследованиях специалистов по искусственным нейронным сетям. В последние годы положение дел в этой области начинает изменяться к лучшему: число публикуемых работ и докладов на конференциях разного уровня, посвященных применению нейросетей для управления динамическими системами, заметно выросло.

Искусственные нейронные сети и, в частности, многослойные сети прямого распространения служат мощным средством формирования управляющих воздействий на нелинейные объекты в условиях неполноты информации. В этом смысле применение нейросетей для управления в линейных динамических системах хотя и возможно, но действительно эффективное применение нейронных средств (нейроконтроллеров и нейрокомпьютеров) просматривается прежде всего для управления нелинейными объектами. Однако управление нелинейным объектом с помощью нелинейного нейросетевого контроллера порождает весьма сложную динамическую систему, синтез и анализ которой при выбранных целевых условиях требует нетрадиционных подходов и методов.

Глоссарий