Нейроинформатика и нейросистемы

Нейроинформатика и нейросистемы

ОГЛАВЛЕНИЕ

Введение

Глава 1 Нейрокомпьютеры

.1 Нейрокомпьютеры, и их применение в современном обществе

.2 Некоторые характеризующие нейрокомпьютеры свойства. Задачи, решаемые с помощью нейрокомпьютеров

Глава 2. Искусственные нейронные сети

.1 Математическая модель нейрона

.2      Типы искусственных нейронов

.2.1   Персептрон

.2.2   Сигмоидальный нейрон

.2.3   Инстар Гроссберга

.2.4   Нейроны типа WTA

.2.5   Нейрон Хебба

.2.6   Радиальный нейрон

.3 Классификация искусственных нейронных сетей

.4 Достоинства и недостатки искусственных нейронных сетей

Заключение

Список используемой литературы

Введение

Актуальность исследования: Нейроиформатика - область научных исследований, лежащая на пересечении нейронаук <#"785937.files/image001.jpg">

Рис. 1 Биологический нейрон

Абстрагируя принцип работы биологического нейрона, математики построили математическую модель, отражающую основные принципы работы этой клетки (рис 2)

В этой модели сигналы, поступающие на входы , умножаются на весовые коэффициенты , и на основе функции обработкивырабатывается выходной сигналXj. В простейшем случае входные сигналы, помноженные на весовые коэффициенты, суммируются, и, когда значение суммы становится больше определенного порога, генерируется выходной сигнал.

Рис. 2 Классическая модель искусственного нейрона

В других случаях зависимость выходного сигнала от суммы входных может иметь более сложный характер, описываемый заданной математической функцией.

Физически один искусственный нейрон представляет собой простой микропроцессор с возможность программирования функции  установки весовых коэффициентов и с небольшим объемом встроенной памяти. Для обработки знаний отдельный искусственный нейрон применен быть не может. Но когда множество искусственных нейронов соединяются между собой в искусственную нейронную сеть (подобно тому, как биологические нейроны соединены в мозгу человека), у них появляется возможность обрабатывать и накапливать знания. Знания в искусственной нейронной сети накапливаются в виде значений весовых коэффициентов.

Таким образом, можно сформулировать определение.

Искусственная нейронная сеть - это математическая модель вместе с ее аппаратной и программной реализацией, построенная по принципу действия биологической нейронной сети и предназначенная для установления взаимосвязанности данных[1].

Исходя из этого определения, необходимыми элементами искусственной нейронной сети являются:

§  Математическая модель;

§  Искусственные нейроны (реализованные аппаратно или программно);

§  Программно-топологическая реализация математической модели за счет задания соединений между нейронами и обрабатывающей (активационной ) функции.

2.2 Типы искусственных нейронов

Ниже приведены типы искусственных нейронов,приведенныев учебном курсе «Искусственные нейронные сети»[7].

·        Персептрон

·        Сигмоидальный нейрон

·        Инстар Гроссберга

·        Нейроны типа WTA

·        Нейрон Хебба

·        Радиальный нейрон

2.2.1 Персептрон <#"785937.files/image008.jpg">

Рис. 3. Структурная схема персептрона

Выходной сигнал

(Величина, характеризующая реакцию искусственного нейрона на вектор его входных сигналов) нейрона может принимать только два значения {0,1} по следующему правилу:

Обучение персептрона требует учителя, т.е. множества пар векторов входных сигналов  (Вектор величин, подаваемых одновременно на входы искусственного нейрона), и соответствующих им ожидаемым значениям выходного сигнала . Обучение (отыскание весовых коэффициентов ) сводится к задаче минимизации целевой функции

 (1)

К сожалению, для персептрона в силу разрывности функции при отыскании минимума применимы методы оптимизации только нулевого порядка.

На практике для обучения персептрона чаще всего используется правило персептрона (Процедура обучения искусственной нейронной сети, построенной на базе персептронов), представляющее собой следующий простой алгоритм.

1.       Выбираются (как правило, случайно) начальные значения весов  ( = 0, 1, 2, ..., N) нейрона.

2.      Для каждой обучающей пары выполняется ряд циклов (их номера обозначим через t) уточнения значений входных весов (синаптический вес: Величина, характеризующая степень влияния входного сигнала искусственного нейрона на его поведение (на величину его выходного сигнала)) по формуле:

 (2)

Где

Процесс обработки текущей обучающей пары завершается

·              либо на цикле, в котором все ,

·              либо после достижения предельного количества циклов.

Следует отметить, что правило персептрона представляет собой частный случай предложенного много позже универсального правила обучения Видроу-Хоффа(Универсальное правило корректировки входных весов искусственной нейронной сети в режиме обучения "онлайн")

 (3)

Функционирование обученного персептрона в режиме классификации легко проиллюстрировать графически на примере двухвходового нейрона с поляризацией, структурная схема которого дана на рис. 4.

Для такого нейрона Это выражение определяет плоскость в трехмерном пространстве , эта плоскость пересекается с плоскостью по линии, определяемой уравнением как это показано на рис. 5.

Рис. 4 Структурная схема двухвходового персептрона

Эта линия разбивает пространство входных сигналов  на две области: в одной из них (заштрихованной) значения , и, следовательно, функция активации (Функция, вычисляющая значение выходного сигнала искусственного нейрона, используя в качестве аргумента взвешенную сумму входных сигналов искусственного нейрона) принимает значение 1; в другой - , и .

Рис. 5 Разделение пространства входных данных двухвходовым персептроном

Таким образом, наглядно видно, что персептрон является простейшим линейным классификатором. С его помощью можно обеспечить, например, классификацию, реализующую логические функции "И" и "ИЛИ" над входами  и , как это показано на рис. 6.

Рис. 6 Реализация логических функций Ии ИЛИ двухвходовым персептроном

нейрокомпьютер сеть искусственный

Однако реализовать логическую функцию "исключающее ИЛИ" двухвходовым персептроном уже невозможно (см. рис. 7).

Рис. 7 Разделение пространства входных данных для реализации функции "исключающее ИЛИ"

2.2.2 Сигмоидальный нейрон <#"785937.files/image016.gif">. Структурная схема нейрона данного типа представлена на рис. 8.

Рис. 8 Структурная схема сигмоидального нейрона

В качестве функции активации  выступает сигмоидальная функция (т.е. функция, график которой похож на букву "S"). На практике используются как униполярные, так и биполярные функции активации.

Униполярная функция, как правило, представляется формулой

, (4)

тогда как биполярная функция задается в виде

Графики униполярных и биполярных сигмоидальных функций представлены на рис. 9 и рис. 10 соответственно.

Рис. 9 График униполярной сигмоидальной функции

Рис. 10 График биполярной сигмоидальной функции

Коэффициент b определяет "крутизну" функций и выбирается разработчиком сети (на практике b для упрощения назначают обычно равным 1).

Производная униполярной функции активации имеет вид

а производная биполярной функции -

Графики производных имеют колоколобразный вид и представлены на рис. 11 и рис. 12.

Рис. 11 График производной униполярной сигмоидальной функции

Рис. 12 График производной биполярной сигмоидальной функции

Для обучения сигмоидального нейрона используется стратегия "с учителем" (Способ обучения искусственной нейронной сети путем предъявления ей серии эталонных обучающих выборок и векторов ожидаемых значений выходных сигналов), однако, в отличие от персептрона, для поиска минимума целевойфункции (1),здесь используются методы поисковой оптимизации первого порядка, в которых целенаправленное изменение весовых коэффициентов осуществляется в направлении отрицательного градиента .

j-ая компонента вектора градиента имеет вид

 (5)

Обозначив, имеем

Также возможно обучение сигмоидального нейрона и дискретным способом - сериями циклов уточнения входных весов (синаптический вес) для каждой эталонной пары (см. правило персептрона). При этом коррекция весов после каждого цикла выполняется по следующей формуле:

,

где 𝝶- коэффициент обучения, значение которого выбирается из диапазона (0, 1).

Необходимо напомнить, что все методы поисковой оптимизации первого порядка - это методы локального поиска, не гарантирующие достижения глобального экстремума. В качестве попытки преодолеть этот недостаток было предложено обучение с моментом, в котором коррекция весов выполняется следующим образом:

 (6)

Последнее слагаемое в формуле называется моментом и характеризует фактическое изменение веса в предыдущем цикле ( выбирается в диапазоне (0, 1)). Существует надежда, что при приближении к точке локального минимума (где градиентная составляющая стремится к нулю) составляющая момента выведет поиск из области локального минимума в более перспективную область.

2.2.3 Инстар Гроссберга <#"785937.files/image059.jpg">

Рис. 13 Структурная схема инстара Гроссберга

Особенностями инстара, отличающими его от нейронов других типов, являются следующие:

1.      функция активации  часто линейна, т.е.

2.      входной вектор X нормализован так, что его эвклидова норма равна 1;

.        обучение инстара возможно как с учителем, так и без него.

Нормализация элементов вектора X производится по следующей формуле:

 (7)

Обучение инстара с учителем производится дискретно по правилу Гроссберга

 (8)

где 𝝶- коэффициент обучения, значение которого выбирается в диапазоне (0, 1). В качестве начальных обычно выбираются нулевые значения весовых коэффициентов. Необходимо обратить внимание, что на изменение значений весовых коэффициентов оказывают влияние только положительные примеры эталонных пар, для которых

На процесс обучения инстара решающее влияние оказывает величина коэффициента обучения 𝝶. При 𝝶=1 веса принимают значения соответствующих входов текущей эталонной пары за один цикл обучения (при этом происходит абсолютное "забывание" предыдущих значений .При  в результате обучения коэффициенты принимают некоторые "усредненные" значения обучающих векторов , k = 1, 2, ..., p.

Обучающий вектор, обучающая выборка: Вектор входных сигналов искусственного нейрона и, возможно, ожидаемое значение выходного сигнала искусственного нейрона, используемый в процессе обучения искусственного нейрона.

Предположим, что i-ыйинстар был обучен на единственной положительной эталонной паре . При этом вектор входных весов инстара . В режиме классификации на вход инстара подается вектор , тогда на выходе вырабатывается сигнал

.

Поскольку входные векторы  и  нормализованы (т.е. ), то выходной сигнал инстара равен просто косинусу угла между векторами  и .

Функционирование инстара наглядно иллюстрируется графически. В режиме обучения при предъявлении, например, трех положительных примеров, содержащих двухкомпонентные векторы,  и , подбирается вектор входных весов W, представляющий собой "усреднение" этих входных векторов, как это показано на рис. 14.

В режиме классификации при подаче на вход инстара очередного вектора  определяется степень его близости к "типичному" вектору W в виде косинуса угла между этими векторами, как это показано на рис. 15.

Рис. 14 Результат обучения инстара Гроссберга

Рис. 15 Классификация входного вектора обученным инстаром Гроссберга

Обучение инстара Гроссберга без учителя предполагает случайный выбор начальных значений входных весов и их нормализацию, подобную нормализации вектора входных сигналов X. Дальнейшее уточнение весов реализуется следующей формулой:

 (9)

2.2.4 Нейроны типа WTA <#"785937.files/image077.jpg">

Рис. 16. Структурная схема слоя нейронов типа WTA

Каждый конкурирующий нейрон в группе получает одни и те же входныесигналы. Каждый нейрон рассчитывает выходной сигнал своего сумматора обычным образом . По результатам сравнения всех ,  выбирается нейрон-победитель, обладающий наибольшим значением . Выходной сигнал  нейрона-победителя получает значение 1, выходные сигналы всех остальных нейронов - 0.

Для обучения нейронов типа WTA не требуется учитель, оно практически полностью аналогично обучению инстара Гроссберга. Начальные значения весовых коэффициентов всех нейронов выбираются случайным образом с последующей нормализацией относительно 1.

При предъявлении каждого обучающего вектора определяется нейрон-победитель, что дает ему право уточнить свои весовые коэффициенты по упрощенному (в силу бинарности ) правилу Гроссберга

 (10)

Все проигравшие нейроны оставляют свои весовые коэффициенты неизменными.

Понятно (см. инстар Гроссберга), что в каждом цикле обучения побеждает тот нейрон, чей текущий вектор входных весов наиболее близок входному вектору . При этом вектор корректируется в сторону вектора . Поэтому в ходе обучения каждая группа близких друг другу входных векторов (кластер) обслуживается отдельным нейроном.

Рис. 17. Результат обучения слоя нейронов типа WTA

Серьезная проблема в использовании нейронов типа WTA - возможность возникновения "мертвых" нейронов, т.е. нейронов, ни разу не победивших в конкурентной борьбе в ходе обучения и поэтому оставшихся в начальном состоянии. Для исключения "ложных" срабатываний в режиме классификации мертвые нейроны после окончания обучения должны быть удалены.

Для уменьшения количества мертвых нейронов (и, следовательно, повышения точности распознавания) используется модифицированное обучение, основанное на учете числа побед нейронов и шрафовании наиболее "зарвавшихся" среди них. Дисквалификация может быть реализована либо назначением порога числа побед, после которого слишком активный нейрон "засыпает" на заданное число циклов обучения, либо искусственным уменьшением величины  пропорционально числу побед.

2.2.5 Нейрон Хебба <#"785937.files/image091.gif"> (11)

где  - коэффициент обучения, значение которого выбирается из интервала (0, 1). Правило Хебба <javascript:termInfo(%22%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%20%D0%A5%D0%B5%D0%B1%D0%B1%D0%B0%22)> (Искусственный нейрон, использующий для своего обучения непосредственную корреляцию входных и выходного сигналов) применимо для нейронов с различными функциями активации <javascript:termInfo(%22%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F%D0%BC%D0%B8%20%D0%B0%D0%BA%D1%82%D0%B8%D0%B2%D0%B0%D1%86%D0%B8%D0%B8%22)>. Обучение нейрона может производиться как с учителем, так и без него. В первом случае в правиле Хебба вместо фактического значения выходного сигнала используется ожидаемая реакция.

Особенностью правила Хебба является возможность достижения весом произвольно большого значения за счет многократного суммирования приращения в циклах обучения. Одним из способов стабилизации процесса обучения по Хеббу служит уменьшение уточняемого веса на величину, пропорциональную коэффициенту забывания . При этом правило Хебба принимает вид

 (12)

Значение коэффициента забывания выбирается из интервала (0,1), рекомендуется соблюдать условие .

К сожалению, при обучении по правилу Хебба нейрона с линейной функцией активации стабилизация не достигается даже при использовании забывания. В 1991 г. Е. Ойя предложил модификацию правила Хебба, имеющую следующий вид:

 (13)

2.2.6 Радиальный нейрон <#"785937.files/image100.jpg">

Рис. 18. Структурная схема радиального нейрона

(Радиальный нейрон: Искусственный нейрон, в качестве функции, активации которого выступает радиальная функция (обычно, функция Гаусса))(Радиальная искусственная нейронная сеть: Двухслойная искусственная нейронная сеть, первый слой которой составляют радиальные нейроны, а второй - линейные).

Здесь - радиальная функция с центром в точке с координатами . Такие функции разнообразны, но на практике чаще всего используется функция Гаусса, имеющая следующий вид:

, (14)

где - эвклидова норма расстояния между входным вектором X и центром нейрона,  - параметр, определяющий "ширину" функции. На рис. 19 даны графики этой функции в скалярном варианте для различных значений .

Рис. 19. График одномерной радиальной функции

На рис. 20 дан график для двух входных сигналов.

Рис. 20. График двумерной радиальной функции

Принципиальное отличие радиального нейрона от сигмоидального нейрона и персептрона в том, что они разбивают многомерное пространство входных сигналов гиперплоскостью, а радиальный - гиперсферой.

Обучение радиального нейрона заключается в подборе параметров радиальной функции и . Подробно алгоритм обучения сетей на основе радиальных нейронов приведен в модуле Радиальныенейронныесети. В качестве примера приведем выражение, часто используемое для корректировки положения центра нейрона после предъявления k-ого обучающего вектора

 (15)

где - коэффициент обучения . Причем такому уточнению подвергается только центр, ближайший к входному вектору (подобный подход используется и при обучении нейронов типа WTA <javascript:termInfo(%22%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BE%D0%B2%20%D1%82%D0%B8%D0%BF%D0%B0%20WTA%22)>).

.3 Классификация искусственных нейронных сетей

Искусственная нейронная сеть в общем случае характеризуется следующими параметрами:

o   Адаптивная обучаемость. В контексте искусственной нейронной сети обучаемость означает, что сеть может усваивать различные варианты поведения в зависимости от того. Какие данные поступают на ее вход. Вместо того чтобы диктовать сети, как она должна реагировать на каждую порцию данных (как это было бы в случае обычного программирования), сеть сама находит сходства и различия в поступающих данных. По мере поступления новых данных обучение продолжается, и поведение сети изменяется.

o   Самоорганизация. По мере того как данные поступают на вход сети, сеть имеет возможность изменять весовые коэффициенты тех или иных соединений. Тем самым, по мере поступления новых данных, практически изменяется структура сети. Эффективность самоорганизации сети зависит от начальной структуры соединений и выбранного в качестве математической модели алгоритма обучения (тренинга)

o   Устойчивость к ошибкам. Искусственная нейронная сеть умеет выделять из потока данных важные свойства и усиливать их, при этом слабо реагируя на случайные, искаженные или совершенно новые данные (свойства). Таким образом, данные, не несущие в себе повторяющихся закономерностей (другими словами, помехи), просто отбрасываются нейронной сетью. Обеспечивая тем самым устойчивость к ошибкам.

o   Работа в режиме реального времени и параллельная обработка информации. Эти преимущества нейронных сетей проявляются только в промышленном исполнении (когда каждый нейрон действительно представляет собой отдельный процессор) и не могут быть получены при программной эмуляции нейронов.

Объединенные (путем передачи сигналов с выходов одних искусственных нейронов на входы других) между собой нейроны образуют искусственную нейронную сеть (ИНС).

Существует много вариантов построения ИНС. Для их классификации используются следующие основные критерии:

1.      тип нейронов, составляющих сеть;

2.      количество слоев нейронов в сети;

.        направление передачи сигналов в сети;

.        вид обучающих выборок ;

.        назначение сети.

Сеть, состоящая целиком из нейронов одного типа, называется однородной, если же в ней комбинируются слои нейронов разного типа, то она - гибридная.

Сеть, все нейроны которой расположены в одной "плоскости" (т.е. отсутствует хотя бы одна непосредственная связь выхода одного нейрона со входом другого), называется однослойной, иначе она - многослойная.

Сеть называется однонаправленной, если в ней отсутствуют обратные связи (т.е. нет передачи сигнала с последующих слоев на предыдущие). Сеть с обратными связями называется рекуррентной.

Если для обучения сети используется стратегия с учителем и , то сеть называется гетероассоциативной. Если же , то сеть - автоассоциативна.[3]

Основными признаками для классификации искусственных нейронных сетей являются архитектура и связанный с ней алгоритм обучения. По этим признакам искусственные нейронные сети можно классифицировать так, как это показано на рис 21.

Рис. 21. Классификация нейронных сетей[1]

В этой классификации можно отметить несколько моментов.

o   Обучение с учителем - класс искусственных нейронных сетей, для которого заранее известен диапазон выходных данных. В случае, когда после преобразования входных данных и получения выходных данных последние не укладываются в заранее заданные диапазон значений, нейронная сеть получает сигналы обратной связи и корректирует свою структуру с целью уменьшения ошибки.

Пример. При распознавании изображений оператор (человек или электронное устройство) сообщает нейронной сети, правильно или нет, она распознала изображение.

o   Обучение без учителя - класс искусственных нейронных сетей, для которого диапазон выходных значений не задан и обучение сети проводится только на основании закономерностей, обнаруженных во входных сигналах.

o   Многослойный перцептрон - искусственная нейронная сеть, состоящая из

·        входного слоя нейронов, на которые поступают входные сигналы;

·        выходного слоя нейронов, передающего выходные сигналы на интерфейс пользователя;

·        скрытых слоев нейронов, расположенных между входным и выходным слоями;

·        механизма (или алгоритма ) обратного распространения, обеспечивающего при наступлении ошибки ( несовпадении выходного сигнала с шаблоном) последовательную корректировку всех весовых коэффициентов связей, начиная с ближнего к выходному скрытого слоя и заканчивая входным слоем, с целью устранения этой ошибки.

o   Сеть с радиально-базисной функцией - искусственная нейронная сеть, имеющая, кроме входного и выходного, один скрытый слой и использующая в качестве активационной функции нейронов скрытого слоя радиально-базисную функцию(РБФ), которая в общем виде выглядит так:

 (16)

o   Байесовская сеть - искусственная нейронная сеть, использующая в качестве математической модели сеть Байеса, связывающую между собой множество переменных (весовых коэффициентов) и их вероятностных зависимостей (активационных функций).

o   Самоорганизующиеся карты Кохонена - искусственные нейронные сети, осуществляющие последовательное (по мере обучения) группирование сходных данных в плоской системе координат таким образом, что к завершению обучения узлы, содержащие сходные данные, располагаются геометрически в непосредственной близости друг от друга. Данный подход позволяет эффективно выделить главные данные. подавив случайные шумы и ошибки.

o   Сети на основе адаптивной теории резонанса (ART-сети) были созданы специально для решения задач классификации. В них заложено сразу два дихотомически противоположных принципа: во-первых, сеть должна самомодифицироваться в ответ на каждый входной сигнал; во-вторых сеть должна сохранять знания, а значит, быть стабильной. Решение заключается в нахождении точки равновесия между требованиями пластичности и стабильности сети.

2.4 Достоинства и недостатки нейронных сетей

К достоинствам искусственных нейронных сетей можно отнести:

§  Возможность решения задач, которые не решаются никакими другими методами;

§  Самообучение;

§  Получение результатов в режиме реального времени;

§  «креативность»;

§  Создание новых знаний внутри сети в процессе переработки входных данных.

Недостатки искусственных нейронных сетей:

§  Сравнительная дороговизна аппаратной реализации;

§  Трудность тиражирования накопленных знаний;

Искусственные нейронные сети хорошо подходят для решения задач:

§  С большими массивами входных данных;

§  С неизвестным алгоритмом. Но большим количеством конкретных примеров решения;

§  С большим количеством шумов;

§  С недостаточностью или, Наоборот, избыточностью данных.

Искусственные нейронные сети могут эффективно решать задачи распознавания изображений, классификации, оптимизации или прогнозирования. Более конкретно такими задачами являются:

§  Распознавание лиц, голосов, отпечатков пальцев;

§  Обнаружение отклонений в ЭКГ;

§  Обработка звуковых сигналов (разделение, идентификация, локализация, устранение шума, интерпретация);

§  Обработка радарных сигналов (распознавание целей, идентификация и локализация источников);

§  Проверка достоверности подписей;

§  Прогнозирование изменений экономических показателей и т. п.

§  Построение функции по конечному набору значений;

§  Построение отношений на множестве объектов;

§  Распределенный поиск информации и ассоциативная память;

§  Сжатие информации,фильтрация, оптимизация;

§  Идентификация динамических систем и управление ими;

§  Нейросетевая реализация классических задач и алгоритмов вычислительной математики: решение систем линейных уравнений, решение задач математической физики сеточными методами и др.

Заключение

В данной работе были рассмотрены основные положения и вопросы современного состояния и перспектив развития нейроинформатики как науки.       В связи с тем, что по сей день не установлено конкретное определение нейроинформатики, назначение данной науки можно выявить:

А) выделив объект и предмет её изучения;

Б) определив круг специфических задач, непосредственно разрешением которых занимается данная научная область;

В) установив основные способы и методы, которые применимы вк решению этих задач.

Предметом изучения нейроинформатики являются нейронные сети - это сети, состоящие из связанных между собой простых элементов - формальных нейронов. Значительное большинство работ по нейроинформатике посвящено переносу различных алгоритмов решения задач на такие сети.

Ядром используемых представлений является идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами.

В работе рассмотрена модель нейрона и основные типы искусственных нейронов.

Таким образом, поставленные задачи решены в ходе работы и цель достигнута.

Список используемой литературы

1.      Макарова, Н.В., Волков, В.Б. Информатика: Учебник для вузов. - СПб.: Питер, 2011. - 576c.

2.      Кирсанов, Э. Ю: Нейрокомпьютеры и их применение <http://www.radiotec.ru/catalog.php?cat=bo10>. Издательство «Радиотехника», 2004 г. - 224 с.

3.      Бобков, С.П. Моделирование систем: учеб. пособие / С.П. Бобков, Д.О. Бытев; Иван. гос. хим.-технол. ун-т. - Иваново, 2008. - 156 с.

4.      Осовский, С. Нейронные сети для обработки информации / пер. с польскогоИ.Д.Рудинского. - М.: Финансы и статистика, 2002. - 344 с.

.        Горбань, А.Н. Возможности нейронных сетей / Нейроинформатика Новосибирск: Наука, Сибирская издательская фирма РАН, 1998. - 74 с.

.        Миркес, Е.М. Учебное пособие по курсу Нейроинформатика.Красноярск - 2002. - 347 с.

7.      Учебный курс [Электронный ресурс]:«Искусственные нейронные сети» / Разработчик курса: к.т.н. доц. В.Г. Федорук; МГТУ им. Н.Э. Баумана, каф. САПР. - 2012.- Режим доступа: <http://bigor.bmstu.ru/?cnt/?doc=NN/base.cou>

8.      Горбань А.Н., Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей // Сибирский журнал вычислительной математики / РАН. Сиб. Отд. - Новосибирск, 1998. - т. 1, № 1, - с. 11-24.