Задача отслеживания нестационарного гармонического сигнала на основе нейронной сети

Задача отслеживания нестационарного гармонического сигнала на основе нейронной сети

"Задача отслеживания нестационарного гармонического сигнала на основе нейронной сети"

отслеживание нестационарный гармонический сигнал

В современной теории и практике нейронных сетей существует множество алгоритмов для решения широкого круга научно-технических задач. Спектр приложений стремительно расширяется и активно вторгается в медицину, экологию, биологию и даже в искусство. Вместе с тем имеются определенные трудности преодоление которых требует больших усилий и не всегда дает ожидаемые результаты. В частности, с рядом проблем сопряжено в нейро-информатике решение задач, связанных с обработкой нестационарных сигналов

Биологическая нейронная сеть состоит из группы или групп химически или функционально связанных нейронов. Один нейрон может быть связан со многими другими нейронами, а общее количество нейронов и связей в сети может быть достаточно большим. Место контакта нейронов называется синапсом, типичный синапс - аксодендритический химический. Передача импульсов осуществляется химическим путём с помощью медиаторов или электрическим путём посредством прохождения ионов из одной клетки в другую.

Исследования в сфере искусственного интеллекта и когнитивного моделирования пытаются имитировать некоторые свойства биологических нейронных сетей. В сфере искусственного интеллекта искусственные нейронные сети были успешно применены для распознавания речи, анализа изображений и адаптивного управления в целях разработки программных агентов (например, в компьютерных и видеоиграх) или автономных роботов. Большинство искусственных нейронных сетей, используемых в настоящее время в сфере искусственного интеллекта, разработаны на основе статистических методов, теории оптимизации и теории управления.

В сфере когнитивного моделирования ведётся физическое или математическое моделирование поведения нейронных систем, начиная с уровня отдельных нейронов (например, моделирование реакции нейрона на стимул), с выходом на уровень нейронных кластеров (например, моделирование выхода дофамина в базальных ганглиях) и организма в целом (например, моделирование ответа организма на раздражители).

Основы теории нейронных сетей были независимо разработаны А.Бэйном (1873) и У.Джеймсом (1890). В своих работах они рассматривают мыслительную деятельность как результат взаимодействия между нейронами в головном мозге.

Согласно Бэйну, любая деятельность ведёт к активизации определенного набора нейронов. При повторении той же деятельности связи между этими нейронами укрепляются. Согласно его теории, эти повторения ведут к формированию памяти. Научное сообщество того времени восприняло теорию Бэйна скептически, поскольку следствием её являлось возникновение чрезмерного количества нейронных связей в мозге. Теперь очевидно, что мозг является чрезвычайно сложной конструкцией и способен работать с несколькими задачами одновременно.

Теория Джеймса была схожа с теорией Бэйна, но в то же время Джеймс предположил, что формирование памяти происходит в результате прохождения электрических токов между нейронами в головном мозге, не требуя соединений нейронов для каждого акта запоминания или действия.

Британский физиолог Ч.Шеррингтон в 1898 провел эксперименты для проверки теории Джеймса. Он пропускал электрический ток вдоль спинного мозга крыс. При этом вместо ожидаемого усиления тока, согласно теории Джеймса, Шеррингтон обнаружил, что электрический ток ослабевает с течением времени. Результаты экспериментов Шеррингтона сыграли важную роль в разработке теории привыкания.

В 1943 Мак-Каллок и Питтс разработали компьютерную модель нейронной сети на основе математических алгоритмов. Они назвали эту модель «пороговой логикой». Модель Мак-Каллока - Питтса заложила основы двух различных подходов исследований нейронных сетей. Один подход был ориентирован на изучение биологических процессов в головном мозге, другой - на применение нейронных сетей для искусственного интеллекта.

В конце 1940-х канадский физиолог и психолог Дональд Хебб выдвинул гипотезу интерпретации обучения на основе механизма нейронной пластичности, известную как теория Хебба. Теория Хебба считается типичным случаем самообучения, при котором испытуемая система спонтанно обучается выполнять поставленную задачу, без вмешательства со стороны экспериментатора. В более поздних вариантах теория Хебба легла в основу описания явления долговременной потенциации. Эти идеи с 1948 начали применяться для вычислительных моделей в B-машинах А.Тьюринга.

Фарли и Кларк в 1954 с использованием компьютеров разработали имитацию сети Хебба в Массачусетском технологическом институте. Другие исследования нейронных сетей с помощью компьютерного моделирования были проведены в 1956 Рочестером, Холландом, Хебитом и Дуда.

В 1957 Ф.Розенблатт разработал перцептрон - математическую и компьютерную модель восприятия информации мозгом, на основе двухслойной обучающей компьютерной сети, использующей действия сложения и вычитания. В математической нотации Розенблатт описал также схему не только основного перцептрона, но и схему логического сложения, которая не могла быть реализована до разработки в 1975 Вербосом метода обратного распространения ошибки.

Исследования нейронных сетей застопорились после публикации работы по машинному обучению Минского и Пейперта в 1969. Они обнаружили две основные проблемы, связанные с вычислительными машинами, которые обрабатывают нейронные сети. Первая проблема состояла в том, что однослойные нейронные сети не могли совершать логическое сложение. Второй важной проблемой было то, что компьютеры не обладали достаточной вычислительной мощностью, чтобы эффективно обрабатывать огромный объём вычислений, необходимых для больших нейронных сетей. Исследования нейронных сетей замедлились до того времени, когда компьютеры достигли больших вычислительных мощностей. Одним из важных более поздних достижений было открытие метода обратного распространения ошибки, который позволил решить проблему с логическим сложением.

Когнитрон, разработанный К.Фукусимой в 1975, был одной из первых многослойных нейронных сетей с алгоритмом обучения. Фактическая структура сети и методы, используемые в когнитроне для задания относительных весов связей, варьировались от одной стратегии к другой, каждая из стратегий имела свои преимущества и недостатки. Сети могли распространять информацию только в одном направлении, или перебрасывать информацию из одного конца в другой, пока не активировались все узлы и сеть не приходила в конечное состояние. Достичь двусторонней передачи информации между нейронами/узлами удалось лишь в сети Хопфилда (1982), и специализация этих узлов для конкретных целей была введена в первых гибридных сетях. Алгоритм параллельной распределенной обработки данных в середине 1980-х стал популярен под названием коннективизма. Работа Руммельхарта и Мак-Клелланда (1986) полностью использует коннективизм для компьютерного моделирования нейронных процессов. Распространение сетей, основанных на методе обратного распространения ошибки, вызвало большой энтузиазм в научном сообществе и породило многочисленные споры о том, может ли такое обучение быть реализовано в головном мозге, отчасти потому, что механизм обратного прохождения сигнала не был очевидным в то время, но главным образом потому, что не было явного источника «обучающего» или «целевого» сигнала. Тем не менее с 2006 было предложено несколько неконтролируемых процедур обучения нейронных сетей с одним или несколькими слоями с использованием так называемых алгоритмов глубокого обучения. Эти алгоритмы могут быть использованы для изучения промежуточных представлений, как с выходным сигналом, так и без него, чтобы понять основные особенности распределения сенсорных сигналов, поступающих на каждый слой нейронной сети.

Слежение за нестационарным сигналом

Рассмотрим задачу отслеживания нестационарного гармонического сигнала, что может представлять реальный интерес на практике.

Задана дискретная выборка T из гармонического сигнала длительностью 6 с, частота которого удваивается по истечении 4 с. Частота квантования для интервала времени от 0 до 4 с составляет 20 Гц, а для интервала от 4.05 до 6 с - 40 Гц.

time1 = 0:0.05:4;= 4.05:0.025:6;= [time1 time2];= [sin(time1*4*pi) sin(time2*8*pi)];

T = con2seq(T);= T;

plot(time, cat(2,T))

График гармонического сигнала показан на рис. 1.

Рис. 1

Для решения поставленной задачи используется однослойная линейная сеть, которая предсказывает текущее значение сигнала по пяти предшествующим значениям.

Инициализация сети

Сеть состоит только из одного нейрона, так как требуется только одно значение выходного сигнала T, которое генерируется на каждом шаге (рис. 2).

Рис. 2

Для создания такой сети предназначена М-функция newlin; параметр скорости настройки выберем равным 0.1:

lr = 0.1;= [1 2 3 4 5];= newlin(minmax(cat(2,P)),1,delays,lr);

[net,a,e] = adapt(net,P,T);

Сформированная нейронная сеть имеет следующие весовые коэффициенты и смещение:

net.IW.b= 0.39421 0.10682 -0.15592 -0.31476 -0.34523

ans = -4.5457e-006

Проверка сети

Построим график выходного сигнала и сравним его с целевым сигналом (рис. 10):

y = sim(net,P);(time,cat(2,y), time,cat(2,T),'.')

axis([0 6 -1.5 1.5])

Рис. 3

Построим также график сигнала ошибки (рис. 4):

plot(time,cat(2,e))

Рис. 4

Как следует из этого графика, для настройки на слежение нейронной сети требуется около 30 тактов (1.5 с) и далее до 4-й секунды сигнал отслеживается с высокой точностью. Затем целевой сигнал мгновенно изменяет частоту и нейронная сеть настраивается на новый сигнал за те же 30 тактов, но теперь это составляет 0.75 с. Это обусловлено тем, что частота съема увеличилась вдвое. Таким образом, линейная нейронная сеть успешно справляется с задачей слежения за гармоническим сигналом, если частота квантования синхронизирована с частотой наблюдаемых сигналов. Для настройки на новую частоту требуется всего 30 измерений; для типичных сигналов, возникающих в приложениях, обработка сообщений может производиться с частотой 20 кГц, при такой частоте 30 тактов настройки занимают 1.5 мс.

Моделирование нестационарного фильтра

Постановка задачи

Допустим, что на вход фильтра подается входной сигнал вида r(t) = sin(8sin(4t)*t), заданный массивом значений R с тактом квантования 0.005 с на интервале 6 с:

time1 = 0:0.005:4;= 4.005:0.005:6;= [time1 time2];= sin(sin(time*4).*time*8);

plot(time,R)([0 6 -1.1 1.1]);

График этого сигнала показан на рис. 5.

Рис. 5

Нестационарный линейный фильтр описывается следующими рекуррентными соотношениями:

Этот фильтр может быть представлен в системе MATLAB следующим образом:

steps1 = length(time1);

[Y1,state] = filter([1 -0.5],1,R(1:steps1));= length(time2);= filter([0.9 -0.6],1,R((1:steps2) + steps1),state);= [Y1 Y2];(time,Y)

График сигнала на выходе этого фильтра показан на рис. 6.

Рис. 6

T = con2seq(Y);= con2seq(R);

Инициализация сети

Сеть создается с помощью функции newlin, которая генерирует веса и смещение для линейного нейрона с двумя входами. На входе сети используется линия задержки на 1 такт; параметр скорости настройки принят равным 0.5.

lr = 0.5;= [0 1];= newlin(minmax(cat(2,P)),1,delays,lr);

[net,a,e] = adapt(net,P,T);

Сформированная нейронная сеть имеет следующие весовые коэффициенты и смещение:

net.IW, net.b= 0.9 -0.6

ans = -3.14e-013

Нетрудно убедиться, что они соответствуют коэффициентам второго фильтра.

Проверка сети

Построим график погрешности сети (рис. 7):

plot(time, cat(2,e))

Рис. 7

Из анализа этого графика следует, что сети требуется 2.5 с для настройки на реакцию первого фильтра и немногим более 0.2 с для настройки на реакцию второго фильтра. Это объясняется тем, что фактические настройки параметров сети стационарны и соответствуют значениям параметров второго фильтра.

Заключение

Нейронные сети, построенные на предложенных типах нейронов, позволяют решать задачи повышенной сложности в сложных виртуальных и интеллектуальных системах, не прибегая к громоздким комбинациям разнородных методов, усложняющих и удорожающих систему, увеличивающих время разработки, а также сказывающихся на ее надежности.

Список использованной литературы

. Дорогов А.Ю. Структурные и топологические инварианты быстрых перестраиваемых преобразований / А.Ю Дорогов // VIII Всероссийская научно-техническая конференция "Нейроин форматика-2006". Научная сессия МИФИ-2006. В 3-х частях. Ч.1. − М.: МИФИ, 2006. − С. 39 − 50.

2. Kohonen T. The "Neural" Phonetic Typewriter // IEEE Computer, March 1988. − P.11 − 22.

. Дьяконов В. MATLAB. Обработка сигналов и изображений. Специальный справочник / В Дьяконов., И. Абраменкова − СПб.: Питер, 2002. −608 с.

. Дьяконов В. Вейвлеты. От теории к практике. / В Дьяконов. − М.: САЛОН-Пресс, 2004. − 400 с.

. Смоленцев Н.К. Основы теории вейвлетов. // Н.К Смоленцев / Вейвлеты в MATLAB. − М.: ДМК Пресс, 2005. − 304 с.

. Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей / А.Н. Горбань // Сибирский журнал вычислительной математики. − Новосибирск: РАН. Сиб. отделение, 1998. − 1, № 1. −С. 11-24.

. Ланкин Ю.П. Обучение без учителя на основе нейронных сетей с самостоятельной адаптацией / Ю.П. Ланкин, Т.Ф. Басканова // Реляторные, непрерывно-логические нейронные сети и модели. Труды международной конференции

."Континуальные алгебраические логики, исчисления и нейроматематика в науке, технике и экономике - КЛИН − 2002". Том 3. − Ульяновск: УлГТУ, 2002. − С. 39- 41.