Разработка и исследование системы распознавания мультимедийных приложений на базе нейронных сетей

Министерство по развитию информационных технологий и коммуникаций Республики Узбекистан

Ташкентский университет информационных технологий

Выпускная квалификационная работа

Разработка и исследование системы распознавания мультимедийных приложений на базе нейронных сетей

Выпускник Русин П.А.

Руководитель Абдурахманов Р.П.

Руководитель по БЖД и экологии

Борисова Е.А.

Ташкент - 2015 г.

Задание

На выпускную квалификационную работу Русина Павла Александровича на тему: Разработка и исследование системы распознавания мультимедийных приложений на базе нейронных сетей.

. Тема утверждена приказом по университету от "25" 12.2014 г. №14 69

. Срок сдачи законченной работы 26.05.2015 г.

. Исходные данные к работе: 1. Характеристики стандарта DPI. 2. Характеристики нейронных сетей.

. Содержание расчетно-пояснительной записки (перечень подлежащих разработке вопросов:

Введение

. Deep Packet Inspection в телекоммуникации и реализация на базе нейронных сетей.

. Исследование моделей нейронных сетей.

. Процесс обучения моделей систем управлений реализованных на нейронных сетях и их оптимизация для решения задач классификации.

. Безопасность жизнедеятельности и экология. Заключение

. Перечень графического материала демострационные слайды

. Дата выдачи задания _________.2015 г.

Руководитель ___________________

Задание принял __________________

. Консультанты по отдельным разделам выпускной работы:

Наименование раздела

Консультант

Задание выдал

Задание получил

Основная часть

Абдурахманов Р.П.

Безопасность жизнедеятельности

Борисова Е.А.

Аннотация

В данной выпускной квалификационной работе рассмотрены принципы организации Deep Packet Inspection в телекоммуникации и их реализация на базе нейронных сетей. Проведены исследования нейронных сетей. Был проведен процесс обучения моделей систем управления реализованных на базе нейронных сетях и выбор оптимальной модели для решения задач классификации мультимедийного трафика.

Также рассмотрены вопросы безопасности жизнедеятельности.

Annotation

this final qualifying work I examined deep packet inspection fundamentals in telecommunication and its implementation based on neural networks. Neural networks was investigated. It was carried out the learning process of management system models based on neural networks and the optimal model selection to solve classification of multimedia traffic problemssafety issues are also considered.

Оглавление

Введение

. Deep Packet Inspection в телекоммуникации и реализация на базе нейронных сетей

.1 DPI в телекоммуникации

.1.1 Основные положения Deep Packet Inspection

1.1.2 Реализация Deep Packet Inspection в Quality of Service

1.1.3 Управление абонентами через Deep Packet Inspection

.2 Применение нейронных сетей в задачах телекоммуникационных сетей

.2.1 Инструменты анализа сетевого трафика

.2.2 Предсказание пика трафика

.2.3 Применение нейронных сетей в задачах несанкционированного доступа

Выводы

. Исследование моделей нейронных сетей

.1 Исследование характеристик нейронных сетей

.2 Исследование вида передаточной функции

.3 Исследование моделей реализации нейронных сетей

.3.2 Реализация схемы сети на основе модели Хэмминга

Выводы

. Процесс обучения моделей систем управления, реализованных на нейронных сетях, и их оптимизация для решения задач классификации

.1 Краткая характеристика исследуемых алгоритмов

.2 Исследование поведения алгоритмов в процессе обучения

.3 Оптимизация нейронной сети под задачи распознавания

Выводы

. Безопасность жизнедеятельности и экология

.1 Почва, ее загрязнение и последствия. Методы защиты

.1.1 Эрозия почв

.1.2 Загрязнение почв

.1.3 Способы защиты почв от загрязнения

.2 Освещение производственных помещений. Пути повышения эффективности труда

.2.1 Общие сведения об освещении и его характеристики

.2.2 Характеристики освещения

.2.3 Основные требования к освещению

.3 Эффективность трудовой деятельности человека

Выводы

Заключение

Список литературы

Введение

На заседании Кабинета Министров, посвященном итогам социально-экономического развития страны в 2014 году и важнейшим приоритетным направлениям экономической программы на 2015 год, президент в своем докладе, помимо экономики, подвел итоги и по развитию ИКТ в стране [1], [3].

Все большую популярность среди населения получают современные высокотехнологичные виды услуг, такие, как услуги мобильной связи, высокоскоростного интернета, телевизионной кабельной связи, дистанционные банковские услуги, услуги по обслуживанию и ремонту сельскохозяйственной и автомобильной техники, технологического оборудования [2].

За последние пять лет доля традиционных видов бытовых и коммунальных услуг снизилась с 16 до 9,5 процента, а доля высокотехнологичных услуг возросла до 21,2 процента.

В числе высокотехнологичных услуг наиболее интенсивно в последние годы развиваются услуги связи и информатизации, которые за последние пять лет возросли в 3,3 раза, а за отчетный год - на 24,5 процента.

Особое внимание уделяется вопросу повышения доступности услуг ИКТ для населения, в том числе проживающего в отдаленных регионах страны. Так, в 2014 году в республике проложено более 2 тысяч километров оптоволоконных линий связи, включая такие отдаленные районы, как Кунградский, Байсунский, Узунский, Муйнакский.

С каждым годом в стране растет число пользователей интернетом, которое сегодня составляет более 10,2 миллиона человек, или треть всего населения. При этом пропускная способность интернета в республике увеличена в 4 раза, а скорость доступа - в 1,5 раза. Наряду с этим стоимость интернета по сравнению с прошлым годом снижена на 11,6 процента.

Осознавая особую важность качественного использования услуг интернета в современной жизни и малое преимущество пропускной способности к количеству пользователей сети, вынуждает решать вопросы по грамотному использованию пропускной способности сети. С ростом размерности сети происходит радикальное перераспределение важности решения различных классов задач разработки и эксплуатации подобных объектов.

Технология DPI позволяет решать такие важные задачи как управление, классификация и прогнозирование трафика в сети. Стоит также подвергнуть исследованием задачи применения DPI для анализа сетевого трафика и предсказания временных пиков использования сети. Применение DPI, на основе нейронных сетей, в качестве аппарата классификации мультимедийного трафика может решить задачи скорости доступа в мировую глобальную сеть во время пиков использования сети.

Поэтому интеграции технологи DPI на основе оптимизированной модели нейронной сети сможет решить вопросы классификации мультимедийного трафика в сети, что благоприятно скажется на пропускную способность сети.

1. Deep Packet Inspection в телекоммуникации и реализация на базе нейронных сетей

.1 DPI в телекоммуникации

.1.1 Основные положения Deep Packet Inspection

Современная тенденция анализа состояний состоит в добавлении возможностей анализа состояний протокола, который некоторыми производителя называется глубоким анализом пакета (deep packet inspection). Анализ состояния протокола добавляет в стандартный анализ состояния базовую технологию обнаружения вторжения, которая анализирует протокол на прикладном уровне, сравнивая поведение протокола с определенными производителем профилями и определяя отклонения в поведении. Это позволяет межсетевому экрану разрешать или запрещать доступ, основываясь на том, как выполняется приложение. Например, межсетевой экран прикладного уровня может определить, что почтовое сообщение содержит неразрешенный тип присоединенного файла. Другая возможность состоит в том, что он может блокировать соединения, в которых выполняются определенные. Данная возможность также позволяет разрешать или запрещать передавать веб-страницы в зависимости от конкретных типов содержимого [12].Packet Inspection (DPI) - технология накопления статистических данных, проверки и фильтрации сетевых пакетов по их содержимому. В отличие от брандмауэров, Deep Packet Inspection анализирует не только заголовки пакетов, но и полное содержимое трафика на уровнях модели OSI со второго и выше. Deep Packet Inspection способно обнаруживать и блокировать вирусы, фильтровать информацию, не удовлетворяющую заданным критериям.

Эволюция брандмауэров на основе прокси-серверов привела к появлению первых программ Deep Packet Inspection. Они были созданы в целях устранения сетевых проблем и для блокирования вирусов, а также в целях защиты от DoS-атак. Первоначально компьютеры, на которых был установлен Deep Packet Inspection, не были достаточно мощными, чтобы контролировать весь Интернет-трафик пользователей в режиме реального времени.

Через некоторое время, когда появилась возможность работы программ Deep Packet Inspection в режиме реального времени, они использовались Интернет-провайдером в основном для организации целевой рекламы и уменьшения заторов в сети. Сегодня же Deep Packet Inspection способно на много большее, чем просто обеспечивать безопасность. Интернет-провайдеры получили возможность контролировать проходящий трафик любого своего клиента. В настоящий момент в некоторых странах Интернет-провайдеры обязаны выполнять фильтрацию в соответствии с законодательством страны [5].

Система DPI выполняет глубокий анализ всех проходящих через неё пакетов. Термин "глубокий" подразумевает анализ пакета на верхних уровнях модели OSI, а не только по стандартным номерам портов. Помимо изучения пакетов по неким стандартным параметрам передачи в сети, по которым можно однозначно определить принадлежность пакета определённому приложению или протоколу. К примеру, по формату заголовков, номерам портов и длине протокола, система DPI осуществляет и так называемый поведенческий анализ трафика, который позволяет распознать приложения, не использующие для обмена данными заранее известные заголовки и структуры данных. Для идентификации также может осуществляться анализ последовательности пакетов, обладающими одинаковыми признаками, таким как Source_IP:port - Destination_IP:port, размер пакета, частота открытия новых сессий в единицу времени и другие параметры, по поведенческим моделям, соответствующим определенным приложениям. На сегодня реализация DPI имеет широкий спектр, самыми популярными становятся интегрированные в маршрутизаторы решения DPI. Такая реализация с плюсами в виде простой интеграции, имеет и некоторые маленькие недостатка и, такие как, не возможность предоставить весь спектр сервисов, доступных standalone решениям. Однако, для большинства задач этого вполне достаточно. Важной отличительной особенностью настоящего DPI является возможность аналитики трафика за счёт сбора различного рода статистики с разбивкой по приложениям, по портам, по тарифным планам, по регионам, по типам абонентских устройств.Packet Inspection может принимать решение не только по содержимому пакетов, но и по косвенным признакам, присущим каким-то определённым сетевым программам и протоколам. Для этого может использоваться статистический анализ.

Система DPI, как правило, устанавливается на границе сети оператор. Тем самым, весь трафик, который покидает или входит в сеть оператора, проходит через DPI, что даёт возможность его мониторинга и контроля.

Рис. 1.1. Реализация контроля трафика с помощью DPI на границе сети оператора.

Для решения специфических задач можно устанавливать эту систему не на границе сети, а спускать её ниже, ближе к конечным пользователям. Это может быть полезно тем операторам, которые по ряду причин помимо утилизации внешних каналов также хотят решать задачу контроля внутренних. Естественно, такие решения используют достаточно крупных сервис-провайдерах с большой распределённой сетью масштабов страны и с достаточно дорогими канальными ёмкостями.

Рис. 1.2. Реализация контроля трафика с помощью DPI внутри сети оператора.

Производительность DPI на рынке устройств плавает в пределах от сотен Мбит/с до 160 Гбит/с в рамках одного отдельно взятого устройства, которые также можно объединять в кластеры. Если рассматривать устройства для корпоративной отрасли решения предполагают низкоскоростные подключения по медным интерфейсам типов 10/100/1000. Операторские решения рассчитаны на подключение множества линков 1GE и 10GE. Но и это еще не придел рынок DPI устройств пополняется все новыми и новыми устройствами с огромнейшей пропускной способностью.

Все производители адекватно относятся к желаниям заказчиков добавить какой-то новый протокол в список поддерживаемых и всячески помогают в этом. Не секрет, что на каждом локальном рынке существуют специфические приложения, практически отсутствующие в иных странах.

У оператора появляется достаточно мощный инструмент, при умелом использовании которого можно решать различные задачи по эксплуатации сети и её развитию.

1.1.2 Реализация Deep Packet Inspection в Quality of Service

С точки зрения эксплуатации, оператор может контролировать утилизацию подключенных через DPI каналов на уровне приложений. Раньше такие решение таких задач реализовывалось с помощью Quality of Service, исключительно средствами построения очередей на основании маркировки трафика служебными битами в заголовках IP, 802.1q и MPLS, выделяя наиболее приоритетный трафик и гарантируя ему определённую пропускную способность в любой момент времени. Трафик типа Best Effort, к которому относится весь интернет трафик домашних абонентов, оставался фактически без контроля, что давало возможность некоторым отдельным веб-приложениям забирать себе всю свободную полосу, что, в свою очередь, вело к деградации любых других веб-приложений. С использованием DPI у оператора появляется возможность распределить канал между различными приложениями. Deep Packet Inspection часто используется провайдерами, для контроля трафика, а иногда и для блокировки некоторых приложений. С помощью Deep Packet Inspection можно определить, какое приложение сгенерировало или получает данные, и на основании этого предпринять какое-либо действие. Помимо блокирования, Deep Packet Inspection может собирать подробную статистику соединения каждого пользователя по отдельности. Также, при помощи quality of service Deep Packet Inspection может управлять скоростью передачи отдельных пакетов, подняв её или, напротив, уменьшив. По мнению некоторых Интернет-провайдеров, Deep Packet Inspection позволяет сдерживать приложения, забивающие Интернет-канал, изменять приоритеты передачи различных типов данных, например, ускоряя открытие Интернет страниц за счёт уменьшения скорости загрузки больших файлов. К примеру, в ночные часы разрешить трафику определенных приложений забирать себе больше полосы по отношению к другим приложениям, чем днём, во время активного пользованию сетью, когда в сети ходит большое количество другого веб-трафика от других веб-приложений. Также мобильные операторы с помощью DPI могут контролировать полосу определенного входящего трафика, к примеру, SIP-телефония. Вместо полной блокировки оператор может разрешать работу данных протоколов, но на очень низкой скорости с соответствующей деградацией качества предоставления сервиса у конкретного приложения.

Кроме того, Deep Packet Inspection способно обнаруживать среди общего потока трафика кусочки, соответствующие компьютерным вирусам и блокировать их, повышая, таким образом, безопасность сети. Иногда Deep Packet Inspection используется в больших корпорациях для предотвращения случайных утечек данных, а также для защиты от отправки по e-mail внутренних защищённых файлов [7].

.1.3 Управление абонентами через Deep Packet Inspection

Важным моментом является то, что правила, на основании которых выполняется блокировка, могут быть заданы посредством двух основных базисов - per-service или per-subscriber. В первом случае простейшим образом оговаривается, что конкретному приложению позволяется утилизировать определённую полосу. Во втором привязка приложения к полосе осуществляется для каждого подписчика или группы подписчиков независимо от других, что производится через интеграцию DPI с существующими OSS/BSS системами оператора. Иными словами, гибкость тарифных планов и опций, подпадающих под контроль DPI, может изменяться в интересах данной работы. Если же речь идёт о трафике мобильных операторов, то DPI позволяет контролировать загрузку каждой базовой станции в отдельности, справедливо распределяя ресурсы БС таким образом, чтобы все пользователи остались довольны качеством сервиса.отлично умеет работать в связке с различными Value Added Services системами, такими как антиспам, антивирус, видеооптимизаторы и другими услугами на современном рынке. Суть функционала заключается в отводе части трафика по заданным администратором критериям, на сторонние устройства, для осуществления более глубокого анализа и обработки.

Довольно легко можно организовать предоставление пользователям услуг по родительскому контролю, которые становятся всё более и более актуальными.

Оборудование DPI, в связи со своим умением сбора и анализа входящего трафика и того, что происходит на сети, является весьма интересным устройством для некоторых организаций. При помощи DPI можно вести наблюдение за сетевой активностью пользователей. Можно перекрыть VPN, HTTPS, делающие невозможным анализ контента.

Разумеется, данную задачу можно решать силами сетевого ядра, но это не даст достойного результата по сравнению с результатами показанными DPI.

.2 Применение нейронных сетей в задачах телекоммуникационных сетей

.2.1 Инструменты анализа сетевого трафика

Создание нейронных сетей в первую очередь было аргументировано помощью с анализом огромных программных систем, так как сегодня цифровые телефонные станции включают в себя очень масштабные коды. Такие системы для своего успешного развития проходят длинный промежуток времени, с апгрейдом уже созданных старых кодов в текущие ново пишущийся код. Так как, для телекоммуникационной отрасли средне статистический уровень ошибок составляет примерно 20 ошибок на 106 единиц переданной информации. Отсюда следует, что поддержание полного работоспособного механизма нужно приложить немалые усилия, так как такой коэффициент ошибок представляет значительную проблему.

Исследование с помощью нейронных сетей дало возможность представить то, что единицы двоичной системы отсчет можно представить как отдельные естественные кластеры, когда представляют собой набор мер сложности. Для анализа было взято две произвольные последовательности единиц сети телекоммуникации. Первый набор данных это набор из 2235 последовательных процедур. Эти процедуры представлял собой блочно-структурированную последовательность, предназначенные для управления телекоммуникационными системами. Второй набор представляет собой уже из 4456 процедур, который был извлечен из просто рабочей сети. При анализе было использовано двенадцать стандартных мер сложности программного обеспечения, после чего каждая процедура стала представлять собой двенадцати вещественный вектор. Каждый образованный вещественный вектор передается к трем кластерам из нейронных сетей, которые находятся в обычной телекоммуникационной сети, взаимосвязанной с нейронной сетью. Принцип кластеризации определённый заранее для этих сетей подразумевает, что некоторые процедуры могут быть сгруппированы по протокольным характеристикам с идентичными протокольными характеристиками. Еще один частый принцип группировки процедур, представляет собой группировку по размерам процедур [8].

После группировки стоит рассмотреть поведение трафика на конкретной задаче, а именно в реализации системы, которая в дальнейшем будет определять скопированные и модифицированные потока трафика. Так как процесс клонирования трафика на сегодняшний день очень распространённое явление в телекоммуникации, так как новые протоколы могут быть некой копией уже созданных ранее протоколов с малейшими изменениями, что приводит к проблемам в отрасли. Например, если нужно изменить неисправные несколько бит информации, вероятно, важно будет изменить как саму информацию, так и модифицированную копии. Для таких задач были созданы нейронные сети, так как главной задачей нейронной сети является поиск представленных бит информации в виде преобразованного числового вектора фиксированной длины. Такое векторное преобразование представляет главное значение для корректной работы сети, так как идентичные блоки информации представляют так же и идентичные векторную форму представления.

Понятие "Идентичность" для блочной информации и векторной формы это разные понятия. Для блочной информации идентичность это одинаковая вероятность прихода последующих единиц, следовательно, и клонирование кода, для векторов идентичность означает, что они являются похожими в Эвклидовом пространстве. Все это можно представить с тех сторон. Во-первых, накапливается частота ключевых слов в единице программного обеспечения, во-вторых, записывается длина каждой строки и, наконец, представлена структура отступов. Все перечисленные параметры является важными, так как они формируют полную синтаксическую структуру протоколов.

Для демонстрации наглядного отображения отступов и длины блока на векторе фиксированной длины были взяты значения по умолчанию для отступов и далее они представляли собой как координаты на графике, затем отбирается сто точек из этого графика, для удобств отбора лучше использовать линейную экстраполированную. Данный метод кодирования информации является чрезвычайно стабильным против малых изменениях в исходной передаваемой информации. Окончательное векторное представление блока кода состоит из 100 частотных выборок, 100 соответствующих выборок длины линии, и 96 частот использования ключевых слов, чтобы дать вектор из 296 признаков.

Рис. 1.3. Представление блока кода, которое использовалось в детекторе клонирования.

55 на 55 (3025 нейронов) обучалась на 10257 векторных представлениях программного обеспечения, и результирующая карта дала представление данных, отображающих относительное сходство входных векторов. SOM была интегрирована в более крупную систему, которая позволяла определять аналогичность большинства процедур в данном объекте. Это и легло в основу завершенного инструмента обнаружения клонирования, который оказался полезным в определении многих примеров клонированного программного обеспечения.

1.2.2 Предсказание пика трафика

Так как нейронные сети являются моделью, управляемой данными, одним из ключевых требований для их использования является необходимость реальных данных в начале проекта. Трудности могут возникнуть по ряду причин, таких как конфиденциальность данных и их чувствительность, нежелание клиентов публиковать данные и размеры наборов данных. Также стало очевидно, что задача перехода от успешного нейронной сети на основе прототипа к полной системе не должна быть недооценена. Все нейронных сетей во многом зависит от соответствующей предварительной обработки входных данных и пост‐обработки выходных данных.

Рис. 1.4. Конфигурация нейронной сети со скользящим окном, использованной для предсказания трафика в сети.

Для того чтобы максимально использовать пропускную способность сети, полезно быть в состоянии предсказать спрос на пропускную способность. Также мы исследовали, как предсказатель на основе нейронной сети может быть использован для прогнозирования спроса голосового трафика, передаваемого в сети. Архитектура использованной сети - стандартное скользящее окно, однонаправленная сеть, обучаемая алгоритмом сопряженных градиентов. В дополнение к скользящему окну в явном виде был представлен хронологический контекст. Эта информация была добавлена, так как трафик многих телекоммуникационных сетей является периодичным, с взаимным наложением недельных, дневных и часовых трендов. Критический параметр для модели этого типа - размер скользящего окна. Мы использовали технику из теории динамических систем, эвристику ложных ближайших соседей. Согласно результатам этого метода окно на четыре шага назад даст лучшую производительность. Система показывала хорошую прогнозирующую способность, и может быть успешно реализована в телекоммуникационных сетях.

.2.3 Применение нейронных сетей в задачах несанкционированного доступа

Всякий раз после завершения телефонного звонка производится запись детальной регистрации вызова. В зависимости от операции, исполняемой в настоящее время, структура записи будет меняться. В данном исследовании, для демонстрации более корректного результаты, лучше взять общий вид записи, стоящий из всех основных функций. К этим функциям относятся: номер счета, номер телефона, дата и время звонка, длительность звонка, зона отправителя и зона получателя, и некоторые другие поля. Одна такая запись представляет собой базу данных, которую нужно постоянно контролировать на фактор внешнего мошеннического влияния.

Тип проблемы необычный и трудный, так как он смешивает статическую классификацию и временной прогнозирование. Аномальное использование должно быть классифицировано как таковое, но только в отношении возникающих временных моделей. За период времени отдельный телефон будет генерировать макроскопические модели использования, в которых, например, межконтинентальные звонки могут быть редкими, однако в рамках этой общей модели неизбежно будут иметь место нарушения: в определенный день телефон может быть использован для нескольких межконтинентальных звонков.

На этом фоне аномальное использование может быть идентифицировано, как принадлежащее к одному из двух типов:

·        Модель по своей сути мошенническая - она почти никогда не случается при нормальном пользовании. Этот тип довольно легко обнаружить.

·        Модель является аномальной только по отношению к исторической закономерности, установленной для этого телефона.

В целях выявления мошенничества второго типа для нейронной сети необходимо знать как историческое, макро, поведение телефона, так и недавнее микроповедение. Представляем обе эти части информации в качестве входных векторов сети. Тогда выход состоит из двухбитного представления соответствия этих двух частей, взятых вместе. Следует обратить внимание, что этот метод вполне адекватно справляется с мошенничеством первого типа, так как это должно быть очевидным вне зависимости от исторического поведения.

Для каждого пользователя сети собирающие базы данных клиентов, отражаются как полезные статистические представления, со всей уникальностью каждого профиля пользователя. Это включает в себя: долю местных, национальных и международных звонков, количество использованных устройств, количество звонков и среднюю продолжительность звонка для этого пользователя, а также другие детали. Они обобщены в течение двух периодов времени; исторического и последнего. Исторический профиль должен периодически обновляться с учетом постепенного изменения модели использования устройства. Некоторые из полей подвергаются нормализации, чтобы сохранять отсутствие априорного предпочтение одного поля другим, прежде чем профили предоставляются сети. Многослойный персептрон с 18-ю входами, различной конфигурацией нейронов в скрытых слоях и двумя выходами, один для представления правильного использования и один для представления мошеннического использования, обучался с использованием метода сопряженных градиентов.

График, получаемый при представлении пользователей с нормальным поведением, аналогичен графику уверенности представлений из себя значений выходного узла, соответствующего правильному использованию, которое вычитается из значения узла, соответствующего мошенническому использованию.

Профили с большой вероятностью мошенничества делятся на пограничные и ошибочно классифицированные результаты. Например, ошибочно классифицированными могу быть звонки профилей с низкой активностью, где трудно обнаружить аномалии в связи с нехваткой данных, для более точного определения вероятности мошенничества. Некоторые из ошибочно классифицированных профилей являются те профили которые имеют большое количество межконтинентальных звонков. И нейронным сетям придётся обучаться более длительный промежуток времени для демонстрации более корректного результата. Прототип таких систем в настоящее время успешно включен в полномасштабную систему обнаружения мошенничества.

Выводы

В первой главе рассмотрены основные положения DPI, возможности применения DPI в сетях передачи данных для реализации задач, по оптимизации нагрузки, по управлению абонентами. Применения DPI для анализа сетевого трафика и предсказания временного трафика. И в качестве аппарата классификации мультимедийного трафика использованы аппараты нейронные сети.

2. Исследование моделей нейронных сетей

.1 Исследование характеристик нейронных сетей

В последние десятилетия в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях. Актуальность исследований в этом направлении подтверждается массой различных применений нейронные сети. Это автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов, прогнозирование, создание экспертных систем, организация ассоциативной памяти и многие другие приложения. С помощью нейронных сетей можно, например, предсказывать показатели биржевого рынка, выполнять распознавание оптических или звуковых сигналов, создавать самообучающиеся системы, способные управлять автомашиной при парковке или синтезировать речь по тексту [4]

Широкий круг задач, решаемый нейронными сетями, не позволяет в настоящее время создавать универсальные, мощные сети, вынуждая разрабатывать специализированные нейронные сети, функционирующие по различным алгоритмам.

Несмотря на существенные различия, отдельные типы нейронных сетей обладают несколькими общими чертами.

Рис. 2.1. Искусственный нейрон

Во-первых, основу каждой нейронной сети составляют относительно простые, в большинстве случаев - однотипные, элементы (ячейки), имитирующие работу нейронов мозга. Далее под нейроном будет подразумеваться искусственный нейрон, то есть ячейка нейронной сети. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Он обладает группой синапсов - однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон - выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Каждый синапс характеризуется величиной синаптической связи или ее весом wi, который по физическому смыслу эквивалентен электрической проводимости.

Из всех общих черт, присущим всем нейронным сетям, стоить отметить. Принцип параллельной обработки сигналов, который достигается путем объединения большого числа нейронов в так называемые слои и соединения определенным образом нейронов различных слоев, а также, в некоторых конфигурациях, и нейронов одного слоя между собой, причем обработка взаимодействия всех нейронов ведется послойно.

Рис. 2.2. Трехнейронный однослойный перцептрон

В качестве примера простейшей нейронной сети рассмотрим трехнейронный перцептрон, то есть такую сеть, нейроны которой имеют активационную функцию в виде единичного скачка.

Теоретически число слоев и число нейронов в каждом слое может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется нейронная сеть. Чем сложнее нейронная сеть, тем масштабнее задачи, подвластные ей.

Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день, конфигурации. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом он руководствуется несколькими основополагающими принципами:

·        возможности сети возрастают с увеличением числа ячеек сети, плотности связей между ними и числом выделенных слоев;

·        введение обратных связей наряду с увеличением возможностей сети поднимает вопрос о динамической устойчивости сети;

·        сложность алгоритмов функционирования сети, также способствует усилению мощи НС.

Вопрос о необходимых и достаточных свойствах сети для решения того или иного рода задач представляет собой целое направление нейрокомпьютерной науки. Так как проблема синтеза нейронных сетей сильно зависит от решаемой задачи, дать общие подробные рекомендации затруднительно. В большинстве случаев оптимальный вариант получается на основе интуитивного подбора.

Очевидно, что процесс функционирования нейронной сети, то есть сущность действий, которые она способна выполнять, зависит от величин синаптических связей, поэтому, задавшись определенной структурой нейронной сети, отвечающей какой-либо задаче, разработчик сети должен найти оптимальные значения всех переменных весовых коэффициентов.

Этот этап называется обучением нейронной сети, и от того, насколько качественно он будет выполнен, зависит способность сети решать поставленные перед ней проблемы во время эксплуатации. На этапе обучения кроме параметра качества подбора весов важную роль играет время обучения. Как правило, эти два параметра связаны обратной зависимостью и их приходится выбирать на основе компромисса.

Обучение нейронной сети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы нейронных сетей формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.

Существует великое множество различных алгоритмов обучения, которые однако делятся на два больших класса: детерминистские и стохастические. В первом из них подстройка весов представляет собой жесткую последовательность действий, во втором - она производится на основе действий, подчиняющихся некоторому случайному процессу.

Развивая дальше вопрос о возможной классификации нейронных сетей, важно отметить существование бинарных и аналоговых сетей. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль и логическая единица. К этому классу сетей относится и рассмотренный выше перцептрон, так как выходы его нейронов, формируемые функцией единичного скачка, равны либо 0, либо 1. В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения, что могло бы иметь место после замены активационной функции нейронов перцептрона на сигмоид.

Еще одна классификация делит нейронные сети на синхронные и асинхронные [11]. В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором - состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Алгоритмически ход времени в нейронных сетях задается итерационным выполнением однотипных действий над нейронами.

Рис. 2.3. Пятинейронный двухслойный перцептрон

Сети также можно классифицировать по числу слоев. Который реализован путем прибавления еще одного слоя к однослойному перцептрону [6].

Но данные виды нейронных сетей не смогут функционировать без передаточной функции нейронной сети.

.2 Исследование вида передаточной функции

Для исследования активационной функции, примем допущение того, что модель выбранной нейронной сети имеет данный вид.

Рис. 2.4. Модели нейронной сети в процессе использования активационной функции.

Функция активации - функция, вычисляющая выходной сигнал искусственного нейрона. В качестве аргумента принимает сигнал Y, получаемый на выходе входного сумматора .

Рассмотрим наиболее оптимальные активационные функции [10].

. Единичный скачок или жесткая пороговая функция.

Простая кусочно-линейная функция. Если входное значение меньше порогового, то значение функции активации равно минимальному допустимому, иначе - максимально допустимому.

Рис. 2.5. График поведения жесткой пороговой активационной функции.

. Линейный порог или гистерезис.

Несложная кусочно-линейная функция. Имеет два линейных участка, где функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает.

Рис. 2.6. График поведения линейной пороговой активационной функции.

. Сигмоидальная функция или сигмоид.

Монотонно возрастающая всюду дифференцируемая S-образная нелинейная функция с насыщением. Сигмоид позволяет усиливать слабые сигналы и не насыщаться от сильных сигналов. Гроссберг обнаружил, что подобная нелинейная функция активации решает поставленную им дилемму шумового насыщения.

Слабые сигналы нуждаются в большом сетевом усилении, чтобы дать пригодный к использованию выходной сигнал. Однако усилительные каскады с большими коэффициентами усиления могут привести к насыщению выхода шумами усилителей, которые присутствуют в любой физически реализованной сети. Сильные входные сигналы в свою очередь также будут приводить к насыщению усилительных каскадов, исключая возможность полезного использования выхода. Реализация функции, которая может обрабатывать как слабые, так и сильные сигналы можно представить через другие математические функции.

Примером сигмоидальной функции активации может служить логистическая функция, задаваемая следующим выражением:

 (2.1.)

где  - параметр наклона сигмоидальной функции активации. Изменяя этот параметр, можно построить функции с различной крутизной.

Рис. 2.7. График поведения сигмоидальной активационной функции на основе логистической функции.

Еще одним примером сигмоидальной функции активации является гиперболический тангенс, задаваемая следующим выражением:

 (2.2.)

где  - это также параметр, влияющий на наклон сигмоидальной функции.

Рис. 2.8. График поведения сигмоидальной активационной функции на основе гиперболического тангенса.

После исследования некоторых активационных функция можно заметить, что функции активации типа единичного скачка и линейного порога насыщают входные данные равномерно, что не всегда ведет к положительному результату. И их использование в нейронных сетях встречается редко и, как правило, используются только на учебных примерах, из-за своей элементарности реализации.

В практическом применении на сетях передач данных, в комплекции с использованием данной функции в составе нейронной сети нам подойдет сигмоидальная функция активации.

2.3 Исследование моделей реализации нейронных сетей

Среди различных конфигураций искусственных нейронных сетей встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят ни обучение с учителем [9], ни обучение без учителя. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету. С одной стороны, предъявление априорной информации можно расценивать, как помощь учителя, но с другой - сеть фактически просто запоминает образцы до того, как на ее вход поступают реальные данные, и не может изменять свое поведение, поэтому говорить о звене обратной связи с "миром" не приходится. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга, которые обычно используются для организации ассоциативной памяти. Далее речь пойдет именно о них.

Структурная схема сети Хопфилда приведена на (рис.2.9.). Она состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один входной синапс, через который осуществляется ввод сигнала. Выходные сигналы, как обычно, образуются на аксонах [13].

Рис. 2.9. Структурная схема модели Хопфилда

Задача, решаемая данной сетью в качестве ассоциативной памяти, как правило, формулируется следующим образом. Известен некоторый набор двоичных сигнало, которые считаются образцовыми. Сеть должна уметь из произвольного неидеального сигнала, поданного на ее вход, выделить соответствующий образец или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов. В общем случае, любой сигнал может быть описан вектором

= { xi: i=0...n-1},

- число нейронов в сети и размерность входных и выходных векторов. Каждый элемент xi равен либо +1, либо -1. Обозначим вектор, описывающий k-ый образец, через Xk, а его компоненты, соответственно, - xik, k=0...m-1, m - число образцов. Когда сеть распознает какой-либо образец на основе предъявленных ей данных, ее выходы будут содержать именно его, то есть

= Xk,

где Y - вектор выходных значений сети:

= { yi: i=0,...n-1}.

В противном случае, выходной вектор не совпадет ни с одним образцовым.

Если, например, сигналы представляют собой некие изображения, то, отобразив в графическом виде данные с выхода сети, можно будет увидеть картинку, полностью совпадающую с одной из образцовых или же "вольную импровизацию" сети.

На стадии инициализации сети весовые коэффициенты синапсов устанавливаются следующим образом [14], [15].

Алгоритм функционирования сети следующий:

. На входы сети подается неизвестный сигнал. Фактически его ввод осуществляется непосредственной установкой значений аксонов, поэтому обозначение на схеме сети входных синапсов в явном виде носит чисто условный характер. Ноль в скобке справа от yi означает нулевую итерацию в цикле работы сети.

. Рассчитывается новое состояние нейронов и новые значения аксонов.

. Проверка, изменились ли выходные значения аксонов за последнюю итерацию. Если да - переход к пункту 2. При этом выходной вектор представляет собой образец, наилучшим образом сочетающийся с входными данными.

Как говорилось выше, иногда сеть не может провести распознавание и выдает на выходе несуществующий образ. Это связано с проблемой ограниченности возможностей сети. Для сети Хопфилда число запоминаемых образов m не должно превышать величины, примерно равной 0.15•n. Кроме того, если два образа А и Б сильно похожи, они, возможно, будут вызывать у сети перекрестные ассоциации, то есть предъявление на входы сети вектора А приведет к появлению на ее выходах вектора Б и наоборот.

.3.2 Реализация схемы сети на основе модели Хэмминга

Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то есть достаточно, скажем, получать номер образца, ассоциативную память успешно реализует сеть Хэмминга. Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объемом вычислений, что становится очевидным из ее структуры (рис.2.10.).

Сеть состоит из двух слоев. Первый и второй слои имеют по m нейронов, где m - число образцов. Нейроны первого слоя имеют по n синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

Рис. 2.10. Структурная схема модели Хэмминга

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.

На стадии инициализации весовым коэффициентам первого слоя и порогу активационной функции присваиваются следующие значения.

Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине 0 < e < 1/m. Синапс нейрона, связанный с его же аксоном имеет вес +1.

Алгоритм функционирования сети Хэмминга следующий:

. На входы сети подается неизвестный вектор

= {xi:i=0...n-1},

исходя из которого рассчитываются состояния нейронов первого слоя.

После этого полученными значениями инициализируются значения аксонов второго слоя.

. Вычислить новые состояния нейронов второго слоя и значения их аксонов.

Активационная функция f имеет вид порога, причем величина F должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению.

. Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да - перейди к шагу 2. Иначе - конец.

Из оценки алгоритма видно, что роль первого слоя весьма условна: воспользовавшись один раз на шаге 1 значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому первый слой может быть вообще исключен из сети (заменен на матрицу весовых коэффициентов), что и было сделано в ее конкретной реализации, описанной ниже.

Выводы

В данной главе были исследованы механизмы создания, обучения и реализации моделей нейронных сетей, для их последующий интеграции в сети передачи данных. Подверглась рассмотреню детальная реализация нейронной сети. Изучены виды передаточных функций, для дальнейшей активации нейронной сети. Проанализированы самые эффективные модели нейронных сетей, такие как модель Хопфилда модель Хэмминга.

3. Процесс обучения моделей систем управления, реализованных на нейронных сетях, и их оптимизация для решения задач классификации

.1 Краткая характеристика исследуемых алгоритмов

Обобщенный градиентный алгоритм обучения.

В этом алгоритме на каждой итерации выполняется вычисление градиента функции ошибки (определяются значения частных производных по синаптическим весам и смещениям) и делается шаг в направлении антиградиента. Величина шага задается пользователем [18].

Обобщенный градиентный алгоритм обучения в отличие от традиционного метода обратного распространения ошибки дает возможность обучать многослойные сети с произвольным числом слоев. Использование двойственных переменных ускоряет процесс обучения.

Градиентный алгоритм обучения с автоматическим определением длины шага.

Другое название - автономный градиентный алгоритм обучения. Определяется следующим набором параметров:

·                    Начальное значение шага,

·              Количество итераций, через которое происходит запоминание данных сети (синаптических весов и смещений),

·              Величина (в процентах) увеличения шага после запоминания данных сети, и величина уменьшения шага в случае увеличения функции ошибки.

В начале обучения с помощью автономного градиентного алгоритма записываются на диск значения весов и смещений сети. Затем происходит заданное число итераций обучения с заданным шагом. Если после завершения этих итераций значение функции ошибки не возросло, то шаг обучения увеличивается на заданную величину, а текущие значения весов и смещений записываются на диск. Если на некоторой итерации произошло увеличение функции ошибки, то с диска считываются последние запомненные значения весов и смещений, а шаг обучения уменьшается на заданную величину.

При использовании автономного градиентного алгоритма происходит автоматический подбор длины шага обучения в соответствии с характеристиками адаптивного рельефа.

Замечено, что в начале обучения шаг должен быть порядка 0.1, а в конце обучения - от 105 до 106. Автономный алгоритм по сравнению с обобщенным градиентным алгоритмом имеет преимущество в том, что шаг обучения автоматически увеличивается, подстраиваясь под адаптивный рельеф. Тем самым существенно сокращается количество шагов, которое требуется для обучения сети.

Алгоритм поиска в случайном направлении.

В алгоритме поиска в случайном направлении на каждой итерации делается шаг, направление которого задается случайным образом. Если данный шаг приводит к увеличению функции ошибки, то происходит возврат к исходным значениям синоптических весов и смещений и выполняется шаг в другом случайном направлении.

Градиентный алгоритм обучения с одномерной оптимизацией.

В этом алгоритме на каждом шаге обучения выполняется два пробных шага: один в направлении антиградиента, другой - в противоположном направлении. По трем точкам (включая исходную точку итерации) строится парабола.

Для параболы с лучами, направленными вверх, шаг делается в вершину параболы. Если лучи параболы направлены вниз, то выполняется шаг в сторону антиградиента на заданную величину. Таким образом, а этих алгоритмах адаптивный рельеф вдоль антиградиента функции ошибки аппроксимируется параболой.

В программной реализации алгоритма исключено увеличение значения функции ошибки.

Значения этой функции запоминаются для четырех точек (исходная точка, два пробных шага и минимум параболы). Шаг делается в точку с минимальным значением функции ошибки.

Градиентный алгоритм обучения с одномерной оптимизацией и с автоматическим определением длины шага.

В этом алгоритме выполняются действия, аналогичные автономному градиентному алгоритму.

Величина пробных шагов подбирается под адаптивный рельеф.

Данный способ исключения шагов с увеличением функции ошибки позволяет уменьшить количество вычислений на каждом шаге алгоритма.

Алгоритм имитации отжига.

Является в настоящее время одним из самых популярных алгоритмов для решения задач оптимизации.

Прежде всего, он используется для размещения микросхем на печатных платах. В литературе отмечается успешное использование алгоритма для обучения нейронных сетей малой размерности - с числом синаптических весов и смещений порядка нескольких сотен.

В алгоритме итерации выполняются случайным образом с учетом ограничений на значения настраиваемых параметров.

Причем допускаются шаги, приводящие к увеличению функции ошибки. Пусть на итерации  нейронная сеть находится в точке адаптивного рельефа, характеризующейся значением функции ошибки .

Шаг из точки  в точку  со значением функции ошибки  приводящий к увеличению значения функции ошибки на величину , допускается с вероятностью:

 (3.1)

где  - значение температуры на шаге . Значение температуры убывает с течением времени:

 (3.2)

3.2 Исследование поведения алгоритмов в процессе обучения

Графики 3.1 и 3.2 показывают, что обобщенный градиентный алгоритм очень чувствителен к значению шага. Так при величине шага 0.2 алгоритм не сходится. После первых семидесяти шагов обучения, функция ошибки перестает уменьшаться, хотя сеть еще не приобрела способность правильно распознавать хотя бы один образ из обучающей выборки. График показывает, что на нескольких итерациях обучения функция ошибки резко возрастала. При шаге 0.1 процесс обучения стабильно сходится к локальному минимуму функции ошибки. Оказавшись в этом локальном минимуме, сеть приобретает способность распознавать все образы из обучающей выборки.

Рис. 3.1. Функция ошибки обобщенного градиентного алгоритма (шаг 0.2)

Рис. 3.2. Функция ошибки обобщенного градиентного алгоритма (шаг 0.1)

Графики 3.3 и 3.4 демонстрируют работу градиентного алгоритма с автоматическим определением длины шага (автономного градиентного алгоритма). На графиках видны характерные пилообразные участки с уменьшающейся высотой пиков. Эти участки соответствуют процессу подстройки длины шага алгоритма обучения под характеристики адаптивного рельефа.

Рис. 3.3. Функция ошибки автономного градиентного алгоритма (начальное значение шага 0.1, запоминание через 10 итераций, изменение шага на 10%)

Рис. 3.4. Функция ошибки автономного градиентного алгоритма (начальное значение шага 0.2, запоминание через 10 итераций, изменение шага на 10%)

Хотя автономный градиентный алгоритм дает возможность подбирать значение шага под адаптивный рельеф в локальной области, скорость сходимости зависит от параметров алгоритма. Так при обучении двухслойной сети распознаванию изображений букв наибольшая скорость сходимости достигается при начальном значении шага 0.1, запоминание производится через 10 шагов, изменение шага 10%.

Следующая пара графики 3.5 и 3.6 показывает функцию ошибки алгоритма поиска в случайном направлении. По сравнению с другими алгоритмами обучения, этот алгоритм обладает наименьшей скоростью сходимости. Для того, чтобы сделать шаг по адаптивному рельефу в соответствии с алгоритмом поиска в случайном направлении, уменьшающий функцию ошибки, необходимо совершить множество пробных шагов. Скорость сходимости зависит от величины шага. В экспериментах наибольшая скорость сходимости достигалась при шаге 0.1.

Рис. 3.5. Функция ошибки алгоритма поиска в случайном направлении (шаг 0.1)

Рис. 3.6. Функция ошибки алгоритма поиска в случайном направлении (шаг 1.0)

Из всех исследованных алгоритмов обучения градиентные алгоритмы с одномерной оптимизацией сходятся к локальному минимуму за наименьшее число шагов. Однако на каждом шаге выполняется большой объем вычислений. Графики функций ошибки представлены на рисунках 3.7 и 3.8. Использование методики автоматического определения длины шага, аналогичной автономному градиентному алгоритму.

Рис. 3.7. Функция ошибки градиентного алгоритма с одномерной оптимизацией (шаг 0.01)

Рис. 3.8. Функция ошибки градиентного алгоритма с одномерной оптимизацией и автоматическим определением длины шага (начальное значение шага 0.01, запоминание через 5 итераций, изменение шага на 10%)

Градиентный алгоритм продемонстрировал наилучший результат, его количество шагов, за которое он обучается, более чем в два раза быстрее, чем у других алгоритмов. Но стоит так же учитывать, тот факт, что для реализации данного алгоритма нужна мощная вычислительная сила.

Таблица 3.1

Сравнение алгоритмов обучения

В таблице 3.1 представлены характеристики описанных алгоритмов:

·                    количество шагов, которое потребовалось для решения контрольной задачи - обучения нейронной сети распознаванию 26 букв латинского алфавита - (входной сигнал сети 8x8 пикселей, 64 нейрона в первом слое, 26 нейронов во втором слое),

·              коэффициент, характеризующий объем вычислений при решении контрольной задачи.

Таблица 3.1 показывает, что наиболее эффективным является автономный градиентный алгоритм.

Стохастические методы не могут быть использованы для обучения нейронных сетей большой размерности. Даже метод поиска в случайном направлении, который требует для обучения меньше шагов, чем другие стохастические методы, сходился медленно.

Градиентный алгоритм с одномерной оптимизацией потребовал для обучения сети меньше итераций, чем обобщенный и градиентный алгоритмы. Однако большой объем вычислений на каждой итерации привел к тому, что этот алгоритм имеет меньшую эффективность по сравнению с алгоритмами, которые не используют одномерную оптимизацию. Дальнейшее повышение размерности оптимизации градиентных алгоритмов (использование, например, алгоритмов с двумерной оптимизацией) не представляется эффективным.

.3 Оптимизация нейронной сети под задачи распознавания

В процессе выбора оптимальной модели для решение задачи распознавание учитывается большое количество параметров влияющие на реализацию поставленной задачи. Но так же у всех этих принципов есть общая база построения [16], [17].

Выбор модели обучения. Данный вопрос мы может решить рассмотрев несколько поведений сети в 100000 мс отрезок времени при последовательной нагрузке сети трафиком.

Рис. 3.9. Моделирование работы сети переда данных с помощью программы Neyroemulyator.

Так же для нашей задачи мы имеем самую оптимальную реализацию при нейронной сети на основе модели Хэмминга, все это связанно с индивидуальными особенности данного алгоритм. Но и схожесть модели Хэмминга с моделью Хопфилда дает существенное преимущество для нейронной сети на основе модели Хопфилда.

Передаточная функция. Многослойный персептрон, обучаемый по алгоритму модели Хэмминга, может в принципе обучаться быстрее, если применить более подходящую ему активационную функцию. Чаще всего, данная модель реализованная на основе жесткой пороговой активационной функции. Но модель Хэмминга предусматривает и использование других активационных функций.

Рис. 3.10. Моделирование работы сети переда данных с помощью программы Neyroemulyator.

Из данного моделирования мы видим, что для работы модели Хэмминга в процессе обучения и далее в процессе реализации данной модели в сети передачи данных лучше использовать сигмоидальную активационную функцию. Данная функция предназначена не только для управления сетями передачи данных, но и будущему прогнозированию работы на сети.

После исследований по оптимизации управление приложениями в работе реально сети было выявлено, что самым оптимальным будет являться нейронная сеть на основе модели Хэмминга с сигмоидальной активационной функцией.

Выводы

В данной главе было смоделирована работа сети передачи данных и выявлены самые оптимальные параметры, для дальней реализации данных исследований в сетях передачи данных. Была выбрана самая оптимальная модель для решения вопроса управления в сетях передачи данных, ей является нейронная сеть на основе модели Хэмминга состоящая из трех слоев и пяти нейронов в каждом слое. Так же к данной модели были применены различные активационные функции, и так же была выбранная самая оптимальная передаточная функция, которая является сигмоидальная активационная функция.

4. Безопасность жизнедеятельности и экология

.1 Почва, ее загрязнение и последствия. Методы защиты

.1.1 Эрозия почв

Эрозия почв - разрушение и снос верхних наиболее плодородных горизонтов и подстилающих пород ветром (ветровая эрозия) или потоками воды (водная эрозия). Земли, подвергшиеся разрушению в процессе эрозии, называют эродированными.

К эрозионным процессам относят также промышленную эрозию (разрушение сельскохозяйственных земель при строительстве и разработке карьеров), военную эрозию (воронки, траншеи), пастбищную эрозию (при интенсивной пастьбе скота), ирригационную (разрушение почв при прокладке каналов и нарушении норм поливов).

Эрозия оказывает существенное негативное влияние на состояние почвенного покрова, а во многих случаях разрушает его полностью. Падает биологическая продуктивность растений, снижаются урожаи и качество зерновых культур, хлопка, чая и др.

Ветровая эрозия почв. Под ветровой эрозией понимают выдувание, перенос и отложение мельчайших почвенных частиц ветром.

Интенсивность ветровой эрозии зависит от скорости ветра, устойчивости почвы, наличия растительного покрова, особенностей рельефа и от других факторов. Огромное влияние на ее развитие оказывают антропогенные факторы. Например, уничтожение растительности, нерегулируемый выпас скота, неправильное применение агротехнических мер резко активизируют эрозионные процессы.

Различают местную ветровую эрозию и пыльные бури. Первая проявляется в виде поземок и столбов пыли при небольших скоростях ветра.

В настоящее время крупнейший источник пыли - Арал. На космических снимках видны шлейфы пыли, которые тянутся в стороны от Арала на многие сотни километров. Общая масса переносимой ветром пыли в районе Арала достигает 90 миллионов тонн в год.

Водная эрозия почв. Под водной эрозией понимают разрушение почв под действием временных водных потоков. Различают следующие формы водной эрозии: плоскостную, струйчатую, овражную, береговую. Как и в случае ветровой эрозии, условия для проявления водной эрозии создают природные факторы, а основной причиной ее развития является производственная и иная деятельность человека. В частности, появление новой тяжелой почвообрабатывающей техники, разрушающей структуру почвы, - одна из причин активизации водной эрозии в последние десятилетия. Другие негативные антропогенные факторы: уничтожение растительности и лесов, чрезмерный выпас скота, отвальная обработка почв.

Среди различных форм проявления водной эрозии значительный вред окружающей природной среде и в первую очередь почвам приносит овражная эрозия. Экологический ущерб от оврагов огромен. Овраги уничтожают ценные сельскохозяйственные земли, способствуют интенсивному смыву почвенного покрова, заиливают малые реки и водохранилища, создают густорасчлененный рельеф.

.1.2 Загрязнение почв

Поверхностные слои почв легко загрязняются. Большие концентрации в почве различных химических соединений - токсикантов пагубно влияют на жизнедеятельность почвенных организмов. При этом теряется способность почвы к самоочищению от болезнетворных и других нежелательных микроорганизмов, что чревато тяжелыми последствиями для человека, растительного и животного мира. Например, в сильно загрязненных почвах возбудители тифа и паратифа могут сохраняться до полутора лет, тогда как в незагрязненных - лишь в течение двух-трех суток.

Основные загрязнители почвы:

·        пестициды (ядохимикаты);

·        минеральные удобрения;

·        отходы и отбросы производства;

·        газо-дымовые выбросы загрязняющих веществ в атмосферу;

·        нефть и нефтепродукты.

В настоящее время влияние пестицидов на здоровье населения многие ученые приравнивают к воздействию на человека радиоактивных веществ. Достоверно установлено, что при применении пестицидов, наряду с некоторым увеличением урожайности, отмечается рост видового состава вредителей, ухудшаются пищевые качества и сохранность продукции, утрачивается естественное плодородие.

По мнению ученых, подавляющая часть применяемых пестицидов попадает в окружающую среду (воду, воздух), минуя виды-мишени. Пестициды вызывают глубокие изменения всей экосистемы, действуя на все живые организмы, в то время как человек использует их для уничтожения весьма ограниченного числа видов организмов. В результате наблюдается интоксикация огромного числа других биологических видов (полезных насекомых, птиц) вплоть до их исчезновения. К тому же человек старается использовать значительно больше пестицидов, чем это необходимо, и еще более усугубляет проблему.

Таким образом, можно с уверенностью констатировать, что общий экологический вред от использования загрязняющих почву пестицидов многократно превышает пользу от их применения. Воздействие пестицидов оказывается весьма негативным не только для человека, но и для всей фауны и флоры. Растительный покров оказался очень чувствительным к действию пестицидов, причем не только в зонах его применения, но и в местах, достаточно удаленных от них, из-за переноса загрязняющих веществ ветром или поверхностным стоком воды.

Пестициды способны проникать в растения из загрязненной почвы через корневую систему, накапливаться в биомассе и впоследствии заражать пищевую цепь. При распылении пестицидов наблюдается значительная интоксикация птиц (орнитофауны). Особенно страдают популяции певчих и перелетных дроздов, жаворонков и других воробьиных.

Работами отечественных и зарубежных исследователей неопровержимо доказано, что загрязнение почв пестицидами вызывает не только интоксикацию человека и большого числа видов животных, но и ведет к существенному нарушению воспроизводящих функций и, как следствие, к тяжелым демоэкологическим последствиям. С длительным применением пестицидов связывают также развитие резистентных (устойчивых) рас вредителей и появление новых вредных организмов, естественные враги которых были уничтожены. Почвы загрязняются минеральными удобрениями, если их используют в неумеренных количествах, теряют при производстве, транспортировке и хранении. Из азотных, суперфосфатных и других типов удобрений в почву в больших количествах мигрируют нитраты, сульфаты, хлориды и другие соединения. Это приводит к нарушению биогеохимического круговорота азота, фосфора и некоторых других элементов. Экологические последствия этого нарушения в наибольшей степени проявляются в водной среде, в частности при формировании эвтрофии, которая возникает при смыве с почв избыточного количества азота, фосфора и других элементов. В последнее время выявлен еще один неблагоприятный аспект неумеренного потребления минеральных удобрений и в первую очередь нитратов. Оказалось, что большое количество нитратов снижает содержание кислорода в почве, а это способствует повышенному выделению в атмосферу двух "парниковых" газов - закиси азота и метана. Нитраты опасны и для человека. К интенсивному загрязнению почв приводят отходы и отбросы производства. В нашей стране ежегодно образуется свыше миллиарда тонн промышленных отходов, из них более 50 миллион тонн особо токсичных. Огромные площади земель заняты свалками, которые интенсивно загрязняют почвы, а их способность к самоочищению, как известно, ограничена. Огромный вред для нормального функционирования почв представляют газо-дымовые выбросы промышленных предприятий.

4.1.3 Способы защиты почв от загрязнения

Основными способами защиты от загрязнения почв являются защита их от водной и ветровой эрозии; организация севооборотов и системы обработки с целью повышения их плодородия. Мелиоративные мероприятия, направленные на борьбу с заболачиванием, засолением почв; рекультивация нарушенного почвенного покрова. Защита почв от загрязнения, а полезной флоры и фауны - от уничтожения; предотвращение необоснованного изъятия земель из сельскохозяйственного оборота.

Борьба с эрозией почв проводится на основе комплекса мер, включающего землеустроительные, связанные с распределением угодий по степени их устойчивости к эрозионным процессам. Агротехнические - почвозащитные севообороты, контурная система выращивания сельскохозяйственных культур, при которой задерживается водный сток, химические средства борьбы. Лесомелиоративные - полезащитные и водорегулирующие лесные полосы, лесные насаждения в оврагах и балках. Гидротехнические каскадные пруды. При этом следует учитывать, что гидротехнические мероприятия останавливают развитие эрозии на определенном участке сразу же после их реализации, агротехнические - через несколько лет, а лесомелиоративные - через 10-20 лет после их внедрения. Для почв, подверженных сильной эрозии, необходим весь комплекс противоэрозионных мер, включающий полосное земледелие - такую организацию сельскохозяйственной территории. При которой прямолинейные контуры полей чередуются с полезащитными лесными полосами, почвозащитные севообороты для защиты почв от дефляции, облесение оврагов.

Для борьбы с заболачиванием почв применяют различные осушительные меры с целью понижения уровня грунтовых вод с помощью закрытого дренажа, открытых каналов или водозаборных сооружений, строительства дамб, спрямления русел рек для защиты от затопления, перехвата и сброса атмосферных склоновых вод. Однако чрезмерное осушение больших площадей может вызвать нежелательные изменения в экосистемах засушкой почв.

Для предупреждения вторичного засоления почв необходимо устраивать дренаж, регулировать подачу воды, применять полив дождеванием, использовать капельное и прикорневое орошение, выполнять работы по гидроизоляции оросительных каналов.

Для предотвращения загрязнения почв пестицидами и другими вредными веществами используют экологические методы защиты растений, повышают природную способность почв к самоочищению, не применяют особо опасные и стойкие инсектицидные препараты.

Изъятие пахотных земель для капитального строительства и других целей может происходить лишь в исключительных случаях. Для сохранения продуктивности земель необходимо расширять использование для строительства условно непригодных для сельского хозяйства земель, прокладывать коммуникации под землей, повышать этажность застройки городов и населенных пунктов.

При проведении строительных и иных работ, связанных с механическим нарушением почвенного покрова, предусматривается снятие, сохранение и нанесение плодородного почвенного слоя на нарушенные земли. Плодородный слой вывозится и складируется в специальных временных отвалах буртах. Нанесение почвенного плодородного слоя на нарушенные земли производится не позднее одного года с момента окончания подготовительных работ по формированию рельефа.

.2 Освещение производственных помещений. Пути повышения эффективности труда

.2.1 Общие сведения об освещении и его характеристики

Основная информация об окружающем нас мире (до 90%) поступает через зрительный анализатор (чувствительный аппарат), состоящий из глаз, зрительных нервов, зрительного центра, расположенного в затылочной доле коры головного мозга. Прием и анализ информации происходит в световом диапазоне 380-760 нм длин электромагнитных волн.

Для зрительного анализатора многообразие окружающего мира представлено различными предметами, объектами, характеризующимися размером, светлотой, контрастом объекта с фоном и удаленностью от глаз. Поэтому налицо зависимость между освещенностью объекта, характером зрительной работы (размер объекта различения, контраст объекта различения с фоном, характеристика фона) и функциональным состоянием зрительного анализатора.

Выполнение зрительной работы при недостаточной освещенности рабочего места может привести к развитию некоторых дефектов глаз: близорукость ложная и истинная; дальнозоркость истинная и старческая.

.2.2 Характеристики освещения

Световой поток - мощность световой энергии, оцениваемой по световому ощущению, которое испытывает глаз. Единица измерения светового потока - люмен (лм). Величина светового потока является не только физической, но и физиологической.

Освещенность - поверхностная плотность светового потока; единица освещенности - люкс (лк). Это освещенность одного квадратного метра поверхности при падении на него светового потока в один люмен.

Сила света - пространственная плотность светового потока в пределах телесного угла, стерадиан. Единица силы света - кандела (кд).

Яркость - поверхностная плотность силы света в данном направлении, которая определяется из отношения силы света излучаемой поверхности в этом направлении к проекции светящейся поверхности на плоскость, перпендикулярную данному направлению. Единица яркости - кандела на квадратный метр (кд/м²).

Коэффициент отражения р характеризует способность поверхности отражать падающий на нее световой поток. Если р < 0,2 - фон считается темным; если 0,2 < р < 0,4 - средним; при р > 0,4 - светлым.

Контраст объекта с фоном К определяется из соотношения яркостей рассматриваемого объекта и фона. Контраст объекта с фоном считается малым, если К < 0,2, средним - при 0,2 < К < 0,5 и большим при К > 0,5.

Видимость - способность глаза человека различать предмет. Зависит от освещенности, размера объекта, его яркости, контраста объекта с фоном, подвижности, расстояния до объекта. Оценивается видимость числом пороговых контрастов, содержащихся в действительном контрасте.

Блескостъ - это свойство световых приборов или светящих поверхностей при неблагоприятном соотношении между их яркостью, силой света и яркостью окружающего пространства нарушать условия комфортного зрения, или ухудшать контрастную чувствительность, или оказывать одновременно оба этих действия. Если участки повышенной яркости излучают свет, они обладают прямой блескостью, если они создаются отражением излучающих свет элементов от других поверхностей поля зрения, они обладают отраженной блескостью.

Показатель ослепленности - это критерий оценки слепящего действия источника света.

Коэффициент пульсации освещенности - критерий оценки изменения освещенности поверхности вследствие периодического изменения во времени светового потока источника света. Необходимость в показателе "коэффициент пульсации" вызвана широким применением газоразрядных ламп. При питании их переменным током наблюдается пульсация во времени величины светового потока этих источников с частотой, вдвое большей частоты тока в сети.

.2.3 Основные требования к освещению

Основной задачей рациональной организации освещения является поддержание освещенности, соответствующей характеру зрительной работы. Увеличение освещенности улучшает видимость объектов за счет повышения их яркости, увеличивает скорость различения деталей.

При организации освещения необходимо обеспечить равномерное распределение яркости. Перевод взгляда с ярко освещенной на слабо освещенную поверхность вынуждает глаз переадаптироваться, что ведет к утомлению зрения. Для повышения равномерности естественного освещения применяется комбинированное освещение. Светлая окраска потолка и стен способствует равномерному распределению яркостей в поле зрения.

Освещение должно обеспечивать отсутствие в поле зрения резких теней. Наличие резких теней искажает размеры и формы объектов и, тем самым, повышает утомляемость. Особенно вредны движущиеся тени, которые могут привести к травмам. Тени необходимо смягчать, применяя, например, светильники со светорассеивающими стеклами, при естественном освещении необходимо использовать солнцезащитные устройства.

Для улучшения видимости объектов должна отсутствовать прямая и отраженная блесткость. Блесткость - это повышенная яркость светящихся поверхностей, вызывающая нарушение зрительных функций, то есть ухудшение видимости объектов. Блескость ограничивают уменьшением яркости источников света, правильным выбором защитного угла светильника, увеличением высоты подвеса светильников, правильным направлением светового потока. Там, где это возможно, блестящие поверхности следует заменить матовыми.

Колебания освещенности на рабочем месте, вызванные, например, резким изменением напряжения в сети, обусловливают переадаптацию глаза, приводя к значительному утомлению. Постоянство освещенности во времени достигается стабилизацией питающего напряжения, жестким креплением светильников, применением специальных схем включения газоразрядных ламп.

При организации освещения следует выбирать необходимый спектральный состав светового потока. Это требование особенно существенно для обеспечения правильной цветопередачи, а в отдельных случаях для усиления цветовых контрастов. Оптимальный спектральный состав обеспечивает естественное освещение.

.3 Эффективность трудовой деятельности человека

Эффективность трудовой деятельности человека в значительной степени зависит от предмета и орудий труда, работоспособности организма, организации рабочего места, гигиенических факторов производственной среды.

Работоспособность - величина функциональных возможностей организма человека, характеризующаяся количеством и качеством работы, выполняемой за определенное время. Во время трудовой деятельности работоспособность организма изменяется во времени. Различают три основные фазы сменяющих друг друга состояний человека в процессе трудовой деятельности:

фаза врабатывания, или нарастающей работоспособности; в этот период уровень работоспособности постепенно повышается по сравнению с исходным; в зависимости от характера труда и индивидуальных особенностей человека этот период длится от нескольких минут до 1,5 ч, а при умственном творческом труде - до 2-2,5 ч;

фаза высокой устойчивости работоспособности; для нее характерно сочетание высоких трудовых показателей с относительной стабильностью или даже некоторым снижением напряженности физиологических функций; продолжительность этой фазы может составлять 2-2,5 ч и более в зависимости от тяжести и напряженности труда;

фаза снижения работоспособности, характеризующаяся уменьшением функциональных возможностей основных работающих органов человека и сопровождающаяся чувством усталости.

С точки зрения психофизиологической производственное обучение представляет собой процесс приспособления и соответствующего изменения физиологических функций организма человека для наиболее эффективного выполнения конкретной работы. В результате тренировки (обучения) возрастает мышечная сила и выносливость, повышается точность и скорость рабочих движений, быстрее восстанавливаются физиологические функции после окончания работы.

Правильное расположение и компоновка рабочего места, обеспечение удобной позы и свободы трудовых движений, использование оборудования, отвечающего требованиям эргономики и инженерной психологии, обеспечивают наиболее эффективный трудовой процесс, уменьшают утомляемость и предотвращают опасность возникновения профессиональных заболеваний.

Для лучшего различения органов управления они должны быть разными по форме и размеру, окрашиваться в разные цвета либо иметь маркировку или соответствующие надписи. При группировке нескольких рычагов в одном месте необходимо, чтобы их рукоятки имели различную форму. Это позволяет оператору различать их на ощупь и переключать рычаги, не отрывая глаз от работы.

Периодическое чередование работы и отдыха способствует сохранению высокой устойчивости работоспособности. Различают две формы чередования периодов труда и отдыха на производстве: введение обеденного перерыва в середине рабочего дня и кратковременных регламентированных перерывов. Оптимальную длительность обеденного перерыва устанавливают с учетом удаленности от рабочих мест санитарно-бытовых помещений, столовых, организации раздачи пищи. Продолжительность и число кратковременных перерывов определяют на основе наблюдений за динамикой работоспособности, учета тяжести и напряженности труда.

При выполнении работы, требующей значительных усилий и участия крупных мышц, рекомендуются более редкие, но продолжительные 10-12-минутные перерывы. При выполнении особо тяжелых работ (металлурги, кузнецы и др.) следует сочетать работу в течение 15-20 минут с отдыхом такой продолжительности. При работах, требующих большого нервного напряжения и внимания, быстрых и точных движений рук, целесообразны более частые, но короткие 5-10-минутные перерывы.

Высокая работоспособность и жизнедеятельность организма поддерживается рациональным чередованием периодов работы, отдыха и сна человека. В течение суток организм по-разному реагирует на физическую и нервно-психическую нагрузку. В соответствии с суточным циклом организма наивысшая работоспособность отмечается в утренние (с 8 до 12 часов) и дневные (с 14 до 17 часов) часы. В дневное время наименьшая работоспособность, как правило, отмечается в период между 12 и 14 часами, а в ночное время-с 3 до 4 часов, достигая своего минимума. С учетом этих закономерностей определяют сменность работы предприятий, начало и окончание работы в сменах, перерывы на отдых и сон.

Для снятия нервно-психологического напряжения, борьбы с утомлением, восстановления работоспособности в последнее время успешно используют кабинеты релаксации или комнаты психологической нагрузки. Они представляют собой специально оборудованные помещения, в которых в отведенное для этого время в течение смены проводят сеансы для снятия усталости и нервно-психического напряжения.

Выводы

В данной главе рассмотрены основные положения безопасности жизнедеятельности и современной экологии. Было детально рассмотрено загрязнение почвы и процессы ее защиты на сегодняшний день. Было рассмотрено освещение производственных помещений и их влияние на повышение эффективности труда.

Заключение

В выпускной квалификационной работе исследованы системы распознавания мультимедийных приложений на базе нейронных сетей и также разработана оптимизированная система для решения задач классификации.

Рассмотрены основные положения DPI, возможности применения DPI в сетях передачи данных для реализации задач, по оптимизации нагрузки, по управлению абонентами. Изучено применения DPI для анализа сетевого трафика и предсказания временного трафика. Рассмотрено применение DPI в качестве аппарата классификации мультимедийного трафика.

Проведен анализ механизмов создания, обучения и реализации моделей нейронных сетей, для их последующий интеграции в сети передачи данных. Детально рассмотрена реализация нейронных сетей. Изучены виды передаточных функций, для дальнейшей активации ими нейронных сетей. Проанализированы самые эффективные модели нейронных сетей, такие как модель Хопфилда и модель Хэмминга.

Смоделирована работа сети передачи данных и выявлены самые оптимальные параметры, для дальней реализации данных исследований в сетях передачи данных. Была создана самая оптимальная модель для решения вопроса управления в сетях передачи данных.

Таким образом, интеграция нейронных сетей, полученных путем проведенных исследований, в сети передачи данных создаст условия, для наиболее полной и эффективной классификации мультимедийного трафика.

Список литературы

телекоммуникация нейронный сеть мультимедийный

1.      Закон Республики Узбекистан №560-II "Об информатизации" от 11.12.2003.

.        Постановление Президента Республики Узбекистан №ПП-1730 "О мерах по дальнейшему внедрению и развитию современных информационно-коммуникационных технологий" от 21.03.2012.

.        Каримов И.А. 2014 год станет годом поднятия на новый уровень развития нашей родины / Доклад Президента Республики Узбекистан Ислама Каримова на заседании Кабинета Министров, посвященном основным итогам 2013 года и приоритетам социально-экономического развития на 2014 год. - Ташкент, 19.01.2014.

.        Круг П.Г. "Нейронные сети и нейрокомпьютеры" Москва Издательство МЭИ 2002 г.

5.      Sankar K. Pal, Sushmita Mitra, Multilayer Perceptron, Fuzzy Sets, and Classification // IEEE Transactions on Neural Networks, Vol. 3, №5,1992, pp. 683-696.

6.      Ф. Уоссермен, Нейрокомпьютерная техника, М., Мир, 1992.

7.      Bernard Widrow, Michael A. Lehr, 30 Years of Adaptive NeuralNetworks: Perceptron, Madaline, and Backpropagation //Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992, pp. 327-354.

.        Paul J. Werbos, Backpropagation Through Time: What It Does and How to Do It // Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992, pp. 309-319.

.        Harris Drucker, Yann Le Cun, Improving Generalization Performance Using Backpropagation // IEEE Transactions on Neural Networks, Vol. 3, №5, 1992, pp. 991-997.

.        Alain Petrowski, Gerard Dreyfus, Claude Girault, Performance Analysis of a Pipelined Backpropagation Parallel Algorithm // IEEE Transactions on Neural Networks, Vol.4, №6, 1993, pp. 970-981.

11.    Дорогов А.Ю., Алексеев А.А. Структурные модели быстрых нейронных сетей. В сб. "Интеллектуальные системы" / Труды II-го Международного симпозиума, под ред. К.А. Пупкова, т. 2 - М.: Из-во ПАИМС. 2009, с. 138-143.

.        Дорогов А.Ю., Алексеев А.А. Математические модели быстрых нейронных сетей. В сб. научн. тр. СПбГЭТУ "Системы управления и обработки информации". Вып.490, 1996, с. 79-84.

.        Тоффоли Т., Марголус Н. Машины клеточных автоматов. М.: Мир, 1991.

.        Астафьев Г.Б., Короновский А.А., Храмов А.Е. Клеточные автоматы. Саратов: Колледж. 2003.://cas.ssu.runnet.ru/sgnp/data/papers/Train/CellAutomat.pdf

.        Наумов Л.А. Разработка среды и библиотеки CAME&L для решения задач с использованием клеточных автоматов. СПбГУИТМО, 2003. http://is.ifmo.ru/papers/camel/

16.    <http://inter-vuz.tuit.uz/Elib_baza//INTUIT.ru/html/department/%20database/datamining/12/1.html> (INTUIT)

17.    <http://www.ict.edu.ru/> (Портал "Информационно-коммуникационные технологии в образовании")

.        <http://habrahabr.ru/post/143668/> (электронный журнал "Хабрахабр")

19.    <http://www.basegroup.ru/library/analysis/clusterization/som/> (BaseGroup Labs)

20.    http://library.tuit.uz/ (Электронная библиотека ТУИТ) <http://library.tuit.uz/(%20Электронная%20библиотека%20ТУИТ)>