Строительство сети данных
Содержание
Введение
. Обоснование актуальности выбранной темы
. Постановка задачи
I. Обзорно-аналитическая часть
. Информационное обследование региона
.1 Анализ основных потоков данных пользовательских
данных
.2 Анализ информационной связности объектов региона
.3 Выводы
. Обзор существующих технологий передачи данных
.1 Подходы к проектированию высоконагруженных
технологических сетей передачи данных, используемых в
территориально-распределённых сетях
.2 Основные параметры DWDM-систем
.2.1 Технологические принципы работы DWDM
.2.2 Применяемое оборудование в системах DWDM
.2.3 Анализ и оценка представленных DWDM решений по организацию связи для
центров обработки данных
.3 Технологические способы представления физической
топологии
.4 Выводы
. Анализ вариантов проектирования межсетевого
взаимодействия центров обработки данных
.1 Основные подходы в организации сетевого уровня
передачи данных центров обработки данных
.2 Анализ рынка магистрального сетевого оборудования
.3 Варианты проектирования внутрисетевых связей между
объектами
.4 Анализ методов организации основных сетевых сервисов
центров обработки данных
.5 Выводы
II. Конструкторско-технологическая часть
. Реализация логической структуры сети центров
обработки данных
.1 Функциональная схема работы сети
.2 Логическая связность центров обработки данных и узлов
связи
.3 Выводы
. Реализация физической сети передачи данных
.1 Обоснование выбора магистрального оборудования сети
передачи данных
.2 Используемые в проекте компоненты DWDM систем: их характеристики и особенности
работы
.3 Топология оптической сети передачи данных
.4 Выводы
. Расчеты параметров сети связи центров обработки
данных
.1 Расчет затухания на участках сети
.2 Расчет дисперсии на участках сети
.3 Расчет показателей надёжности
.4 Расчет задержек по сети
.5 Выводы
. Порядок и способы предоставления услуг в ЦОД и на
узлах связи
.1 Конфигурационные решения сетевого взаимодействия
.2 Методы балансировки нагрузки
.3 Схемы и способы реализации типовых клиентских услуг в
ЦОД и на узлах связи
.4 Реализация межсетевого взаимодействия с внешними
сетями передачи данных
.5 Выводы
. Оценка эффективности проектных решений
.1 Определение основных показателей эффективности сети
.2 Методики измерения и оценки показателей эффективности
.3 Результат оценки эффективности сети передачи данных
.4 Выводы
. Охрана труда и экология
.1 Изучение влияния шумов как вредоносного фактора
.2 Методики измерения и оценки вредного фактора
.3 Санитарные нормы и методы защиты от шумового
загрязнения
Заключение
Список использованной литературы
Введение
1. Обоснование актуальности выбранной темы
В современном мире ценность связи нельзя недооценивать, скорее крайне
сложно переоценить насколько важно современному человеку иметь доступ к
инфосистемам, интерактивным ресурсам, медиа контенту, услугам, предоставляемым
в электронном виде. Тенденции перевода сферы услуг, документооборота, в
электронный вид, коснулись не только частных предпринимателей, но и
государственные органы власти. Постановлением правительства РФ №1815 от 20
октября 2010 года была разработана федеральная целевая программа «Электронная
Россия», которая определила дальнейшую необходимость использования
информационных и телекоммуникационных технологий для повышения качества
предоставления населению правительственных услуг.
С момента начала реализации данной программы прошло пять лет, регионы
страны получили доступ к большому количеству услуг и сервисов, бизнес получил
возможность не заниматься бумагами, а заниматься собственно бизнесом. При этом
схемы реализации электронных услуг в разных регионах строились чаще на
существующей информационной инфраструктуре этого региона, например, на
существующих волоконно-оптических линиях связи.
марта 2014 года произошло важное историческое событие в жизни нашей
страны. Был подписан указ об образовании Крымского Федерального округа, в
состав которого включаются Республика Крым и город Федерального значения
Севастополь. Даже при самом беглом взгляде на показатели данного Федерального
округа ясно, что социально-экономическое положение региона в сравнении
остальной части России носит отстающий характер. Данное утверждение касается не
только, например, средней заработной платы в регионе, но и состояния сетей
передачи данных, доступности телекоммуникационных услуг. Эта ситуация была
подробно рассмотрена Правительством РФ в Федеральной Целевой Программе
«Социально-экономическое развитие Республики Крым и г. Севастополя до 2020
года».
С появлением нового региона в составе государства, остро встала проблема
несоответствия его уровня информационной связности с остальными регионами
Российской Федерации тем стандартам, которые определены в области коммуникаций
в современном мире. Премьер-министр России Д.А. Медведев отметил тот факт, что
данные пользователей проходят по территории чужого государства прежде чем
попасть на территорию РФ, что недопустимо при передаче правительственных и
конфиденциальных сведений.
декабря 2014 года Минсвязи и администрация республики Крым подписали
соглашение об использовании электронного правительства. В рамках данного соглашения,
Минком связь РФ безвозмездно предоставит доступ к оборудованию и
инфраструктуре, которые обеспечивают связь с федеральным сегментом. В апреле
2014 года было закончено строительство кабеля между Южным регионом РФ и
Крымским Федеральным Округом, что должно было положительно повлиять на уровень
информатизации населения и доступности телекоммуникационных услуг для частных
лиц и предприятий (включая государственный сектор).
Однако, изменения ситуации в положительную сторону за полгода не
произошло из-за отсутствия возможности передать услуги от крупного оператора,
такого как Ростелеком, в города и населённые пункты. В регионе присутствует
большое количество локальных предприятий, предоставляющих услуги
широкополосного доступа, а также фиксированной связи населению, но у таких
предприятий нет физической возможности передать данные пользователей в РФ по
прямым каналам связи. Произошло это по той причине, что многие подобные
компании использовали услуги организации Укртелеком, которая более не может
предоставлять доступ на территории региона.
В связи с вышеуказанным, возникла необходимость создания территориально
распределённой сети, включающей в себя узлы связи в городах, центры обработки
данных в наиболее развитых частях полуострова, а также узлы обмена трафиком с
российскими и европейскими представителями отрасли связи. Именно такая сеть
сможет обеспечить потребности населения региона в доступе к информационным
сервисам, существующие компании в пространстве и инфраструктуре хранения своих
программных, аппаратных платформ, данных и облачных сервисов,
телекоммуникационные компании в области связности с Россией без дополнительных
технологических и экономических затрат, а правительственные учреждения в
безопасных, надёжных и резервируемых каналах передачи данных.
Крымский Федеральный Округ, как новый российский курорт, ставит также
актуальные задачи по организации доступа к сети в туристический сезон,
поскольку очевидно, что поток отдыхающих будет увеличиваться от года к году
вследствие географического местоположения, что ведёт к необходимости
обеспечения население качественной и высокоскоростной связью.
В современных условиях сложно найти регион, где действительно можно было
бы применить полученные знания в области телекоммуникаций и построению сетей
передачи данных, а также центров обработки данных, чем Крым.
2. Постановка задачи
Подготовка проектного решения подразумевает анализ и отбор среди
существующих технологий и принципов оптимальных для внедрения в конкретном
заданном случае, а также обоснование подобного выбора и его реализацию. На
этапе проектирования необходимо разделить задачу по уровням.
Первый уровень предполагает проектирование физической топологии и выбор
места установки. В рамках этого уровня необходимо проанализировать существующие
способы создания региональных территориально-распределённых сетей передачи
данных. На этом этапе важно провести инфологическое проектирование системы и
понять где наиболее выгодно установить центры обработки данных и почему, как
ведёт себя пользовательский трафик в текущих условиях и каким он должен быть.
Важно провести анализ и оценку того как оптимально охватить сетью регион
целиком, оставляя возможности для развития роста и масштабирования.
Результатом работы в данном направлении будет выбор способа организации
физической топологии, основополагающей технологии на которой строится сеть
передачи данных, объединяющая датацентры и города.
Второй уровень предполагает проектирование сетевого уровня, то есть
работу непосредственно с телекоммуникационным оборудованием сети. Необходимо
синтезировать современные модели построения центров обработки данных и сетей
передачи данных для создания проектного решения. На данном этапе проводится
также и анализ коммутационного и маршрутизирующего оборудования, которое будет
использоваться для организации доступа к сети.
В качестве результата работы над этим уровнем будет определённый
модельный ряд оборудования, а также порядок осуществления соединения
оборудования между собой, определение логических связей между созданными
объектами.
Третий уровень наиболее интересен с практической точки зрения. Он
предполагает проектирование порядка взаимодействия узлов связи и центров
обработки данных между собой. Сюда включается разработка общей концепции
маршрутизации и коммутации трафика, способы резервирования и балансировки
нагрузки по узлам сети и датацентрам, варианты обеспечения отказоустойчивости
на уровне сети. Необходимо также определить и описать базовый набор сервисов,
которые должна предоставлять сеть, различным категориям пользователей, включая
предприятия, частных клиентов и операторов связи. Взаимодействие с внешними
сетями передачи данных также относится к проектированию третьего уровня сети.
В обзорно-аналитической части проекта необходимо представить текущие
известные решения по трём уровням, провести их анализ, разбор, выделить
положительные и отрицательные моменты. Систематизировать основные подходы к
выполнению подобных решений, используя современные научные исследования и
актуальную элементную базу для создания сети передачи данных. В конце данной
части привести требования к конструкторско-технологическому разделу, описать
какими техническими характеристиками должна обладать конкретная техническая
реализация проекта.
В практической части необходимо представить и обосновать решения на каждом
из трёх уровней, провести расчеты основных параметров, влияющих на работу сети,
а также параметров надёжности и отказоустойчивости системы в целом, и её
компонент в частности.
В рамках задачи на дипломное проектирование также требуется представить
схемы и способы реализации сети ЦОД в Крымском Федеральном Округе, а также
провести оценку того, насколько эффективно это решение с точки зрения других
вариантов и основных характеристик сети.
I. Обзорно-аналитическая часть
1. Информационное обследование региона
1.1 Анализ основных потоков данных пользовательских данных
В рамках реализации проекта правительства Российской Федерации по
развитию Крымского Федерального Округа до 2020 года, а также утвержденному
техническому заданию дипломного проекта, необходимо выбрать систему на основе
которой можно эффективно построить сеть центров обработки данных и узлов связи
общей пропускной способностью до 400Гбит/с на существующей волоконно-оптической
сети компании Атраком, являющейся на данный момент частью ООО «Миранда-Медиа».
Под сетью центров обработки данных подразумевается оптическое,
магистральное и иные виды телекоммуникационного оборудования, а также кабельной
инфраструктуры, функционирующей с целью обеспечения доступа населения и
предприятия, в том числе государственных, к информационным ресурсам,
расположенных на площадках и узлах связи.
Согласно техническому заданию проекта, решения по месту и способам
организации соединения не задаются, а значит остаются на стороне исполнителя
проекта. По этой причине, одним из первых этапов реализации проекта, которые
необходимо решить перед началом проектирования, является анализ текущих
информационных потоков региона и выбор месторасположения узлов сети центров
обработки данных. Понимание текущего состояния среды региона также прямым
образом оказывает влияние на варианты решения поставленной задачи в рамках
дипломного проекта.
В апреле 2014 года компания «Ростелеком», крупнейшим акционером которой
является РосИмущество, а заказчиком МинКомСвязь, проложила по дну Керченского
пролива кабель-канал с несколькими волоконно-оптическими кабелями. Общая
ёмкость подобного канал составила 110Гигабит/с. Данный факт значительно повлиял
на информационную связность всего региона с Российской Федерацией. Постройка
данной линии была выполнена по заказу Минкомсвязи РФ и способна обеспечить
потребности в услугах связи всего полуострова. Кабель был проложен силами
компании Телеком-С, которая выступала подрядчиком Ростелеком-Юг и
непосредственно занималась прокладкой 40-километровой трассы. Тем не менее,
крупнейшие операторы региона по-прежнему не используют данное оптическое
подключение в полном объеме и не передают пользовательский трафик в сторону
российских операторов.
Между тем, основной трафик частных пользователей полуострова направлен именно
на русские сервера и сервисы, доступ к ним логично осуществлять напрямую через
волокна, соединившие полуостров с материковой частью России. По данным
проведённого анализа, преобладающими пользовательскими направлениями на время
высокого сезона становятся сервера социальных сетей, крупные поисковые сервисы,
а также хостинг-площадки. Около 80% трафика носят развлекательный характер,
основные представители которого:
- социальные сети ВКонтакте и Одноклассники;
- сервисы и поисковые системы Яндекс;
- сервисы mail.ru;
Значительную часть трафика корпоративного сегмента занимает обмен данными
с зарубежными, а также украинскими центрами обработки данных, хостингами и
сервисами (см. Рисунок 1).
Рисунок
1. Потоки данных Крымского Федерального Округа
Как
видно из представленной карты (см. Рисунок 1), основные потоки пользовательских
данных направляются в сторону континентальной Украины, поскольку именно через
украинских операторов анонсируются самые популярные российские ресурсы, а также
главные центры обработки данных в Европе. В пределах самого полуострова, данные
концентрируются в местах проживания наибольшего числа жителей, а значит в
местах присутствия наибольшего числа провайдеров услуг связи и широкополосного
доступа в сеть Интернет.
Города
Севастополь и Симферополь существенно выделяются из числа остальных городов и
поселений городского типа, расположенных на территории полуострова, поскольку
основная часть потоков данных проходит через них. Это связано с высокой концентрацией
провайдерского оборудования на территории этих городов, их выгодным
расположением и большим количеством жителей. В городе Севастополь,
расположенном чуть западнее от Ялты, на текущий момент проживает больше всего
жителей, а также расположено значительное количество предприятий. Присутствует
несколько независимых источников электроэнергии, а также проложены оптические
трассы до г. Симферополь через г. Бахчисарай, до г. Евпатория через п. Фрунзе,
а также до г. Алупка. Выгодное положение города дает возможность считать его
одним из главных претендентов на размещение центра обработки данных.
Побережье
полуострова или курортная зона, включает в себя такие города как Алупка, Ялта,
Алушта, Судак, Феодосия. Особенностью этих городов является нелинейное изменение
количества трафика в связи с сезонным характером заселения, что показано в
таблице 1.
Таблица
1 - Оценочное количество трафика городов КФО
|
Город
|
Население, тыс. человек
|
Население в сезон, тыс. человек
|
Кол-во предприятий
|
Кол-во гостиниц
|
Кол-во трафика в сезон, Гбит/с
|
Кол-во трафика не сезон, Гбит/с
|
|
Севастополь
|
390
|
450
|
40
|
200
|
4.8
|
2.8
|
|
Симферополь
|
330
|
350
|
70
|
10
|
4.1
|
4.7
|
|
Керчь
|
150
|
200
|
20
|
130
|
7.2
|
3.3
|
|
Ялта
|
78
|
400
|
17
|
144
|
2.4
|
1.2
|
|
Евпатория
|
110
|
600
|
30
|
100
|
3.6
|
1.3
|
|
Феодосия
|
65
|
250
|
20
|
80
|
2.5
|
1.2
|
|
Алушта
|
30
|
60
|
3
|
10
|
2.36
|
1.1
|
|
Алупка
|
8
|
10
|
2
|
2
|
2.1
|
1.1
|
|
Бахчисарай
|
30
|
50
|
10
|
8
|
2.3
|
1.1
|
|
Судак
|
15
|
20
|
2
|
6
|
2.7
|
1.1
|
|
Саки
|
25
|
30
|
4
|
10
|
2.1
|
1.1
|
|
Джанкой
|
35
|
35
|
14
|
3
|
2.6
|
1.1
|
|
Красноперекопск
|
30
|
30
|
5
|
2
|
2.6
|
1.1
|
|
Армянск
|
23
|
23
|
2
|
1
|
2.2
|
1.1
|
Очевидно, что в весенне-летний и осенний сезоны, количество населения
увеличивается в несколько раз, а количество трафика данных городов в несколько
десятков раз.
Вторым местом большой концентрации трафика становится Керчь, поскольку
именно через него проложен кабель в сторону России. Некоторая часть данных
уходит на текущий момент на российские сервера контент-провайдеров, достаточно
серьёзно нагружая имеющиеся транспортные мощности от полуострова в сторону РФ.
Весь трафик подобного типа проходит по маршруту г. Феодосия - г. Керчь. -
Ростелеком. Данные факты говорят о необходимости размещения ЦОД, либо крупного
узла связи на восточной части полуострова, в городе Феодосия и городе Керчь.
При анализе потоков трафика также необходимо обратить внимание не только
на береговую часть полуострова, но и на континентальную. Именно в ней живет и
трудится наибольшее количество людей. Город Симферополь - крупнейший центр
полуострова, население которого оценивается в 350 тысяч человек, а количество
крупных предприятий достигает ста. Необходимость расположения в г. Симферополь
центра обработки данных вызвана не только проживающим там населением, но и
наличием большого числа административных учреждений всей республики, а также
выгодным географическим местоположением города на полуострове. В городе
расположено наибольшее количество образовательных учреждений, а также
представительство РАН.
Количество центров обработки данных, необходимых для населения
полуострова, предприятий, туристической сферы, административных объектов можно
найти по оценочному количеству трафика в различных направлениях исходя из
пропускной способности сети передачи данных, заявленной министерством связи РФ
в программе о развитии Крымского ФО до 2020 года. Согласно данной программе,
предполагаемая пропускная способность сети составляет 310Гбит/с. Основные
направления в рамках которых создаётся сеть центров обработки данных являются:
туристическое, государственные и промышленное. В рамках данной концепции
логична установка четырех крупных центров обработки данных. Центром для
туристической отрасли, в связи с описанными выше положительными сторонами,
будет являться город Севастополь. Центром промышленности, и одновременно
центром предоставления услуг электронного правительства является город
Симферополь. Местоположение двух резервных центров обработки данных логично
выбрать исходя из того, что имеются два основных направления движения трафика
из полуострова - в сторону Европейской части Украины, и в сторону России.
Выводом, который можно сделать после рассмотрения потоков
пользовательских данных, является определение наиболее удобной позиции с точки
зрения пользователей для расположения центров обработки данных. На карте (см.
Рисунок 2) схематично приведены возможные места расположения центров обработки
данных и резервных центров обработки данных.
Рисунок
2. Карта возможных мест расположения ЦОД
ЦОДы располагаются в Симферополе и Севастополе, резервные центры
обработки данных в Феодосии и Джанкой, точки обмена трафиком в Красноперекопске
и Керчи.
В рамках работы над сетью центров обработки данных, в первую очередь
необходимо использовать возможности сети для организации доступа к услугам
непосредственно населения. Традиционные сервис-провайдеры, представленные в
городах, имеют весьма ограниченную область действия, поскольку территориально
не распределены по полуострову, а сосредоточены в локальных населённых пунктах.
К неоспоримым преимуществам подобных организаций следует отнести наработанные и
развитые Metro-сети в пределах их области работы.
По этой причине, при организации типовых решений для различных городов, следует
прибегнуть к абстракции на уровне поселений и городов. Под абстракцией данного
уровня понимается то, что контент из центров обработки данных, доставляется до
сформированного узла связи в требуемом городе, а далее распространяется
локальным провайдером до конкретного пользователя. Подобный подход реализует
иерархический способ построения сети связи, от агрегатора данных, которым
является сеть ЦОД, через локального ISP конечному пользователю.
Портовые емкости на каждый ЦОД, возможно рассчитать исходя из параметров,
указанных в Федеральной Целевой Программе о развитии региона. С учетом
одновременной работы двух центров обработки данных, каждый из них берёт на себя
обработку трафика с общей полосой ½ от 330Гбит/с или 165 Гбит/с.
Фактический коэффициент переиспользования в центрах обработки данных составляет
не менее 4, что означает реальное использование каждым физическим портом около
25% своей максимальной емкости. Данный фактор увеличивает количество портов
доступа до количества, необходимого на обслуживание 660Гбит/с. С учетом 80%
использования портов емкостью 1000Мбит/с на текущий момент, планируемый размер
каждого центра обработки данных по портам составляет 660 физических портов, при
этом рост количества портов может происходить постепенно, а значит нет реальной
необходимости в единовременной инсталляции максимального количества
оборудования на этапе запуска.
1.2 Анализ информационной связности объектов региона
Определяющим качество функционирования существующей системы связи на
полуострове параметром можно назвать информационную связность его объектов.
Когда мы говорим о связности, мы в первую очередь говорим о том, что это
принципиальный отказ от рассмотрения чего бы то ни было вне контекста окружающей
информации и связи рассматриваемого объекта с другими сущностями. Классификация
и кластеризация объектов в таком случае возможна посредством анализа их связей
и итеративного анализа ранее классифицированных связанных объектов.
Уровень связности определяется количеством логических направлений
передачи данных от каждого объекта, а также степенью оптимальности организации
логического соединения между городами с точки зрения путей следования
пользовательского и логического трафика.
Оценивая связность полуострова, важно понимать, что вследствие
политических событий, существующие каналы связи через континентальную часть
Украины не могут быть использованы. До вхождения в состав РФ, обслуживание
полуострова и предоставление услуг связи происходило через континентальную
часть Украины силами оператора связи Укртелеком. Это крупнейший оператор связи
на Украине, предоставляющий различные телекоммуникационные услуги, среди них:
фиксированная и мобильная связь, высокоскоростной доступ к Интернету,
датацентры, ВОЛС для бизнеса, каналы связи. При этом сам полуостров
обслуживается сетью мелких компаний, распределённых по крупным населённым
пунктам.
Премьер России Д.А. Медведев также отметил этот аспект:
"Недопустимо, что информация и документы, которые связаны с управлением
территорией, двумя субъектами федерации, в том числе конфиденциального
характера, передаются с использованием мощностей... иностранных
телекоммуникационных компаний", - объяснял премьер-министр.
Связность населённых пунктов с центром однонаправленная, без возможности
резервирования, доступ к телекоммуникационным услугам представлен как правило
одним провайдером услуг, также без возможности резервирования. Доступность
организации территориально распределённых каналов передачи данных между
объектами региона ограничена из-за отсутствия крупных федеральных оператора
связи в регионе с собственной сетью доступа.
В условиях подобной ограниченности доступности телекоммуникационных
ресурсов для конечных клиентов, регион имеет выходы к транзитным операторам
связи Российской федерации, главным из которых является Ростелеком, а также
Датагрупп и WNET. Однако, напрямую операторы не имеют
возможность передать свои услуги конечным пользователям либо оператором на
местах, из-за отсутствия именно промежуточного звена между конечными абонентами
и крупными сетями связи.
Сервисы и услуги, недоступные на текущий момент для реализации из-за
низкого уровня связности региона, необходимы не только частному сектору
(конечным клиентам), но и промышленности, а также предприятиям региона,
государственному сектору. Данное утверждение вытекает в связи с высокой
степенью территориальной распределённости подобных объектов по региону, а также
современным требованиям к ИТ-инфраструктуре и сетям передачи данных.
Исходя из указанных недостатков в связности региона, а также данным о
современном состоянии пользовательских потоков данных на полуострове, была
поставлена задача по проектированию территориально распределённой сети центров
обработки данных Крымского Федерального Округа.
1.3 Выводы
На этапе проектирования сети датацентров необходимо:
· Проанализировать доступные сетевые решения создания
масштабируемых сетей передачи данных регионального масштаба.
· Изучить существующие технологии уплотнения оптического
волокна, а также возможности их применения при построении сети передачи данных.
· Представить основные возможные организации топологии сети
датацентров, выделить положительные и отрицательные стороны применительно к
дипломному проекту.
· Провести анализ основных используемых технологий второго и
третьего уровня модели OSI,
оценить необходимость их использования и требования к оборудованию по поддержке
стандартов и протоколов передачи данных.
· Поставить задачу на составление технико-конструкторского
решения по проектированию сети центров обработки данных на основе проведённого
анализа.
2. Обзор существующих технологий передачи данных
.1 Подходы к проектированию высоконагруженных технологических
сетей передачи данных, используемых в территориально-распределённых сетях
В рамках реализации проекта правительства Российской Федерации по
развитию Крымского Федерального Округа до 2020 года, а также утвержденному
техническому заданию дипломного проекта, необходимо выбрать систему на основе
которой можно эффективно построить сеть общей пропускной способностью до
400Гбит/с на существующей волоконно-оптической сети компании Атраком.
Рассмотрим существующие традиционные способы построения и проектирования
физического уровня сети связи.
Простым и очевидным решением для построения кабельной структуры является
аренда или покупка т.н. тёмного волокна в соответствии с выбранной топологией
организации сети передачи данных. В текущих реализациях битового кодирования,
по одному оптическому волокну возможна передача потока данных в 10Гбит/с. Для
расчета количества необходимых волокон для организации полносвязной топологи
между центрами обработки данных и точками обмена трафиком, необходимо
воспользоваться формулой (1):
где n - количество физических волокон;
- количество организованных центров обработки данных;
- количество региональных точек обмена трафиком;
- количество городских подключений;
Например, для оценки количества волоконных линий для организации трёх
ЦОД, двух точек обмена трафиком, а также подключения четырех городов к сети,
необходимо, пользуясь формулой (1) получим:
оптических волокон (2)
В такой системе наращивание пропускной способности будет вестись
добавлением дополнительных физических кабельных соединений. К очевидным минусам
подобной системы стоит отнести:
· Большое (избыточное) количество реальных оптических каналов
передачи данных.
· Низкая масштабируемость решения.
· Высокая стоимость решения на длинной дистанции.
· Невозможность физической организации кабельного соединения
между некоторыми населёнными пунктами региона.
· Несоответствие характеристик полосы пропускания системы
заданному в ТЗ значению.
· Потребность в дополнительном оптико-электрическом
оборудовании на промежуточных узлах связи.
Отметим также положительные аспекты данной модели:
· Совпадение физической и логической топологии сети.
· Низкая стоимость на короткой дистанции.
· Техническая простота реализации решения.
Более сложными, однако от этого не менее интересными, выглядят различные
системы уплотнения каналов связи. Строго говоря, в описанной выше реализации
также имеет место простое уплотнение по длине волны, которое прочно вошло в
жизнь операторов связи. Суть любого уплотнения состоит в том, что в единицу
времени передается не один сигнал (поток данных), а несколько. Для реализации WDM [Wave Division Multiplexing] передача ведется на длине волны
1310нм, прием на частоте 1550нм, таким образом в одном волокне возможен и
приём, и передача данных, т.е. дуплексная передача. Также возможно уплотнение
не только по длине волны, но и по времени, т.н. TDM [Time Division
Multiplexing], однако он в последнее десятилетие
почти полностью уступил место системам WDM. Произошло это из-за постепенного приближения к
пределу битовой скорости, а также открытии различных оптических эффектов,
которые легли в основу новой концепции уплотнения каналов в оптическом волокне.
Суть уплотнения по длине волны состоит в том, что в рамках одного
оптического сигнала может передаваться несколько длин волн, обозначая
отдельный, независимый поток данных отдельного оптического канала. При этом
такого рода уплотнение может быть грубым, в таком случае оно будет называться CWDM [Coarse Wave Division Multiplexing]. Его отличительные особенности -
работа в большом диапазоне частот, но плотность уплотнения достаточно мала. В
текущем технологическом процессе возможно получить до 32 различных частот в
одном волокне, применяя технологию CWDM. Второй вариант уплотнения, т.н. частое уплотнение DWDM, позволяет получить до 128 отдельных
частот в C-band диапазоне оптического волокна.
Реализация физической среды передачи данных на основе DWDM выглядит намного перспективнее с
точки зрения возможности дальнейшего долгосрочного развития и масштабирования.
При этом организация сети с использованием CWDM сократит затраты на оптические волокна в 8 раз, а DWDM уже в 96 раз. Это объясняется тем,
что в случае использования DWDM-уплотнения
частот, в рамках одного оптического волокна возможна передача 96 потоков в
40Гбит/с, или 3.8Тбит/с.
Оптические системы с использованием уплотнения имеют также неоспоримое
преимущество перед ВОЛС-системами без уплотнения, а также перед беспроводными
СПД, заключающееся в огромном значении максимально возможной длины пролёта,
которое может преодолеть сигнал без использования активного сетевого или
регенерационного оборудования. Данный параметр зависит от выбранного
производителя оборудования, реализации и топологии, однако на текущий момент
передача данных по волокну возможна на линиях до 2000 км без регенерации
сигнала. Подобный аспект важен для проектируемой сети по причине того, что
строительство сети ведется не в рамках офиса или района, а в рамках
федерального округа, а значит расстояние между датацентрами и узлами связи
будет весьма значительным.
К отрицательным сторонам любого уплотнения стоит отнести прежде всего
стоимость и техническую сложность реализации. Причем чем экономичнее, с точки
зрения частот, будет система, чем она более прозрачна и управляема
пользователем, тем более дорогой она будет. Поэтому многие предприятия проводят
закупку готового решения от лидеров данной области, не разбивая его на
отдельные компоненты: усилители, аттенюаторы, лазеры.
Также необходимо отметить тот факт, что, если без использования усиления
мы работаем с сигналом в двух направлениях: мощности и времени, т.е. по факту
работаем с плоским сигналом. При увеличении мощности возможны негативные
факторы, которые сказываются на мощности лазера, потерях, а также затухании
оптического сигнала в волокне. При изменении времени на передачу мы
сталкиваемся с нестабильностью сигнала, понижением скорости передачи,
поляризационной модовой дисперсией. Кроме того, при векторном сложении данных процессов
получаем нестабильность битовой скорости передачи, различные нелинейные эффекты
в волокне, высокую относительную интенсивность шума. Подобную зависимость легко
показать на схеме (см. Рисунок 3).
Рисунок
3. Процессы при двумерной передаче сигнала
При работе с мультиплексированием возникает намного больше явлений и
зависимостей, которые необходимо разрешить при проектировании системы.
Действительно, зависимость приобретает трехмерный вид (см. Рисунок 4)
Рисунок
4. Процессы в волокне при трехмерной передаче сигнала
Влияние длины волны совместно с мощностью увеличивает возможность
возникновения усиленного спонтанного излучения, а также рамановского рассеяния;
чирпирование лазера, хроматическая дисперсия и другие вредные, с точки зрения
передачи сигнала, физические явления, требуют тщательного планирования и
подбора системы на этапе разработки.
Для формализации критериев выбора представим отрицательные и
положительные стороны, а также требующие внимания нюансы каждого решения в
таблице 2.
Таблица
2 - Сравнение вариантов уплотнения волокна
|
Параметр сравнения
|
Без уплотнения
|
WDM (простое уплотнение)
|
CWDM (грубое уплотнение)
|
DWDM (частое уплотнение)
|
|
Стоимость в пересчете на порт 10GE в масштабе проекта
|
Очень высокая
|
Высокая
|
Средняя
|
Низкая
|
|
Стоимость отдельного порта 10GE
|
Средняя
|
Низкая
|
Высокая
|
Высокая
|
|
Прогнозируемость девиаций сигнала
|
Высокая
|
Высокая
|
Средняя
|
Средняя
|
|
Техническая сложность реализации
|
Низкая
|
Низкая
|
Средняя
|
Высокая
|
|
Катастрофоустойчивость
|
Низкая
|
Средняя
|
Средняя
|
Средняя
|
|
Масштабируемость
|
Крайне низкая
|
Низкая
|
Средняя
|
Очень высокая
|
|
Коэффициент переиспользования кабельной системы
|
Крайне низкий, 0
|
Средний, 1.5-2
|
Высокий 4-8
|
Очень высокий 32-128
|
|
Сложность в эксплуатации
|
Низкая
|
Низкая
|
Высокая
|
Очень высокая
|
|
Максимальная длина пролёта без регенерации
|
40 км
|
40 км
|
80 км
|
4000 км
|
Основными критериями (по весу, влияющему на принятие решения) при выборе
системы стали возможность масштабируемости и низкая оценочная стоимость порта
10GigabitEthernet. В связи с этим, технология DWDM была взята за основу при построении физического
уровня сети передачи данных для Крымского полуострова.
3. Основные параметры DWDM-систем
3.1 Технологические принципы
работы DWDM
В современных системах передачи данных оптическая связь играет ключевую
роль. Однако в реалиях современных скоростей, передача в один поток данных не
может рассматриваться в качестве допустимого варианта для магистральных
провайдеров. Различные варианты уплотнения позволили использовать более чем
одну несущую частоту при передаче сигнала. Основной рывок в развитии частого
уплотнения произошел с открытием и промышленным применением т.н. EDFA-усилителей [Erbium Doped Fiber Amplifier] - классе усилителей на оптическом
волокне, легированном ионами эрбия.
Первоначальное уплотнение использовало две основные частоты, на которых в
пределах одного волокна выполнялась приём и передача. При этом сигналы не
пересекались, что привело к возможности использовать среду передачи данных
более экономно (см. Рисунок 5).
Рисунок
5. Уплотнение WDM
Стоит сказать, что характеристики оптического волокна неодинаковы на всех
частотах, которые способны передаваться по волокну. Максимальная и минимальная
частота, на которой может работать оптическое волокно называется частотой
отсечки (верхней и нижней соответственно). На частотах в диапазоне от верхней
до нижней частоты отсечки уровень затухания оптического сигнала отличается
нелинейно в зависимости от длины частоты, на которой ведется передача данных.
Кроме того, характеристики разных оптических волокон влияют на физические
параметры передаваемых сигналов. Комитетом ITU [International Telecommunication Union] были приняты
несколько стандартов на оптические волокна, которые различны по своим
характеристикам и условиям применения.
С развитием полупроводниковой оптики, стало возможным использовать в
пределах рабочей частоты волокна передавать данные на различных частотах с
шагом в 20нм. Технологически для этого применялась призма, которая способна
выделять нужную частоту и выдать её в нужный оптический порт. Обычно работа
такой системы ведется в диапазоне 1290нм - 1610нм, т.е. позволяя в
полнодуплексном режиме использовать до 8 каналов. Поскольку, как было упомянуто
ранее, характеристики волокна различны в зависимости от передаваемой частоты,
главным недостатком была невозможность качественного усиления сигнала по всем
частотам. Взглянем на зависимость величины затухания от передаваемой частоты
стандартного волокна (см. Рисунок 6).
Рисунок
6. Нелинейность затухания стандартных оптических волокон на различных частотах
Источник:
журнал "Алгоритм Безопасности" №4 2005 года, авторы М. Ефимов, В.
Никитин.
Наиболее часто используется волокно ITU G.652, которое имеет так называемый водяной пик, т.е. резкое,
скачкообразное увеличение затухания на определённой длине волны.
В конце XX века ученым удалось использовать
процесс излучения легированного полупроводника с инверсной населённостью
применительно к оптическим средствам передачи данных. Для этого в рабочем
диапазоне эрбия применяют источник света, который работает на длине волны
980нм, и производят т.н. накачку легированного волокна таким образом, чтобы
фотон усиливаемого сигнала и излученный фотон были когерентны. То есть в
процессе работы, вместо одного полезного фотона получается два фотона с
одинаковыми характеристиками. Из-за свойств эрбия, частота работы такой системы
- 1530-1560нм. Именно в этом диапазоне и стали развиваться системы частого
уплотнения или DWDM. Для них
характерно значительно менее широкие расстояния между длинами волн, чем для
технологии CWDM - 100ГГц или 0,8нм, а также 50Ггц на
канал. В таком диапазоне, благодаря EDFA-усилителям, стало возможно передавать до 64 полудуплексных каналов. Само
усиление производится без дополнительных АЦП-ЦАП преобразований, исключительно
с использованием оптического волокна. Ведь одной из проблем CWDM систем, была проблема усиления
сигнала без подключения активного оборудования на промежуточных узлах.
Оптический сигнал или группа сигналов, проходящих по оптическому кабелю
затухала почти полностью уже через 100км, делая невозможным передачу данных на
большие расстояния. Поэтому на каждом участке пути сигнала ставилось
оборудование, которое преобразовывало данные из оптического аналогового сигнала
в цифровой сигнал и обратно. В DWDM
же стало возможно передавать группу сигналов на большие (до 4000км) расстояния
практически без потерь.
Разумеется, помимо очевидных плюсов у технологии существуют некоторые
негативные стороны. Перечислим основные факторы, которые влияют на качество
работы DWDM-систем.
· Разные длины волн распространяются в кабеле неравномерно. Это
практически незаметно для расстояний, скажем, в 100 километров, на на
расстоянии в 1000км возможно уширение полезного спектра сигнала до такой
степени, что приёмное оборудование не сможет выделить нужный импульс. Это
явление носит название материальной дисперсии.
· Физические характеристики кабеля, а именно несимметричность и
его неидеальная геометрия, добавляют поляризационно-модовую дисперсию, которая
проявляется в неравномерном распространении импульса с геометрической точки
зрения.
· Два описанных выше явления в совокупности получили название
хроматической дисперсии и являются основной причиной возникновения сложностей
при установке и настройке DWDM-систем.
· Не стоит забывать о нелинейных эффектах в оптическом волокне.
Они проявляются с ростом мощности передатчика, ограничивая его максимальное
значение. Т.е. невозможно использовать передатчик бесконечно большой мощности в
целях уменьшения затухания и получения требуемого уровня сигнала на приёмной
стороне.
При разработке DWDM
вводится понятие частотного плана. Частотным планом называют сетку частотных
каналов, на которых ведется приём/передача данных DWDM. Сетка каналов определяет центральную частоту,
которые используются для DWDM-приложений.
Стандартом ITU G.694.1 рассматриваются частоты с шагом 12.5 ГГц, 25 ГГц, 50ГГц,
100ГГц. Данный шаг влияет на степень мультиплексирования, очевидно, чем больше
шаг, тем больше частотных подканалов возможно использовать в рамках одной
оптической системы. Частотная сетка стандарта ITU-T G.694.1 приведена в
приложении к пояснительной записке в Приложении А.
Первоначально топологии в которых использовалась технология DWDM ограничивались каналом точка-точка,
предполагая, что основным направлением роста будет наращивание пропускной
способности существующих каналов. Однако логическим продолжением стандартных
систем стали т.н. ADM [Add/Drop-Multiplexers], представляющие собой мультиплексоры ввода/вывода. Подобные
мультиплексоры позволяют вывести из одного (или нескольких, в зависимости от
реализации) оптического волокна некоторую частоту 
, ввести в волокно частоту 
, при этом остальные частоты оставить
без изменения. Физически данный процесс реализован с помощью тонкостенных
фильтров и системы зеркал, которые в совокупности перенаправляют оптический
сигнал требуемой частоты в отдельный оптический порт, пропуская без изменений
все остальные длины волн. Подобные устройства смогли позволить делать
ответвления на протяжении оптического волокна в некоторые тупиковые зоны.
3.2 Применяемое оборудование в
системах DWDM
Следующим востребованным элементом стали реконфигурируемые мультиплексоры
ввода-вывода или ROADM [Reconfigurable Optical Add/Drop Multiplexer]. Их
безусловным достоинством стала возможность запрограммировать выводимую/вводимую
длину волны и при этом не заниматься перепроектированием сети с нуля. Система
позволяет наращивать каналы по мере роста числа абонентов, которым требуется
данный канал. Схема организации каналов без использования ROADM представлена на рисунке (см. Рисунок
7).
Рисунок
7. Схема мультиплексирования сигналов оптического волокна
При использовании данной реализации имеется возможность соединить только
два узла несколькими каналами. Часто бывает необходимо вывести частоту на
промежуточном участке, скажем предоставить сервис для некоторого населённого
пункта или бизнес центра. При традиционной реализации DWDM не будет возможности сделать это без покупки
дополнительных волокон и перестроения (а порой и построения)
волоконно-оптической сети определённым образом. Ниже представлена схема решения
подобной проблемы с помощью ROADM
мультиплексоров (см. Рисунок 8).
Рисунок
8. Уплотнение оптического волокна с использованием ROADM
Одним из основных элементов любой WDM сети является устройство под названием оптический
транспондер. Данное оборудование позволяет интегрировать существующие сети,
например, сети Ethernet, и
оборудование спектрального уплотнения. По функциональности такое оборудование
отличается наличием возможности усиливать и регенерировать полученные
оптические сигналы. Необходимость использования данного устройства сводится к
тому, что многие существующие «клиентские» технологии не могут быть просто
преобразованы в DWDM формат, то
есть необходимо выполнение некоторого рода преобразования сигнала одного вида
или стандарта, в сигнал стандарта DWDM. Типичная схема применения транспондера - подключение для клиента
оптического порта 10G, приведена ниже
(см. Рисунок 9).
Рисунок
9. Схема работы оптического транспондера
При этом, важно отметить, что обычно транспондер производит, т.н. 3R-регенерацию или полную регенерацию
полученного клиентского сигнала, то есть восстановление формы, восстановление
амплитуды и восстановление синхронизации оптического сигнала. Подобное
оборудование часто ставится на клиентской принимающей стороне для преобразования
сигналов, при этом также осуществляя коррекцию ошибок.
При обсуждении DWDM
оборудования отдельно необходимо сказать о SFP/SFP+ [Small Pluggable Factor] трансиверах. Такие трансиверы часто применяются в
пассивных сетях передачи данных, когда конечному оборудованию необходимо
предоставить доступ к определённой DWDM частоте. В этом случае, двунаправленный трансивер как правило имеет
широкополосный приёмник, для того чтобы принимать и обрабатывать любую частоту,
которую отдаст ему транспондер или ROADM-мультиплексор, а передатчик имеет узкий диапазон частоты. Однако,
подобный подход к реализации отдельных подключений имеет безусловные минусы.
Во-первых, подобное оборудование обычно не имеет серийного производства даже
среди признанных лидеров рынка DWDM сетей,
то есть заказ подобного трансивера как правило выльется в значительные
материальные затраты. Во-вторых, масштабируемость решения, которое использует
трансиверы DWDM крайне мало, поскольку для каждого
оптического порта необходимо иметь ЗИП, а также четкое понимание частотного
плана системы в сочетании с невозможностью изменения последнего. По этой
причине необходимость использования подобных трансиверов сводят к минимуму, и
применяют программируемые лазеры, которые могут быть настроены на несколько разных
длин волн частотного плана. В традиционных системах их заменяют парой
транспондер и стандартный SFP+
трансивер, себестоимость которого несравнимо мала в сравнении с DWDM-трансиверами.
В условиях проектирования сети в федеральном округе, сигнал может потребоваться
усиливать и регенерировать. Как было оговорено ранее, на клиентской стороне
равномерность импульса обеспечивает оптический транспондер, а на магистральном
оборудовании данную функцию выполняют оптические усилители. Среди подобного
оборудования чаще всего используются усилители на основе эрбиевого волокна, а
также усилители на основе эффекта рассеяния Рамана. Любой оптический усилитель
ставит целью создание когерентного исходному одного или нескольких фотонов. При
этом, в EDFA-усилителе подобный эффект
достигается т.н. лазером накачки, который светит на оптическое волокно с
определённой, заранее известной длиной волны. Стоит отметить, что именно
усилителям EDFA, текущие DWDM-системы обязаны своим существованием. Усилители на
волокне, легированном эрбием EDFA за последние несколько лет произвели
революцию в телекоммуникационной промышленности. В простейших конструкциях EDFA
усиление происходит в достаточно узком диапазоне длин волн - примерно от 1525
нм до 1565 нм. В эти 40 нанометров умещается несколько десятков каналов DWDM.
Обычно, электронные повторители для восстановления сигнала на линии
связи, протяженностью в несколько тысяч километров, считывают сигнал с волокна,
преобразовывают его в электрический сигнал, усиливают импульс, далее снова преобразуют
уже электрический сигнал в оптическую форму и передают по линии связи.
Усилители RAMAN и EDFA полностью прозрачны, т.е. не зависят от используемых
протоколов передачи данных, форматов, длины волны и иных характеристик сигнала.
Подобная гибкость - одно из основных преимуществ использования их в системах
DWDM. Безусловно существуют и минусы у данного вида усилителей, требуется
тщательно учитывать их неоднородное спектральное усиление и шум, вносимый ими
за счет усиленной спонтанной эмиссии ASE [Amplified Spontaneous Emission]. Сети
с усилителями EDFA имеют многочисленные преимущества. Пропускную способность
таких сетей можно наращивать экономично и постепенно, добавляя новые каналы по
мере роста потребности.
Также необходимо сказать несколько слов не только о усилении оптического
сигнала, но и об изменении его уровня мощности в противоположную сторону. Для
этого используется прибор под названием оптический аттенюатор. В традиционных DWDM-системах, оптические сигналы должны
быть одинаковой мощности, т.е. выровнены вне зависимости от того, как далеко от
места ввода был сформирован сигнал. Простой пример использования - аттенюатор
на этапе ввода волны в ROADM-мультиплексор.
На данном этапе необходимо добавить некоторую частоту к волне таким образом,
чтобы характеристика добавленного сигнала с точностью совпадала с мощностью
сигнала, который уже присутствует в оптическом волокне. Принцип работы
стандартного аттенюатора обычно основан на оптическом зазоре между соединяемыми
волокнами. Те потери мощности на оптических коннекторах, спайках,
мультиплексорах, что обычно считаются вредными и паразитными, на аттенюаторе
используются на пользу и во благо. Традиционные аттенюаторы имеют возможность
вносить затухание от 5 до 30дб с шагом до 0.5дб.
В обзоре DWDM компонент и
характеристик не последнее место занимает такой, казалось бы, простой предмет,
как оптическое волокно. Современные стандарты имеют несколько вариантов
реализации оптических волокон, каждый из которых отличается своими
характеристиками. Стандарты для оптических волокон определяет Международный
Союз Электросвязи ITU. Изначально
оптические волокна принято делить на два общих типа: одномодовые и
многомодовые. Можно грубо иллюстрировать, что в случае попадания излучения
лазера в волокно многомодового типа, свет от источника передается отдельными
лучами (cм. Рисунок 10).
Рисунок
10. Пути сигнала в многомодовом и одномодовом оптических волокнах
При попадании света в одномодовое волокно, распространение ведется по
одному оптическому пути. По причине запаздывания составного сигнала от
нескольких мод, для работы на протяженной дистанции, используют именно
одномодовое волокно. Оно и является сейчас самым распространённым типом волокна
в мире; к 1980 году было проложено около 80 миллионов стандартного одномодового
волокна.
Следует упомянуть, что «стандартное одномодовое волокно» это целиковый
стандарт ITU G.652. Существуют также и другие стандарты для подобных
волокон. Их основные характеристики представлены в таблице 3.
Таблица
3. Основные параметры различных оптических волокон
|
Стандарт ITU
|
Русское название стандарта
|
Количество мод
|
Длина волны нулевой дисперсии, нм
|
Значение дисперсии, пс/нм*км
|
Затухание
|
|
G.652
|
Стандартное одномодовое ОВ
|
1
|
3,5-18
|
0,4 дБ/км-1310нм 0,35 дБ/км-1550нм 0,4 дБ/км-1625нм
|
|
G.653
|
Одномодовое ОВ с нулевой смещённой дисперсией
|
1
|
1550
|
3,5
|
0,35 дБ/км-1550нм
|
|
G.655
|
Одномодовое ОВ с ненулевой смещённой дисперсией
|
1
|
Нет
|
0,1-5
|
0,35 дБ/км-1550нм
|
|
G.651
|
Многомодовое ОВ 50/125 мкм
|
N
|
800/1300
|
104
|
1-3,5 дБ/км
|
Несколько замечаний необходимо дать относительно выделенных типов
оптических волокон. Изначально, стандартное волокно имело т.н. водяной пик на
длине волны около 1383 нм, который был обусловлен наличием в волокне
гидроксильной группы и приводил к увеличению затухания на этом участке частот
до нескольких децибел на километр. Нулевая дисперсия наблюдается на длине волны
1310нм. Также величина хроматической дисперсии стандартного волокна достаточно
велика, что, однако, не всегда является отрицательным моментов, поскольку
приводит к уменьшению нелинейных эффектов в волокне с ростом мощности, а также
легко компенсируется современными системами компенсации дисперсии. Тем не
менее, для внедрения DWDM
систем, производители волокна разработали специальный тип кабеля - волокно со
смещённой дисперсией, которое имеет нулевую дисперсию в том диапазоне длины
волны, где и работает DWDM
(около 1550нм). К сожалению, из-за нелинейных эффектов, а именно
четырехволнового смешения (FWM),
использование данного волокна сильно ограничено маленьким расстоянием. Волокно
с ненулевой смещённой дисперсией имеют хорошо контролируемую дисперсию на
требуемом участке частот (0,3-0,7 пс/нм*км в диапазоне 1530-1560нм). Такого
значения достаточно, чтобы подавить эффекты четырехволнового смешения, и данный
тип волокна по праву считается лучшим для использования в системах DWDM.
Поскольку, техническое задания проекта строительства сети ограничивает
использование оптических кабелей готовой инфраструктурой компании «Атраком», в
нашем распоряжении имеются кабели стандарта G.652, т.е. стандартные одномодовые волокна. Очевидно, что
из-за наличия ненулевой дисперсии в C-диапазоне окна прозрачности, необходимо использовать компенсаторы
хроматической дисперсии в условиях территориально протяженных пролётов линий
связи.
Под компенсатором дисперсии любого вида, в т.ч. хроматической, понимается
пассивное оптическое устройство, которое нивелирует дисперсию, накопленную в
волокне таким образом, чтобы исходные сигналы соответствовали полученным. Так
как стандартное SMF волокно (ITU G.652) в C-диапазоне длин волн имеет фактор
дисперсии 17пс/нм*км, это является главным ограничением для организации длинных
оптических линий. С ростом скорости передачи данных дисперсия в большей степени
влияет на фронт импульса. Тем самым передача данных на скорости 10Gb/s
осложняется на расстояния более 80-100км в G.652 стандарте оптического волокна.
Компенсаторы дисперсии SNR-DCM позволяют восстановить фронт импульсов. При
изготовлении устройств используется технология производства оптических волокон
с отрицательным значением хроматической дисперсии в диапазоне длин волн 1525÷1565нм. Таким образом компенсатор имеет
по сути настраиваемую отрицательную дисперсию, а сигнал положительную, по
принципу суперпозиции на выходе из каскада получается чистый, выровненный
сигнал.
Рисунок
11. Включение компенсаторов дисперсии в систему DWDM
Источник:
статья «UA.DWDM - Почувствуй себя магистралом» <#"865281.files/image019.gif">
Рисунок
13. Использование топологии точка-точка для охвата региона
Главный центр обработки данных в г. Симферополь, является центральным
узлом передачи данных, который замыкает на себе основные потоки
пользовательских и клиентских данных. От центрального ЦОД составлена
полносвязная топология с резервными ЦОД, а также с точками обмена трафиком. При
этом, участки оптической трассы составлены таким образом, чтобы основной и
резервный маршруты проходили по разным физическим путям, или, фактически, по
разным кабельным системам существующей инфраструктуры.
К достоинствам данного решения можно отнести простоту исполнения данного
проекта, а также дублирование имеющихся каналов связи в режиме active-active. Данный режим подразумевает работу обоих каналов
передачи данных между датацентрами и узлами связи, что приводит к тому, что
пропускная способность увеличивается в два раза. Недостаток системы вытекает
отсюда же, необходимо физическое наличие двух различных комплектов оборудования
для каждого волокна, необходимо увеличить в два раза портовую ёмкость каждого
сетевого устройства, которое будет отвечать за коммутацию каналов.
К недостаткам также следует отнести и большую величину вариации задержки,
поскольку расстояние, которое пройдет свет по одному участку трассы и
расстояние, которое пройдет свет по другому участку сильно различаются, местами
более чем в 4 раза. Подобная ситуация может привести к проблеме, обозначаемой в
литературе как реордеринг, т.е. к изменению порядка следования пакетов, что
является крайне негативным фактором при работе протоколов реального времени VoIP, RTP [Real Time Protocol] и т.п.
Вторым вариантом реализации сети является кольцевая топология построения
(см. Рисунок 14).
Рисунок
14. Использование кольцевой топологии для охвата региона
Основные города и датацентры объединены в оптическое DWDM кольцо, пропускная способность
подобной системы составляет 1.28Тбит/с по двум оптическим волокнам. При этом
такая схема позволяет гарантировать резервирование каналов на физическом
уровне. В случае обрыва кольца в одном месте, производители оборудования
гарантируют переключение в течение 50мс на резервный путь. При этом трассы по
которым проходит волокно физически независимы, что позволяет исключить
возможность неисправность одновременно на двух участках кольца. Живучесть и
надежность всей сети обеспечивается двумя возможными направлениями передачи
трафика на каждом узле передачи данных. Логически каждый путь представляется
одним и тем же физическим каналом, что позволяет проводить переключение в
случае неисправности в абсолютно прозрачном режиме.
По факту, реализация любого вида кольцевой DWDM-топологии предполагает преимущественное использование
OADM мультиплексоров, что позволяет
получать требуемые длины волн на различных участках оптической магистрали в
пассивном режиме, без использования электрической коммутации. Для подобных
мультиплексоров характерны два общепринятых названия направления движения
сигнала: «East» и «West», трафик проходит только в одном активном направлении
на основе системы детектирования проблем на каждом конкретном частотном
подканале системы.
К недостаткам подобной системы можно отнести увеличение технической
сложности проекта, а как следствие и стоимости его пуско-наладки и
обслуживания. Тем не менее, перечисленные достоинства и прозрачность такого
варианта несомненно указывают на необходимость выбора именно его в качестве
опорного для реализации проекта. Для этого типа топологии произведём обзор
требуемого оборудования, а также укажем основные оптические и физические
параметры для расчета оптического бюджета, затухания, накопленной дисперсии и
других параметров системы.
Согласно утвержденному техническому заданию, строительство физической
среды передачи данных необходимо проводить на работающей инфраструктуре
кабельного провайдера Атраком. Данные о Крымском участке их оптических кабелей,
приведены в Приложении Б.
Необходимо составить граф обхода городов, входящих в кольцо центров
обработки данных, а также крупных населённых пунктов. Основными участками
кольца могут являться города и поселения по топологическому кольцу: г.
Симферополь - г. Севастополь - г. Алупка - г. Алушта - г. Судак - г. Феодосия -
п. Приморский - п. Совесткий - г. Джанкой - г. Красноперекопск - п. Черноморское
- г. Евпатория - г. Саки - г. Симферополь.
Расстояния от г. Симферополь до ключевых точек сети приведены в таблице
5.
Таблица
5. Прямые и резервные расстояния до узлов от г. Симферополь
|
Город/Объект
|
Расстояние 1
|
Расстояние 2 (резерв)
|
|
Севастополь, ЦОД
|
92,605 км
|
866,931 км
|
|
Алупка, узел связи
|
181,371 км
|
778,165 км
|
|
Ялта, узел связи
|
199,188 км
|
760,348 км
|
|
Алушта, узел связи
|
242,669 км
|
716,867 км
|
|
Судак, узел связи
|
354,457 км
|
605,079 км
|
|
Феодосия, рЦОД
|
425,485 км
|
534,051 км
|
|
Керчь, точка обмена трафиком
|
549,535 км
|
647,499 км
|
|
Джанкой, рЦОД
|
383,084 км
|
576,452 км
|
|
Красноперекопск, точка обмена трафиком
|
326,226 км
|
633,31 км
|
|
Черноморское, узел связи
|
197,338 км
|
762,198 км
|
|
Евпатория, узел связи
|
77,568 км
|
881,968 км
|
|
Саки, узел связи
|
50,251 км
|
909,285 км
|
Расстояния от г. Севастополь до ключевых точек сети приведены в таблице
6.
Таблица
6. Прямые и резервные расстояния до узлов от г. Севастополь
|
Город/Объект
|
Расстояние 1
|
Расстояние 2 (резерв)
|
|
Алупка, узел связи
|
88,766 км
|
868,246 км
|
|
Ялта, узел связи
|
106,583 км
|
850,429 км
|
|
Алушта, узел связи
|
150,064 км
|
811,221 км
|
|
Судак, узел связи
|
261,852 км
|
699,433 км
|
|
Феодосия, рЦОД
|
332,88 км
|
628,405 км
|
|
Керчь, точка обмена трафиком
|
456,93 км
|
726,784 км
|
|
Джанкой, рЦОД
|
477,438 км
|
483,847 км
|
|
Красноперекопск, точка обмена трафиком
|
420,58 км
|
540,705 км
|
|
Черноморское, узел связи
|
291,692 км
|
669,593 км
|
|
Евпатория, узел связи
|
171,922 км
|
789,363 км
|
|
Саки, узел связи
|
144,605 км
|
816,68 км
|
|
Симферополь
|
92,605 км
|
868,68 км
|
Расстояния от г. Джанкой до ключевых точек сети приведены в таблице 7.
Таблица
7. Прямые и резервные расстояния до узлов от г. Джанкой
|
Город/Объект
|
Расстояние 1
|
Расстояние 2 (резерв)
|
|
Красноперекопск, точка обмена трафиком
|
56,858 км
|
900,154 км
|
|
Черноморское, узел связи
|
185,746 км
|
771,266 км
|
|
Евпатория, узел связи
|
305,516 км
|
651,496 км
|
|
Симферополь, ЦОД
|
384,833 км
|
572,179 км
|
|
Севастополь, ЦОД
|
477,438 км
|
479,574 км
|
|
Алупка, узел связи
|
390,808 км
|
566,204 км
|
|
Ялта, узел связи
|
372,991 км
|
584,021 км
|
|
Алушта, узел связи
|
333,783 км
|
627,502 км
|
|
Судак, узел связи
|
221,995 км
|
739,29 км
|
|
Феодосия, рЦОД
|
150,967 км
|
810,318 км
|
|
Керчь, точка обмена трафиком
|
249,346 км
|
908,697 км
|
Расстояния от г. Феодосия до ключевых точек сети приведены в таблице 8.
Таблица
8. Прямые и резервные расстояния до узлов от г. Феодосия
|
Город/ОбъектРасстояние 1Расстояние 2 (резерв)
|
|
|
|
Керчь, точка обмена трафиком
|
98,379 км
|
98,379 км
|
|
Джанкой, рЦОД
|
150,967 км
|
810,318 км
|
|
Красноперекопск, точка обмена трафиком
|
207,825 км
|
753,46 км
|
|
Черноморское, узел связи
|
336,713 км
|
624,572 км
|
|
Евпатория, узел связи
|
456,483 км
|
504,802 км
|
|
Симферополь, ЦОД
|
425,485 км
|
535,8 км
|
|
Севастополь, ЦОД
|
332,88 км
|
628,405 км
|
|
Алупка, узел связи
|
244,114 км
|
717,171 км
|
|
Ялта, узел связи
|
226,297 км
|
734,988 км
|
|
Алушта, узел связи
|
182,816 км
|
778,469 км
|
|
Судак, узел связи
|
71,028 км
|
890,257 км
|
3.5 Выводы
Проведя анализ физического уровня передачи, были учтены современные
тенденции развития технологий уплотнения сигнала, выбраны основные направления
и решения, которые характерны для построения территориально распределённых
сетей центров обработки данных.
Исходя из представленных материалов:
· Необходимо использование систем уплотнения сигнала при
строительстве сети центров обработки данных
· Наибольший интерес при проектировании представляет
оборудование с дальностью действия от 500 до 2000 км
· Параметры DWDM
системы должны быть строго расчитаны во избежание неполадок на момент
проведения эксплуатации
· Различные топологические варианты организации услуги могут
существенно изменить количество и порядок включения оборудования на местах
4.
Анализ вариантов проектирования
межсетевого взаимодействия центров обработки данных
4.1 Основные подходы в организации сетевого уровня передачи
данных центров обработки данных
Важной частью планирования сети является не только размещение сетевых
устройств и узлов связи, но и определение порядка их взаимодействия на сети
передачи данных. На предыдущем этапе были выделены предполагаемые доступные
места расположения основных и резервных ЦОД, а также точек обмена трафиком.
Оборудование в данных городах связывается друг с другом напрямую по опорной DWDM сети передачи данных на частотах,
доступных согласно частотному плану, доступному в Приложении А.
Для осуществления прозрачного сетевого взаимодействия, корректной работы
вышележащих сетевых протоколов, а также реализации высокого уровня
отказоустойчивости и катастрофоустойчивости, сетевые устройства ядра центров
обработки данных соединяют в полносвязную топологию. Прогнозируемое количество
трафика, исходящего из каждого ЦОД на 2015 год, не превышает 40Гбит/с, что
позволяет использовать высокоскоростные интерфейсы передачи данных нового
поколения 40GBASE-LR4, которые могут дублироваться в целях увеличения
отказоустойчивости всей системы, и резервирования её на уровне линейных карт
коммутационных устройств.
Существует два основных подхода к проектированию
территориально-распределённых IP/MPLS сетей, главными узлами в которых
являются ЦОДы. Первая модель возникла на заре сетевого проектирования и
называется «плоской моделью построения сети». Она предполагает отсутствие
разбиения сети на широковещательные домены и имеет ряд существенных недостатков
в сравнении с другими моделями:
· отсутствие модульности при использовании;
· пониженная отказоустойчивость за счет невозможности
дублирования;
· невозможность распределения сетевых функций по устройствам.
Такая модель длительное время не используется при построении современных
центров обработки данных. Её место заняла трехуровневая модель, или
иерархическая модель Cisco.
В пределах каждого центра обработки данных, система может быть построена
по классической трехуровневой сетевой модели. Самый низкий уровень - уровень
доступа, оборудование этого уровня представляет собой коммутаторы с медными и
оптическими портами для подключения конечных клиентов и предоставления различных
сервисов пользователям. Следующий уровень - уровень агрегации, предназначен для
сбора и переработки большого количества клиентского трафика, применения политик
безопасности, распределения трафика по исходящим линкам и организации
отказоустойчивости на уровне сети. Уровень ядра сети предполагает наличие
быстрых, высокопроизводительных устройств, принимающих решение о маршрутизации,
осуществляющих межсетевое взаимодействие с позиции межсетевых потоков данных.
Для повышения надежности и отказоустойчивости, все три уровня представлены
дублированными шасси, которые логически объединены в одно устройство. Это
позволяет избежать кольцевых топологий на втором и третьем уровне сети, которые
не соответствуют заявленным в техническом задании требованиям к сетевым
задержкам.
Ядро сети также составляют высокопроизводительные маршрутизирующие
устройства на границах сети передачи данных. На этих объектах осуществляется
выход пользовательского трафика за пределы основной сети, например, в Россию и
Европу. С учетом широких возможностей технологического решения по организации
оптической инфраструктуры передачи данных, каждый ЦОД может быть связан прямым
включением к точке обмена трафиком физически независимым каналом. Для подобного
канала связи оценочная скорость не превышает 10Гбит/с на 2015 год, а значит
достаточно использовать 10Gbase-LR интерфейсы с дублированием 2n для обеспечения резервирования.
При подключении отдельных узлов передачи данных, типовое включение
предполагает использование двух оптических каналов связи, зарезервированных на
уровне физической среды передачи данных. Однако, поскольку количество подобных
включений и их уровень критичности зависит от заказанных различными
предприятиями и сервис-провайдерами услуг, предусматривается возможность
использования только одного канала связи на поселение/город. Подобная
необходимость должна разрабатываться индивидуально с ростом сети, а также
оценкой каждого конкретного подключения района или города. Стандартный набор
оборудования, который требуется для подключения отдельного узла состоит из т.н.
PE [Provider Edge] устройств - устройств непосредственного включения
клиентов и услуг, а также P [Provider] устройств, которые связывают PE устройства и ядро сети, а также
служат для подключения крупных клиентов или сервис-провайдеров и предоставляют
последним расширенный набор сетевых сервисов.
Таким образом, на данном этапе можно выделить типы необходимого
оборудования для разных участков сети.
· Коммутаторы доступа в ЦОД.
· Коммутаторы/маршрутизаторы агрегации в ЦОД.
· Маршрутизаторы ядра сети.
· Маршрутизаторы точек обмена трафиком.
· Сервис-коммутаторы узлов связи.
· Маршрутизаторы узлов связи.
· Сопутствующее сетевое оборудование (оптические трансиверы,
патчкорды, панели).
Рассмотрим необходимый функционал, которым должно обладать оборудования
доступа, а также оборудование магистральной сети.
Коммутаторы доступа ЦОД имеют наименьший функционал, поскольку
обеспечивают исключительно физическое подключение оборудование к сети передачи
данных с минимальным набором сервисов, предоставляемым пользователям. Тем не
менее, чаще всего именно уровень доступа к сети является самым распространенным
по числу ошибок и отказов, являясь узким местом взаимодействия пользователя и
провайдера услуг. Коммутатор для ЦОД должен обладать хорошими характеристиками
портовой емкости и низкой задержкой на коммутацию, предпочтительно также
наличие возможности модернизации портов в более современные типы или
возможность гибкой настройки порта. Пропускная способность внутренней шины
коммутаторов должна быть неблокируемой, то есть обеспечивать взаимодействия с
опорной сетью на скорости порта вне зависимости от портовой загрузки. На этом
уровне требуется работа с базовыми сетевыми сервисами второго уровня. Поскольку
сеть ЦОД также может быть использована для работы с многоадресной рассылкой,
например, IPTV, необходимо иметь возможность работы
с мультикастовым трафиком.
Уровень агрегации может быть представлен коммутатором или
маршрутизатором, который имеет возможность стекирования для логического объединения
шасси. На данном уровне происходит начальная маршрутизация клиентского трафика,
организован т.н. FH-redundancy [First-Hop Redundancy], то
есть резервирование основного шлюза. Маршрутизатор должен иметь возможность
работать с протоколами внутренней маршрутизации (OSPF [Open Shortest
Path First], RIP [Routing Information Protocol], ISIS [Intermediate System to Intermediate System]), а
также протоколом BGP [Border Gateway Protocol], как основного связующего протокола
PE и P устройств. Устройство данного уровня в обязательном порядке
поддерживает технологии и сервисы MPLS [Multiprotocol Label Switching], имеет возможность работы с
мультикаст трафиком, включая его маршрутизацию, а также является готовым для
взаимодействия по IPv6.
Уровень ядра сети представлен высокопроизводительными маршрутизаторами
провайдерского класса, которые осуществляют коммутацию трафика на основе меток,
получаемых от других устройств этой группы. Данные маршрутизаторы обязаны уметь
обрабатывать полную таблицу IPv4
маршрутов Интернет в количестве до 2х штук в различных маршрутизационных
процессах, а также полную IPv6
таблицу маршрутов. Межсетевое взаимодействие с данными устройствами
осуществляется с помощью протоколов внутренней маршрутизации, внешней
маршрутизации, а также коммутации по меткам. Расширенный функционал мульти
протокольного BGP также является дополнительным плюсом
при выборе производителя устройств этого класса. Отсутствие любого вида
переподписки портов является обязательным условием не только оборудования ядра
сети, но и всего проекта ЦОД в целом.
Маршрутизаторы на точках обмена трафиком должны иметь тот же функционал,
что и маршрутизаторы ядра сети, однако отличаются гибкими возможностями
организации клиентских подключений, а также большим числом и плотностью
разнообразных портов. Обмен трафика с пиринговыми партнерами и вышестоящими
провайдерами предполагает наличие высокопроизводительного ЦПУ в составе
маршрутизаторов, поскольку обсчет таблиц больших размеров должен производиться
быстро и без влияния на остальные сетевые сервисы. Взаимодействие с остальными
участками сети должно производиться через протокол коммутации по меткам и
внутренние протоколы маршрутизации.
Комплект сетевого оборудования на узлах связи сильно зависит от
заказанных услуг, и является предметом непосредственного обсуждения на этапе
включения нового узла. В рамках проекта, базовый комплект предполагает
48-портовый свич для города с населением более 50тыс человек, 24 портовый свич
для города с населением менее 50тыс человек. Данный коммутатор предоставляет
базовый доступ к сети ЦОД, а также является агрегатором клиентских портов с
выходом на маршрутизатор узла связи. Маршрутизатор на узле является связующим
слоем между опорной сетью и уровнем доступа узла, а также концентратором
крупных клиентских включений и услуг VPN [Virtual Private Network]. Примером таких услуг являются L2VPN, L3VPN, IPv6-включения, FV [Full-View] включения. Таким образом, структура отдельного узла
связи представляет собой модернизированную трехуровневую модель организации
сети передачи данных с логически совмещенными уровнями агрегации и доступа,
разделёнными на два отдельных физических устройства.
4.2 Анализ рынка магистрального сетевого оборудования
Решения, которые характерны для уровня агрегации и доступа ЦОД, имеет
смысл рассматривать комплексно, чаще всего их делают одновендорными, для
создания единой гомогенной среды передачи центра обработки данных. Рассмотрим
подобные связки, проанализировав основные их достоинства и недостатки.
Компания Juniper
Networks предлагает использовать на уровне
доступа их коммутаторы EX4300, которые являются одними из лучших по показателю
плотности портов. Данный коммутатор имеет широкие возможности для
масштабирования, поскольку представлен в различных вариациях по количеству
портов, а также имеет функционал, необходимый для включения 40Гбит/с или
10Гбит/с портов к вышестоящему коммутатору. Поддерживается технология Virtual Chassis, благодаря которой до 10 физических устройств можно
объединить в одно логическое устройство и управлять всеми портами общего
коммутатора из одной точки. Осуществлена также поддержка NSF [Nonstop forwarding], которая позволяет осуществлять
обновление программного обеспечения устройства без перерыва сервиса. Большое
внимание уделено безопасности, интегрирован MacSecurity функционал. Заявляется поддержка трафика до 350 миллионов
пакетов в секунду без переподписки, а также весь современный спектр технологий
второго уровня: jumbo frames, большое количество VLAN [Virtual Local Area Network], Производители не обошли стороной работу с
мультикастом, предоставляют ресурсы для осуществления мониторинга трафика, а
также большое количество вариаций моделей коммутаторов по количеству портов,
направлению обдува воздуха, а также типу интерфейсов (медный или оптический).
Второй компонент связки - коммутатор уровня агрегации, представлен серией
EX9200. Пропускная способность такого
коммутатора 12.4Тбит/с на шасси, одна линейная карта способна обработать до 120
миллионов пакетов в секунду. Коммутатор имеет модульную конструкцию, а значит
идеально масштабируется под требования заказчиков и растущие потребности сети
передачи данных. EX9200 занимает 21
юнит в центре обработки данных, имея возможность дополнительного стекирования с
коммутатором подобного типа по технологии «Virtual Chassis». В расширенной лицензии коммутатора существует
поддержка протокола BGP, а также MPLS. Доступна поддержка огромного числа
современных сетевых технологий второго и третьего уровня, до миллиона маршрутов
в базе форвардинга, широчайший спектр услуг качества сервиса QOS [Quality of Service], поддержку протокола IP шестой версии, мультикастовой передачи данных.
Компания Cisco Systems предлагает сразу два решения. Первое
решение основано на новых коммутаторах компании Cisco Nexus. Прелесть данного решения в том, что в уровень
доступа и уровень агрегации логически совмещен, при этом оставаясь физически
разделённым. Для этого на доступ устанавливаются коммутаторы Nexus2000, которые
не имеют собственного интерфейса управления и не могут использоваться отдельно.
Для управления и настройки такого устройства используется агрегирующий
коммутатор Nexus7700. Устройства уровня логически
представляются линейными картами уровня агрегации, то есть на коммутаторе Nexus7000 с добавлением каждого нового Nexus2000 увеличивается количество
доступных физических интерфейсов. Настройку такого подключаемого FEX [Fabric Extender] осуществляет сам агрегирующий
коммутатор без воздействия пользователя. Такой подход существенно упрощает и
минимизирует необходимые от администраторов действия по настройке и
эксплуатации сетевого оборудования, а также ведет к унификации конфигурационных
файлов на всех участках сети. Набор сетевых служб и сервисов, предоставляемых
подобной платформой достаточно обширный. Это любого рода L3/L2 коммутация и маршрутизация, возможность работы с основными
сервисами MPLS, поддержка больших таблиц
маршрутизации, включая BGP-таблицы,
работа с IPv6 и мультикаст передачей данных.
Выносные коммутаторы Nexus2000
могут иметь различное число портов под нужды заказчика, а также разнообразные
вариации физической среды (медная, оптическая). Модульный принцип построения
шасси Nexus7700 позволяет подключать до 64
подобных устройств на одно шасси.
Вторым решением от Cisco
является стекируемый коммутатор Catalyst 2960X на уровне доступа и Catalyst 6800/6500 на уровне агрегации
каналов. Cisco Catalyst 2960X представляет собой одноюнитовое устройство с 24/48
гигабитными портами, возможностью организации питания через Ethernet. Включена поддержка технологии FlexStack, которая позволяет стекировать не
более 8 коммутаторов с общей пропускной способностью внутренней шины 80Гбит/с,
что означает наличие минимальной переподписки портов. Расширенный набор
технологий второго уровня включает в себя работу с VLAN, STP [Spanning Tree Protocol], улучшенным подходом к реализации
качества сервиса, большим лимитом на число MAC-адресов. Коммутатор доступа 2960X является идеальным решением для
средненагруженных кампусных сетей и сетей центра обработки данных. Второй
компонент системы, Catalyst
6800/6500, это классическое шасси уровня агрегации датацентра от Cisco. Шасси имеет модульную структуру, в
зависимости от размера шасси поддерживается от одной до 14 плат с различным
типом портов и назначением. Пропускная способность подобной системы составляет
2Тбит/с, с возможностью стекирования по технологии VSS [Virtual Switching System]. Устройство обладает широким
спектром возможностей L2
коммутации, в т.ч. коммутации по меткам, а также более скромным набором L3 функций, тем не менее включая
необходимые для реализации проекта сервисы BGP/MPLS, IGP [Interior Gateway Protocols].
Компания Extreme
Networks, чуть менее популярный, но
набирающий обороты производитель сетевого оборудования из США, представил свое
решение для ЦОД. Набор устройств предоставляет инструментарий для удовлетворения
всех требований к коммутационной инфраструктуре, выбора схемы построения и
модели включения серверного оборудования датацентра. Summit X450a
позиционируется как «Top of the
Rack» коммутатор дата-центра. Он имеет 24/48 гигабитных портов и возможность
установки отдельного модуля расширения для подключения двух 10Гбит/с портов,
которые используются для подключения внешних каналов. Сегодня большинство
подключений серверов приложений и серверов хранения данных используют порты
1Гбит/с. Дополнительными преимуществами решения для дата-центров от Extreme
Networks являются: модульная операционная система ExtremeXOS, аппаратное
выполнение определенного функционала на высокопроизводительных ASIC [Application-specific Integrated Circuit]
микросхемах, обеспечение лучшей сходимости в кольцевых топологиях, а также
единая централизованная система мониторинга и управления EPICenter. Весь
требуемый проектом функционал с избытком присутствует в коммутаторе X450a. Агрегацию каналов от коммутаторов доступа компания Extreme предлагает осуществлять на их
решении «Black Diamond». Данная линейка высокопроизводительных коммутаторов
имеет несколько моделей, также, как и у других производителей гарантируется
неблокируемая пропускная способность и высокий уровень масштабируемости
вследствие использования модульной архитектуры решения. L3 функционал представлен значительно
слабее остальных производителей, заявленная поддержка MPLS не покрывает все требуемые сетью MPLS-сервисы, однако минимального набора
вполне хватает для работы данного устройства на уровне агрегации ЦОД и
компенсируется невероятной пропускной способностью шасси. Например, шасси BlackDiamond8810 может переработать до 4Тбит/с
трафика. Подобное решение также поддерживает работу с мультикаст трафиком, IP версии 6, и иерархическое
предоставление политик качества обслуживания пользователям.
При выборе маршрутизирующего оборудования разного вида, свои решения
представили компании Juniper
и Cisco. Их оборудование наиболее точно
подходит под заданные условия работы с указанными в требованиях технологиями и
идеальны в качестве организации ядра сети ЦОД.
Juniper Networks
предлагает к установке в качестве маршрутизатора ядра, граничного
маршрутизатора и маршрутизатора узлов доступа предлагает использовать различные
вариации своей линейки MX Routers. Младшее семейство линейки
маршрутизаторов Juniper
Networks MX 3D позволяет
получить все возможности старших моделей MX-серии с полным функционалом IP/MPLS-маршрутизации
и Ethernet-коммутации в компактной недорогой
платформе с низким электропотреблением и тепловыделением. MX5, MX10, MX40
выполнены на базе аппаратной платформы MX80. Посредством лицензионных расширений устройства могут
«превращаться» в более старшие. Такие устройства могут быть использованы на
сети в качестве маршрутизаторов узлов доступа и граничных маршрутизаторов. Для
данных устройств характерен развитый MPLS-функционал, агрегация абонентов ШПД,
NAT [Network Address Translation] и многое другое. Безусловным плюсом
данной серии является тот факт, что подсистемы управления и передачи трафика
разделены на аппаратном уровне. В таблице маршрутизации может быть сохранено до
2,4 миллионов маршрутных записей, пропускная способность составляет до
80Гбит/с. Серия производительных MX, а именно MX240, MX480,
MX960 - это маршрутизаторы с
производительностью 400 Гбит/с на слот, предмет гордости компании Juniper
Networks. Линейные карты с высокой плотностью портов 10, 40 и 100 Gigabit
Ethernet дают возможность агрегировать огромное количество высокоскоростных
интерфейсов, что требуется для маршрутизаторов на границе сети, т.к. это
отличное решение для межоператорского обмена трафиком. Сервисные модули
позволяют реализовать statefult-фильтрацию, NAT, IPS и другие дополнительные
сервисы. Пропускная способность всего шасси до 5,3Тбит/с.
Компания Cisco Systems использует для построения ядра сети
платформы Aggregated Service Router ASR9000 и ASR1000.
Маршрутизаторы Cisco ASR серии 1000 - первые в отрасли
маршрутизаторы агрегации сервисов и первые продукты Cisco IP NGN [Next Generation Network] с модулем периферийной
маршрутизации. Маршрутизаторы Cisco ASR серии 1000
обладают непревзойденным соотношением цена/производительность среди решений
периферийной маршрутизации. Данные маршрутизаторы предназначены для агрегации
управляемых сервисов и сервисов "any play" в жилом
секторе. Данное
семейство маршрутизаторов предоставляет провайдерам следующие преимущества:
· лучшая в отрасли вычислительная производительность и
интеллектуальные сервисы по беспрецедентно низкой цене;
· значительное снижение эксплуатационных расходов и капитальных
затрат;
· мгновенное подключение новых сервисов, быстрая
масштабируемость и новые источники доходов за счет предоставление новых
управляемых и бизнес-сервисов.
Маршрутизатор Cisco9000 это
новая платформа для перевода сетей на технологию IP NGN. Она используется в качестве транспортной основы для
поддержки быстрого роста видео- и мобильного трафика в операторских Ethernet-сетях. Пропускная способность
маршрутизатора Cisco ASR 9000 достигает 6,4 Тбит/с, вшестеро
превышая аналогичный показатель иных сравнимых решений для граничной
маршрутизации. Линейные карты Cisco ASR 9000 имеют
пропускную способность до 400Гбит/с на слот.
4.3 Варианты проектирования внутрисетевых связей между объектами
Помимо выбора и включения сетевого оборудования необходимо понимать каким
образом будет происходить сетевое взаимодействие между узлами связи,
датацентрами, а также точками обмена трафиком, исходя из необходимости такого
обмена внутри сети. Правильное понимание того, каким путём будет проходить
трафик из разных точек сети, а также корректное представление уровней сети с
позиции сетевой иерархии, ведёт к построению масштабируемого, надёжного
решения, эксплуатационный срок которого будет составлять несколько десятков лет
без изменения фундаментальных концепций связности объектов сети.
Одной из главных проблем на этапе строительства логической части сети
передачи данных становится выбор протокола маршрутизации. Работа внутренних
протоколов маршрутизации, работающих под управлением одного технического
персонала внутри сети передачи данных, и работа внешних протоколов
маршрутизации, созданных для межсетевого взаимодействия различных отдельных
сетей передачи данных, существенно различаются.
Выбор внешнего протокола маршрутизации на текущий момент по факту
ограничен только одним вариантом. Это протокол eBGP [exterior Border Gateway Protocol], которым пользуется 100%
Интернет-провайдеров в мире, являющийся стандартом де-факто внешнего
межсетевого взаимодействия. По своей сути данный протокол является
дистанционно-векторным, который в качестве основной метрики использует
количество автономных систем (обособленных сетей), которые необходимо пройти
для достижения сети назначения. Однако, это далеко не единственный параметр, по
которому выбирается лучший маршрут протоколом BGP. Именно благодаря возможностям гибкой настройки BGP получил широчайшее распространение.
Концепция работы eBGP в
том, что различные сети передачи данных в мире распространяют информацию об IP-сетях, которые находятся внутри их.
Вместе с информацией о самой сети передаются данные о том, какие автономные
системы были пройдены от узла, принимающего обновление, до узла-источника
информации. Передаются данные о том каким образом обновление было получено в
сети источника, какие текстовые метки были добавлены к маршруту, адрес
следующего маршрутизатора, а также маршрутизатора, который отправил обновление.
Основные параметры, влияющие на выбор маршрута протоколом BGP приведены в таблице 9 в порядке их
значимости.
Таблица
9. Атрибуты протокола BGP
|
Название параметра
|
Описание параметра
|
|
BGP Next hop reachability
|
Доступность адреса следующего по пути маршрутизатора.
|
|
Local Preference
|
Приоритет маршрута внутри сети. В случае наличия нескольких
маршрутов до сети назначения лучший выбирается по наибольшему значению. Часто
используется для ручного управления порядком следования трафика в чужие сети
передачи данных.
|
|
AS-PATH
|
Путь по автономным системам, которые прошло обновление
дойдя до адресата. Чем короче AS-PATH, тем лучше маршрут.
|
|
Origin
|
Начальный источник маршрута. Лучше всего если источник
внутренний «internal», чуть хуже если external «EGP», наихудший вариант неопознанный источник или «incomplete»
|
|
MED
|
Метрика маршрута с точки зрения BGP. Вручную задаваемое значение, передающееся с каждым
обновлением маршрутной информации. Наименьшее значение самое лучшее. В
отличие от Local Preference, значение MED является транзитным, то есть не сбрасывается при
переходе из одной автономной системы в другую.
|
|
Neighbor type
|
Тип соседа, может быть внутренний или внешний. Внешний
маршрут получен из другой автономной системы, внутренний маршрут получен от iBGP соседа текущей автономной системы
|
|
IGP metric
|
Метрика протокола внутренней маршрутизации до BGP next-hop адреса маршрутного обновления.
|
поток данные нагрузка технологический
Как видно из таблицы, процесс выбора лучшего маршрута достаточно сложен,
однако позволяет проводить тонкую настройку политики маршрутизации сети
передачи данных.
Сейчас всё большую популярность набирает протокол LISP (Cisco Locator/ID Separation
Protocol). Маршрутизаторы магистральных сетей, использующие протокол граничного
шлюза, постоянно обмениваются друг с другом маршрутной информацией об около 500
тысяч хостов. Несколько лет назад это число равнялось всего 200 тысячам, а
десять лет назад ста тысячам. Вторым недостатком, является факт необходимости
обновления IP-адресов в сети в случае смены
провайдера, поскольку сейчас IPv4
адрес идентифицирует и узел, и его месторасположение в сети. В качестве
основных альтернатив BGP предлагается много вариантов, но наиболее реальные
шансы есть именно у LISP.
Протокол Locator/ID Separation Protocol (LISP) был создан инженерами
Cisco для разделения функций IP-адресов на две части: идентификации машин и
локаторов маршрутизации. Концепция предусматривает установку туннельных
маршрутизаторов, которые будут добавлять LISP-заголовки в информационные пакеты
по мере их движения по сети.
В качестве протокола внутридоменной маршрутизации рассматриваются
стандартизованные протоколы OSPF, RIP и IS-IS. RIP является дистанционно-векторным
протоколом маршрутизации, а значит не имеет фактической возможности для
корректной балансировки трафика исходя из реальной загрузки каналов передачи
данных. К преимуществам данного протокола относится простота его реализации, и
легкость в понимании принципов его работы обслуживающим персоналом. RIP - Routing Information Protocol, использует в своей работе метрику
под названием «число переходов» или «число прыжков», которая показывает сколько
физических устройств необходимо пройти для достижения сети назначения. При этом
не учитывается ни загрузка каналов, ни возможные проблемы на них. Протокол не
работает корректно с технологией многопротокольной коммутации по меткам, на
основе которой планируется предоставлять большое количество различных сервисов
клиентам.
Протоколы маршрутизации OSPF и
IS-IS лежат в основе современных провайдерских сетей передачи
данных, и наиболее часто используются в качестве протокола внутридоменной
маршрутизации. При этом, основополагающая идея работы этих протоколов - это
слежение за состоянием каналов передачи данных и работа на основе т.н. LSA [Link-State Advertisement].
Именно они формируют базу каналов на каждом устройстве, принимающем участие в
маршрутизации трафика, а после формирования базы обсчитываются алгоритмом SPF (Shortest Path First), или алгоритмом Дейкстры. Принципы работы обоих
протоколов одинаковы, разница заключается в порядке иерархии специально
ограниченных участков сети (зон) и методах формирования и распределения
информации о каналах. Оба протокола были созданы для поддержки иерархического
разделения на зоны и осуществления автоматического влияния на порядок
следования клиентского трафика.
В сети передачи данных при использовании OSPF необходимо определить порядок и степень фрагментации
её на зоны. Данный шаг используется для ограничения количества маршрутных
обновлений, а значит и их влияния на использование ЦПУ маршрутизаторов,
увеличения уровня способности сети к масштабированию. В соотношении с другими
технологиями передачи данных, предписанных к использованию в техническом
задании, все интерфейсы маршрутизаторов ядра сети, а также маршрутизаторов
отдельных узлов связи заключаются в магистральную зону с номером 0.0.0.0.
(далее зона 0), а интерфейсы третьего уровня в пределах ЦОД, не являющиеся Core-faced интерфейсами, заключаются в зону, зависящую от
конкретного ЦОД.
Современная сеть передачи данных ставит высокие требования к уровню
надежности и отказоустойчивости своих компонентов, а также предоставляемым
сервисам. Разработки последних лет оголили тот факт, что традиционные сети
второго уровня имеют проблемы с масштабируемостью решений, и существенно
снижают время сходимости сети. Те возможности, которые используют протоколы
третьего уровня: сходимость за миллисекунды, отсутствие колец второго уровня,
прозрачность, - стали требоваться и для решений второго уровня. Необходимо было
пересмотреть порядок коммутации как таковой, что и было сделано в технологии MPLS.
Данный протокол считается промежуточным протоколом связи между вторым и
третьем уровнем сетевой модели OSI,
который позволяет маршрутизаторам, осуществляющим коммутацию по меткам,
принимать решения о том в какой интерфейс направить трафик исходя из
специального поля метки пакета. Структура такого поля приведена в таблице:
|
Label
|
EXP / QoS / FEC
|
Bottom of the stack
|
Time to Live
|
|
20бит
|
3бита
|
1бит
|
8бит
|
|
Поле метки
|
Информация о классе обслуживания
|
Указатель нижней метки в стеке
|
Время жизни метки (хопов)
|
Подобный кадр вставляется между заголовками второго и третьего уровней и
анализируется маршрутизаторами исходя из наличия в EthernetII кадре поля ethertype 0x8847. Коммутация/маршрутизация
пакета осуществляется уже не исходя из того, какой адрес назначения указан в
пакете IP, а исходя из того, какая метка
внутри кадра используется. Выгода такого решения в способе назначения этих
меток внутри сети. Значения меток генерируются роутерами под различные сетевые
сервисы и передаются от к т.н. downstream маршрутизаторам. Именно метки позволили современным сетям не обращать
внимание на то, какой трафик содержится внутри Ethernet фрейма.
Благодаря IP/MPLS интеграции стало возможно определить
основные типы ключевых клиентских сервисов и классифицировать их с
функциональной точки зрения.
4.4 Анализ методов организации основных сетевых сервисов центров
обработки данных
С функциональной точки зрения внутри ЦОД необходимо определить несколько
видов традиционных клиентских сервисов или схем включения.
Первой схемой можно назвать классический не транзитный Интернет-доступ по
протоколу IPv4 в любом месте сети. При организации
подобной услуги из адресного пространства сети датацентров, выданного RIPE, определяется сеть требуемого
размера в CIDR нотации для нужд конечного клиента.
В связи с ограниченностью ресурса адресов IP четвертой версии, подобная выдача требует заполнения ряда
документации от заказчика, включая описание внутренней инфраструктуры. Оператор
размещает у себя на агрегирующем оборудовании основной шлюз и выдает физический
порт на оборудовании доступа. Клиент использует выданные ему в аренду адреса из
блока провайдера, при этом не занимаясь вопросами того как передать маршрутную
информацию о выданной сети в мир.
Подобный вид услуги подходит для небольших заказчиков, розничной сдачи
пространства в ЦОД под нужды клиентов, установку одиночных серверов компаний, а
также для размещения в ЦОД инфраструктуры небольших предприятий. Возможность
организации подобного вида услуги присутствуют на любом созданном на сети узле
связи, в любом центре обработки данных. Блок адресов, выданный клиенту,
анонсируется исключительно внутри сети центров обработки данных ввиду его
малого размера относительно общего размера адресного пространства IPv4 сети.
С технической точки зрения подобный сервис реализуется как логическое
разбиение всего адресного пространства провайдера на агрегируемые блоки
датацентров и узлов связи. Эти блоки группируются на маршрутизаторах и
пересылаются между устройствами ядра сети. Внутри ЦОД блоки делятся на более
мелкие клиентские участки, которые используется на интерфейсе третьего уровня,
созданного для клиента, либо маршрутизируются с помощью статической
маршрутизации на сеть заказчика малого размера, например, с маской /30 или /31.
Небольшие блоки, выданные клиентам, не анонсируются напрямую в мировое
Интернет-сообщество, а агрегируются на устройствах обмена трафиком и
отправляется единым блоком с целью сокращения исходящей маршрутной информации.
От IP/MPLS составляющей сети на транзитных участках не требуется
иметь информацию о конкретной сети назначения, поскольку работа ведется по
агрегированному префиксу центра обработки данных.
При использовании стандартной услуги доступа в Интернет, пользовательский
трафик имеет низший (стандартный) приоритет. Для подобных подключений возможна
организация полного спектра стандартных настроек протоколов резервирования
основного шлюза в пределах центра обработки данных. Возможно использование
одной сети в двух центрах обработки данных при заказе услуги «канал
точка-точка» или VPLS [Virtual Private Lan Service] подключения, которые будут описаны далее.
Логическим продолжением данного вида услуг является услуга IPv4 транзита. Она подразумевает наличие
собственного адресного пространства у клиента, что возможно в случае
регистрации в RIPE организации, либо получения статуса LIR [Local Internet Register]. Подобными статусами и собственными
блоками адресов обладают обычно почти все банки, институты, крупные
промышленно-добывающие и перерабатывающие предприятия. Они используют
собственную адресацию и строят собственные сети, однако им необходимо
передавать маршрутную информацию в Интернет через оператора связи. Для
организации подобного взаимодействия, клиенту выдается небольшой блок адресов
адресного пространства провайдера, либо используются частные адреса и
устанавливается взаимодействие по протоколу BGP между маршрутизирующим оборудованием сети центров
обработки данных и клиентским маршрутизатором или коммутатором третьего уровня.
В рамках данного взаимодействия, клиент передает маршрутную информацию о своём
блоке адресов IPv4, а центры обработки данных
распространяют информацию об этой сети своим вышестоящим провайдерам, и
пиринг-партнерам в точках обмена трафиком. На данном этапе часто возникает
непонимание того в чем необходимость реализации подобной услуги. Суть в том,
что несмотря на то, что клиент обладает собственным пространством адресов, без
подключения к вышестоящему оператору, это пространство будет обособленным
островом. Спроектированная сеть центров обработки данных создана с учетом
необходимости предоставления широкой информационной связности для клиентов, и
имеет большое число стыков с другими операторами связи и центрами обработки
данных в узлах обмена трафиком, что означает лучшую возможность организации
доставки трафика до крупных клиентов из сети, по сравнению с локальными
операторами.
Кроме того, локальные операторы связи также являются клиентами услуги IPv4 транзита, поскольку многие
ограничены масштабами города и не имеют выхода на крупнейшие магистрали обмена
трафиком. Однако, сеть ЦОД спроектирована с учетом территориальной
распределённости её клиентов, а значит стоит выше по иерархии нежели локальный
провайдер услуг широкополосного доступа.
Предоставление канала типа точка-точка служит для соединения двух
территориально разнесённых объектов заказчика в одну локальную сеть. С точки
зрения клиента, два объекта становятся прозрачно соединены друг с другом так,
как если бы их соединили прямым кабелем. При этом клиентский трафик проходит по
сети ЦОД. Основой реализации подобного сервиса служит технология MPLS, с её помощью на весь клиентский
трафик точки А используется дополнительная MPLS-метка, которая называется идентификатором
виртуального канала, а также сервисная метка, которая показывает, что трафик
принадлежит конкретному заказчику. Обработка и маршрутизация трафика ведутся на
сети провайдера на основе этих меток, не осуществляя поиска в таблице
маршрутизации и не разбирая какой тип трафика содержится в пользовательском
пакете данных. Два территориально разнесённых узла связи, либо два удаленных
ЦОД или их комбинации, могут быть связаны подобным каналом для создания
прозрачного пути для пользовательского контента. Подобный сервис часто
популярен у небольших предприятий, которые решают поставить свои сервера на
обслуживание в центры обработки данных, вынеся их из неприспособленных для
этого офисов. Компании переносят свои почтовые, www, файлообменные сервера в ЦОД, при этом сохраняя на
них свои внутренние адреса, делая их доступными из основного офиса или здания
как раз через канал точка-точка.
Услуга также может быть использована представителями провайдеров.
Например, в том случае, если клиент локального провайдера хочет подключить
второй узел к его сети там, где нет присутствия локального провайдера, то канал
точка-точка может быть предоставлен клиенту от места его физического
расположения до места стыковки с провайдером. Таким образом, конечный клиент
получит сервис от локального провайдера, который будет брать часть услуги по
транзиту клиентского трафика от спроектированной сети центра обработки данных.
Здесь также стоит рассмотреть тот факт, что в настоящее время всё большую
популярность приобретают так называемые облачные вычисления. В контексте
предоставляемых сервисов подобные услуги подразумевают раздельный доступ к
некоему общему пулу информационных ресурсов. Самыми популярными направлениями
облачных сервисов на данный момент являются SaaS [Software-as-a-Service] или
программное обеспечение как услуга), PaaS [Platform-as-a-Service] или платформа
как услуга и IaaS [Infrastructure-as-a-Service] инфраструктура как услуга.
Предоставление подобного вида сервисов позволяет сократить расходы на
ИТ-инфраструктуру предприятий, на обслуживание парка серверов, машин, сервисов.
Облачные вычисления позволяют на существующей среде облачных провайдеров
развертывать полную необходимую инфраструктуру любого предприятия, при этом
регулируя потребности в вычислительных и канальных мощностях в зависимости от
реальной повседневной необходимости. Простой пример подобных услуг - сервис
электронной почты для предприятия. Винодельческому заводу, скажем, группе заводов
«Массандра» для организации электронной почты в домене massandra.su необходимо
иметь выделенные, дублированные с целью резервирования сервера и каналы связи
до них, штат сотрудников для обслуживания подобного сервиса. В случае роста
предприятия и исчерпания мощностей серверов, необходимо проводить модернизацию,
что означает де-факто закупку нового оборудования. Подобная схема действует и
для других IT-сервисов предприятия, к примеру сайт, документооборот,
отчётности, бухгалтерские и кадровые сервисы и прочее.
Указанные проблемы в данный момент решаются облачными провайдерами,
которые готовы установить свои кластеры в проектируемые ЦОД в случае выполнения
требований технического задания. Облачные провайдеры могут предоставить цельную
готовую инфраструктуру для предприятия, либо вычислительные мощности, которые в
дальнейшем можно наращивать. Фактически это означает, что провайдер дает в
аренду участок своего крупного ИТ-комплекса с возможностью дальнейшего роста и
развертывания на нём сервиса любых видов. Очевидным плюсом подобных сервисов
для предприятий, будет безусловно являться расположение облака в резервируемом
центре обработки данных. Почтовый сервер компании уже не будет находиться в
некоем складском помещении, которое подвержено, например, перебоям с питанием и
не имеет соответствующих условий кондиционирования, а будет частью
резервируемой инфраструктуры в одном из построенных ЦОД.
Возможность использования облачных сервисов клиентами ЦОД одновременно с
предоставлением каналов точка-точка до места их основного нахождения позволяет
привлекать большое количество предприятий из регионов федерального округа таким
образом, чтобы распределённые вычисления проводились в соответствующих центрах
обработки данных, не теряя при этом связи с местом физического расположения
предприятия.
Подвидом этой услуги, и её масштабированием в первом приближении является
услуга организации виртуальной частной локальной сети организации или VPLS. Понятие канала точка-точка
расширяется до отношения один ко многим, либо много ко многим. Объекты клиента
соединяется между собой локальной сетью таким образом, словно включены в один
коммутатор доступа прямыми кабелями по стандарту EthernetII, несмотря на то, что в реальности
между объектами заказчика могут быть многие километры и целая инфраструктура
центров обработки данных и узлов связи с MPLS/IP
облаком. Такой вид сервиса часто называют L2VPN, то есть
организация частной сети на втором уровне передачи данных. В рамках данной
услуги каждая точка подключения клиента PE имеет идентификатор VPN-подключения и интерфейсы в этом подключении, а также
определённых соседей на других узлах сети, с которыми устанавливаются сессии по
протоколу LDP [Label Discovery Protocol]. При попадании пакета от клиента,
трафик пересылается к соседу с использованием отдельных MPLS-меток, при этом действует правило
разделения горизонта, которое не позволяет данным петлять между различными ЦОД
и узлами сети. Широковещательный трафик клиента при этом будет отправлен от
точки подключения до всех сконфигурированных соседей, а далее в порты доступа к
которым подключено оборудование клиента, таким образом осуществляя имитацию
широковещания, известного нам процесса в классических локальных Ethernet-сетях.
Одной из важнейших услуг, которые способна предоставить сеть ЦОД и узлов
связи в городах, является услуга виртуальной сети третьего уровня или L3VPN. Такой сервис представляет собой созданное
провайдером услуг отдельное маршрутизируемое пространство для каждого
конкретного корпоративного или государственного клиента. Данный вид сервиса
реализуется как наложенная поверх MPLS-сети провайдера сеть, в которой обмен
маршрутной информацией между узлами и удалёнными офисами осуществляется с
помощью оборудования провайдера. Оборудование, с которым происходит
взаимодействие называют PE или «Provider
Edge». Данная услуга имеет смысл для
предприятий, которые хотят сохранить возможность управления трафиком и
маршрутной информацией для всех своих точек подключения, имея при этом
территориально-распределённую сеть данных. При такой схеме реализации, трафик
предприятий не передается напрямую через публичные узлы Интернет.
Заказчиком услуги часто являются организации с большой
территориально-распределённой сетью офисов или подключений без доступа или с
ограниченным доступом в Интернет. Примером таких клиентов в пределах Крымского
федерального округа являются государственные сервисы оказания услуг
народонаселению (службы одного окна), филиалы ФГУП «Почта России» в городах и
поселениях городского типа, банки и объекты розничной торговли, например, сети
супермаркетов. Всем офисам таких организаций необходимо иметь доступ к общему
пулу ресурсов или серверов компании, которые размещаются на территории центров
обработки данных. С помощью территориально - распределённой сети ЦОД, каждый
объект такого заказчика может быть связан в единую сеть. На территории клиента
устанавливается простейшее оборудование, которое передает данные по любому
выбранному клиентом протоколу далее в провайдерскую сеть. При этом, внутренняя
адресации нескольких клиентов может совпадать и пересекаться, провайдер же
сохранит уникальность этих данных путем использования технологии VRF [Virtual Routing Forwarding]. Каждый маршрут клиента
преобразуется в специальный блок данных протокола BGP NLRI [Network Layer Reachability Information], к которому добавляется отдельное
поле идентификатора VPN клиента.
Объект передается по протоколу M-BGP на узлы, которым требуется данное
обновление, например, на узлы провайдера от которых подключены другие точки
клиента.
Уникальность услуги в том, что данные клиентов находятся отдельно друг от
друга и никогда не пересекаются, что на порядок увеличивает безопасность
подобных подключений. По желанию конечного клиента к данной услуге легко
добавляется услуга стандартного доступа в Интернет.
4.5 Выводы
Исходя из проведённого в работе анализа предметной области, а также
существующему техническому заданию на дипломное проектирование, магистральная
сеть центров обработки данных должна соответствовать следующим характеристикам.
· В качестве физической основы сети используется уплотнение
канала по длине волны DWDM.
· Выбранная топология магистральной сети позволяет покрыть
крупные населённые пункты региона с наименьшим количеством задействованных
волокон.
· Время переключения на резервное направление составляет не
более 200мс.
· Система способна обеспечить передачу минимум 96 отдельных
каналов данных по двум волокнам в одновременном режиме.
· Поддерживается работа со стандартным одномодовым волокном
спецификации ITU G652.
· Уровень потерь мощности на каждом участке составляет менее
25дБ.
· Уровень вносимой дисперсии каждого участка составляет менее
140пс/км.
· Коэффициент готовности каждого участка сети не менее 0,99.
Сетевое оборудование и топология сети передачи данных должны
соответствовать критериям и характеристикам.
· Подключение каждого узла связи осуществляется отдельным
физическим каналом.
· Дублирование каждого канала связи происходит в прозрачном
режиме.
· Топология сети связи полносвязная, с возможностью
перестроения.
· Резервирование устройств агрегации каналов, а также устройств
ядра сети должно осуществляться по схеме 2N.
· Доступное количество портов на этапе включения не менее 600 с
типом 100/1000BaseTX медных.
Используемые протоколы и службы должны иметь поддержку следующих сервисов
и услуг.
· MPLS Traffic Engineering на всех маршрутизаторах ядра.
· Маршрутизация мультикаст-трафика.
· Организация L2VPN и AToM транспорта поверх сети.
· Возможность организации фильтрации нежелательного трафика.
· Предоставление транзита пользовательских данных, а также
стандартного доступа в сеть в пределах ЦОД и узлов связи.
II. Конструкторско-технологическая часть
1. Реализация логической структуры сети центров обработки
данных
.1 Функциональная схема работы сети
Проектное решение предполагает организацию узлов связи и центров
обработки данных на сети. С точки зрения межсетевого взаимодействия, отдельный
ЦОД можно рассматривать как узел связи, представленный маршрутизирующим
оборудованием, подобранным для реализации сетевых сервисов на местах.
Топологически ядро сети характеризуется полными резервируемыми связями (см.
Рисунок 15)
Рисунок
155. Организация связей между объектами сети
Каждый канал передачи данных дублирован на физическом уровне, при этом
логически, с точки зрения потоков данных, двойной канал связи представляет
собой единое целое.
Для организации сети передачи данных внутри ЦОД используется связка
коммутаторов доступа Nexus2000
Fabric Extender и коммутаторов агрегации каналов
связи Nexus7700. На один ЦОД или резервный ЦОД
используется два подобных устройства для обеспечения отказоустойчивости и
достижения требуемой производительности сети. Два Nexus7700 используют модули типа:
· N77-SUP2E маршрутизирующие процессоры для
обеспечения «Control Plane» функционала на коммутаторах.
· N77-F348XP-23 линейные карты для подключения 10Гбит/с или
1Гбит/с портов форм-фактора SFP/SFP+
· N77-C7710-FAB-2 коммутационная фабрика для обеспечения функий
форвардинга трафика
· N77-F324FQ-25 линейные карты для подключения 40Гбит/с портов
· Дополнительные модули, перечисленные в приложении, такие как
блоки питания, вентиляторы, и т.п., не оказывающие влияния на проектирование
сети передачи данных
Все роут-процессоры на данных устройствах дублированы в пределах шасси.
Между собой коммутаторы агрегации каналов соединены двумя физическими каналами
пропускной способностью 40Гбит/с, которые подключены в независимые линейные
карты на шасси. Данные каналы объединены в один логический Ethernet-bundle для прозрачного представления этого линка с точки
зрения маршрутизации. В 10Гбит/с порты на разнесённых картах каждого свича
подключены Fabric Extenders N2K-C2248TP-E. Эти выносные платы
имеют по 48 10/100/1000 портов, а также 4 10Гбит/с порта. При проведении работ
по настройке, данные выносные коммутаторы доступа конфигурируются таким
образом, чтобы их порты были представлены на агрегирующем коммутаторе напрямую.
От каждого Nexus7700
подключено два канала 40Гбит/с в сторону маршрутизатора ядра JuniperMX480, включение производится от
разнесённых линейных карт и объединяется в логический канал Ethernet-bundle. Данные Core-faced линки на Nexus7700 являются каналами третьего уровня без возможности
осуществления стандартной коммутации трафика. Каждый канал третьего уровня
снабжается включенным MPLS
форвардингом трафика, пропускная способность каждого интерфейса зоны 0
добавляется в пул протокола RSVP (Resource Reservation Protovol) из расчета 80% от максимальной
пропускной способности интерфейса.
Маршрутизаторы ядра сети MX480
также имеют блочную легко масштабируемую структуру и состоят из:
· MX SCB - коммутационная фабрика для осуществления функций
форвардинга пакетов
· MX RE - Routing Engine, плата для
выполнения функций обработки траффика, маршрутизирующий процессор
· MPC5EQ-40G10G - плата расширения с 6 40Гбти/с портами и 24 10Гбит/с
портами
· Дополнительные модули, перечисленные в приложении, такие как
блоки питания, вентиляторы, и т.п., не оказывающие влияния на проектирование
сети передачи данных
Два маршрутизатора ядра сети в пределах одного ЦОД объединены в один
логический маршрутизатор с использованием технологии Virtual Chassis. Для этого в качестве межшассийных каналов
используются два подключения 40Гбит/с на каждом маршрутизаторе на разнесённых
платах. К единому маршрутизатору подключаются два коммутатора Cisco Nexus 7700 с использованием технологии vPC [Virtual Port Channel] таким образом, чтобы включение было произведено в
различные шасси одного виртуального маршрутизатора. Со стороны каждого
коммутатора настраивается объединение Uplink-портов в логический агрегат «Ethernet Bundle» с
использованием протокола LACP [Link Aggregation Control Protocol]. Интерфейсы в сторону коммутаторов
агрегации включены в OSPF
процесс соответствующей ЦОД зоны. Между коммутатором агрегации и
маршрутизатором ядра запущен также протокол iBGP c анонсированием маршрута по умолчанию. Включается протокол MP-BGP с в аналогичных коммутаторам подсемействах AFI/SAFI.
В качестве оборудования узлов связи выбрана модификация Juniper MX80. Данные маршрутизаторы используются как PE устройства для работы с конечными
клиентскими сервисами. Устройство имеет такие же функциональные возможности,
что и маршрутизаторы ЦОД, однако более компактно, что позволяет использовать
его в серверных комнатах конкретных заказчиков, а также не строить собственную
инженерную инфраструктуру отдельно в каждом городе и на каждом узле связи. На
маршрутизаторе включен протокол маршрутизации OSPF для осуществления внутри доменной маршрутизации, а
также iBGP для осуществления взаимодействия с
устройствами ядра сети. При этом устройства ядра являются рефлекторами
маршрутных обновлений для маршрутизатора узла.
Для использования на узлах связи коммутационного оборудования логичным
является использования коммутаторов Cisco 2960X, поскольку именно они обладают
наилучшими показателями по стоимости порта, а также имеют возможность
стекирования без использования дополнительных модулей и подключений, как
оборудование других производителей, что значительно упрощает установку и
модернизацию оборудования на узлах связи.
С точки зрения ядра сети, подключение каждого центра обработки данных
(основного и резервного), осуществляется по следующей схеме (см. Рисунок 16).
Рисунок
166. Функциональная схема ЦОД
Внутри каждого центра обработки данных используются агрегирующие
коммутаторы Cisco Nexus7700, к которым подключены расширители фабрики Nexus2000. Они образуют облако из
физических портов, которые на коммутаторах доступа представлены как
непосредственно включенные в сами коммутаторы агрегации. Управление всеми
портами датацентра возможно осуществлять из единой консоли коммутатора
агрегации.
В центре обработки данных используется модифицированный вариант Top-of-The-Rack схемы. При этой реализации, сверху
каждой серверной стойки вместимостью 48 юнитов, устанавливается коммутатор, в
который подключается клиентское оборудование. В случае с Крымскими ЦОД
планируется использовать один коммутатор доступа на две серверные стойки. Далее
коммутатор по кабел-каналу соединяется с Nexus 7700, расположенным в отдельной телекоммуникационной
стойке (см. Рисунок 17).
Рисунок
177. Порядок подключения стоек в ЦОД к сети
Организация пространства в центре обработки данных (см. Рисунок 18)
выполнена на примере здания ЦОД Севастополь.
Рисунок 18. Порядок физического расположения оборудования в ЦОД на
примере г. Севастополь
Для поэтапного разбора логической связности центров обработки данных и
узлов связи, приведена схема:
Рисунок 19. Концептуальная схема связи уровней представления ЦОД
На схеме показан порядок инкапсуляции технологий сети передачи данных
разного уровня. В ЦОД, использованы коммутаторы доступа Nexus2000, которые представляются как
часть коммутатора агрегации Nexus7700.
Маршрутизаторы собраны в виртуальное шасси, и также логически видны как единое
устройство передачи данных. Каналы связи дублированы в единый логический канал Port-Channel, что позволяет работать обоим оптическим каналам в
режиме одновременной активности. Транспондеры и мультиплексоры в ЦОД работают в
прозрачном режиме таким образом, что всё сетевое оборудование воспринимает
каналы связи как каналы типа «точка-точка» с точки зрения коммутации и
маршрутизации.
1.3 Выводы
Согласно представленным схемам были сделаны следующие выводы.
· Рекомендована к установке система Cisco Nexus 7700 и Cisco Nexus 2000 для
организации уровней доступа и агрегации в центрах обработки данных.
· Рекомендованы к установки стековые маршрутизаторы Juniper MX480 в качестве устройст ядра сети в центрах обработки данных.
· На узлах и в центрах обработки данных необходимо установить ROADM мультиплексоры и использовать план
частот для осуществления коммутации каналов между объектами сети центров
обработки данных.
· В качестве внешнего протокола маршрутизации используется BGP.
· Сеть реализует MPLS
сервисы для конечных клиентов, что в современных условиях является обязательным
требованием к территориально распределённым сетям передачи данных.
· Реализация протокола OSPF требует тщательного планирования зонной политики с
целью обеспечения масштабируемости сети центров обработки данных.
2.
Реализация физической сети передачи
данных
2.1 Обоснование выбора магистрального оборудования сети передачи
данных
Для работы на магистральной сети передачи данных было выбраны сетевые
продукты российской компании Т8. Для принятия взвешенного решения в таблице 10
были определены критерии выбора, а также заданы альтернативы.
Таблица
10. Альтернативы и критерии выбора оборудования магистральной сети
|
Альтернатива / Критерий
|
Cisco
|
Alcatel
|
Huawei
|
ADVA
|
Marconi
|
T8
|
|
Количество частотных подканалов
|
64
|
128
|
128
|
32
|
80
|
96
|
|
Поддержка работы с волокном G.652
|
Да
|
Нет
|
Да
|
Да
|
Да
|
Да
|
|
Максимальная дальность пролёта без усиления, км
|
150
|
200
|
150
|
200
|
180
|
200
|
|
Наличие многовариантных топологий
|
Да
|
Да
|
Да
|
Да
|
Нет
|
Да
|
|
Вносимое мультиплексором затухание
|
7,1дБ
|
6,5дБ
|
8,6дБ
|
7,2дБ
|
5,3дБ
|
6,5дБ
|
|
Оптический бюджет системы
|
32дБ
|
27дБ
|
32дБ
|
30дБ
|
35дБ
|
35дБ
|
|
Удобство работы с интерфейсом
|
Очень высокое
|
Очень высокое
|
Высокое
|
Среднее
|
Высокое
|
Выше среднего
|
|
Время переключения направления
|
50мс
|
100мс
|
200мс
|
180мс
|
80мс
|
150мс
|
Применяя фильтрацию альтернатив, было отброшено три производителя: Cisco Systems, Alcatel
и Marconi, которые не коррелируют с
поставленным проектным заданием по критериям пропускной способности, поддержки
работы со стандартным оптическим волокном, а также наличию многовариантных
топологий построения сети соответственно. Для оставшихся решений необходимо
использовать один из методов принятия комплексных решений для проведения
качественного непредвзятого выбора.
Выбирая метод принятия решений, необходимо учитывать, что наряду с небольшим
оставшимся количеством альтернатив (три), имеется два нечисловых критерия, то
есть критерии являются смешанными. Для подобных систем хороший результат даёт
метод перестановок. Согласно данному методу, необходимо определить веса
отдельных критериев, то есть чисел p(k) >=0, k = 1,2,..., m
В таблице 11 ЛПР были даны оценки критериев таким образом, чтобы показать
насколько один критерий превосходит другой.
Таблица
11. Определение весов критериев принятия решений
|
Количество частотных подканалов
|
Максимальная дальность пролета
|
Многовариантные топологии
|
Вносимое затухание
|
Оптический бюджет
|
Удобство работы с интерфейсом
|
Время переключения каналов
|
|
|
|
|
|
|
|
|
|
Количество частотных подканалов
|
1
|
1
|
3
|
3
|
1/3
|
7
|
3
|
|
Максимальная дальность пролёта без усиления
|
1
|
1
|
3
|
5
|
1/3
|
5
|
3
|
|
Наличие многовариантных топологий
|
1/3
|
1/3
|
1
|
3
|
1/5
|
5
|
3
|
|
Вносимое мультиплексором затухание
|
1/3
|
1/5
|
1/3
|
1
|
1/7
|
3
|
1/3
|
|
Оптический бюджет системы
|
3
|
3
|
5
|
7
|
1
|
7
|
5
|
|
Удобство работы с интерфейсом
|
1/7
|
1/5
|
1/5
|
1/3
|
1/7
|
1
|
1/3
|
|
Время переключения направления
|
1/3
|
1/3
|
1/3
|
3
|
1/5
|
3
|
1
|
Используя формулу (3) и формулу (4) получим значения весов критериев,
которые представлены в таблице 12.
(4)
Таблица
12. Веса критериев оценки альтернатив
|
Количество частотных подканалов
|
Максимальная дальность пролёта без усиления
|
Наличие многовариантных топологий
|
Вносимое мультиплексором затухание
|
Оптический бюджет системы
|
Удобство работы с интерфейсом
|
Время переключения направления
|
|
C
|
1.807
|
1.853
|
1
|
0.44
|
3.78
|
0.265
|
0.679
|
|
V
|
0.184
|
0.189
|
0.102
|
0.045
|
0.385
|
0.027
|
0.069
|
Осуществив проверку оценки на согласованность по формуле (5) получаем,
что уровень согласованности 
равен 7,418
Индекс согласованности при этом:
ИС=
0,06965873
ОС=
0,077398589
Поскольку величина отношения согласованности не превышает 0,2, уточнение
оценок не требуется, они определены корректно.
После определения весов критериев, необходимо взять два варианта, и
записать сумму тех критериев, по котором первый вариант лучше второго. В
результате получится матрица, представленная в таблице 13. Далее, для двух
критериев A и Б со знаком плюс возьмем ту сумму, в которой А превосходит Б, а
со знаком минус возьмем критерии, где Б лучше А.
Таблица
13. Определение алгебраической суммы критериев для каждой альтернативы
|
Huawei
|
ADVA
|
T8
|
РЕЗ
|
|
Huawei
|
0
|
0,698
|
0,211
|
-0,184
|
|
ADVA
|
0,303
|
0
|
0,027
|
-1,153
|
|
T8
|
0,79
|
0,785
|
0
|
1,337
|
Из данных, представленных в таблице 13, очевидно преимущество системы Т8
российского производителя, что доказывает обоснованность выбора DWDM «Волга» в качестве основы для
построенной магистральной сети передачи данных.
2.2 Используемые в проекте компоненты DWDM систем: их
характеристики и особенности работы
При строительстве магистральной сети центров обработки данных в Крымском
федеральном округе используется оборудование производителя Т8 Волга.
Характеристики, виды и схемы работы используемого при строительстве сети
оборудования даются согласно спецификациям производителя.
Перестраиваемый мультиплексор ROADM, осуществляет добавление и удаление частот из общего канала на всех
подключаемых точках сети. План назначения частот, с которыми работает данное
оборудование приведен в Приложении А.
Производителем реализованы варианты с добавлением/выводом нескольких
частот (см. Рисунок 20). Подобные схемы называются по числу каналов вывода:
1/1, 2/1, 4/1, 9/1.
Рисунок
190. Схема работы ROADM мультиплексора "Волга"
Источник:
сайт компании-производителя <#"865281.files/image035.gif">
Рисунок
201. Схема работы оптического транспондера DWDM системы
"Волга"
Оптические параметры данного оборудования, использованные в дальнейших
расчетах, собраны в таблице 15.
Таблица
15. Оптические параметры транспондеров DWDM системы
"Волга"
|
Параметр
|
TD-10
|
TD-10F
|
TD-10E
|
|
Линейный интерфейс, скорость передачи
|
OTU-2 до 11,10 Гбит/c
|
|
Стандарты клиентских интерфейсов
|
10GE, STM-64, OTU2
|
|
Выходная мощность
|
<+4 дБм
|
|
Диапазон рабочих длин волн передатчика
|
1528,7-1565,1 нм
|
|
Чувствительность приемника станд./повышенная
|
-18 / -24 дБм
|
|
Перегрузка приемника
|
-5 … -3 дБм
|
|
Стандарт коррекции ошибок
|
отсутствует
|
FEC G.709
|
SuperFEC ITU G.975 I.7
|
На некоторых протяженных участках сети при проектировании не
предполагается размещения узла связи. В этом случае функции усилителя сигнала
логично возложить на отдельное устройство - волоконный усилитель на эффекте
Рамана или волоконный усилитель на эрбиевом волокне (RA или EA
соответственно). Характеристики подобного оборудования от Т8 приведены в
таблице 16.
Таблица
16. Характеристики усилительного оборудования DWDM системы
"Волга"
|
Параметр
|
RA
|
EA
|
|
Спектральный диапазон
|
1528,7-1567,1 нм
|
|
|
Выходная мощность
|
+30 дБм
|
+10…+ 26 дБм
|
|
Число каскадов усиления
|
-
|
1-2
|
|
Число выравнивающих GFF фильтров
|
-
|
1-2
|
|
Спектральная неравномерность на 10 дБ усиления
|
-
|
не более 0,5 дБ
|
|
Коэффициент усиления
|
10-20
|
11-18, 14-24, 25-36
|
2.3 Топология оптической сети передачи данных
Для организации волоконно-оптической сети передачи данных построено DWDM-кольцо, ключевыми отрезками которого
являются:
г. Симферополь (0км), г. Севастополь (92,605км), г. Алупка (88,766км), г.
Алушта (61,298км), г. Судак (111,788км), г. Феодосия (71,028км), г. Керчь
(98,379км), п. Советский (70,354км), г. Джанкой (80,613км), г. Красноперекопск
(56,858км), п. Стерегущее (67,779км), п. Черноморское (61,109км), г.
Евпатория(118,5км)
Каждый Центр обработки данных или узел связи подключается к сети при этом
через приведённый оптический транспондер и ROADM мультиплексор (см. Рисунок 23).
Рисунок
21. Подключение оборудования к DWDM-сети
Сигнал от передатчика на узле формируется в доступном для передатчика
виде, например, с использованием стандартного WDM трансивера, либо интерфейса 10Gbase-LR. Далее оптический сигнал попадает на транспондер, который
перекодирует сигнал в DWDM-вид,
используя частотный план ITU.
При этом транспондер можно переконфигурировать таким образом, чтобы
использовалась свободная частота для сигнала. После передачи в DWDM линию, сигнал усиливается до
согласованного значения и попадает в ROADM-мультиплексор. В нашем случае усилитель уже встроен в транспондер. Далее
мультиплексор проверяет параметры сигнала и добавляет его к основному сквозному
оптическому сигналу, подмешивая частоту в общий канал. Проходя по транзитным
мультиплексорам, производится регенерация всего сигнала с помощью регулирования
затухания на аттенюаторах и коэффициента усиления на усилителях, встроенных в
плату ROADM. Далее частота рано или поздно
выводится на аналогичном ROADM
мультиплексоре и попадает на устройство компенсации дисперсии, которое имеет
отрицательную дисперсию оптического сигнала. Очищенный сигнал попадает на
транспондер, который формирует сигнал на выдачу конечному клиенту. При
использовании оборудования Т8, транспондер также выполняет функции компенсации
дисперсии.
Полностью зеркальный процесс производится в обратную сторону по второму оптическому
волокну. Таким образом, на точках подключения организуется физический канал
передачи данных. Каждый подключаемый объект использует определённые частоты, на
которых осуществляется подключение, а также набор оборудования, способный
обеспечить требуемую физическую пропускную способность. Частотный план, который
используется в системе приведен в Приложении А.
При осуществлении физической коммутации канала связи и настройки
оптического мультиплексора ввода/вывода, выбирается пара городов и берётся частоты
входа и выхода. Например, для организации канала между городами Феодосия -
Алушта, используется пара длин волны 1556.55нм - 1583.69нм, которая называется
греческой буквой лямбда (). В центре обработки данных на узле коммутации оптических
каналов в г. Феодосия мультиплексор ввода-вывода настраивается на ввод в общий
канал передачи данных длины волны 1556,55нм. Сигнал по этой длине волны
поступает от транспондера в ЦОД, при этом не важно в каком изначально виде
данные отправлялись физическим портом. В парный порт выводится длина волны
1583,69 нм из общего полезного сигнала волокна, далее отправляясь на передачу в
транспондер.
2.4 Выводы
На основании предложенных в аналитической части решений по уплотнению
сигнала:
· была реализована кольцевая топология сети с возможностью
перестроения в зависимости от физического уровня сигнала на линии;
· в рамках процесса выбора наилучшего варианта оборудования
использовался метод принятия решений «Метод перестановок»;
· на сети рекомендуется установка:
o оптических транспондеров в месте подключения конечных услуг
ЦОД и узлов связи;
o реконфигурируемых мультиплексоров на точках коммутации и
узлах связи;
o оптических усилителей на местах не оборудованных
мультиплексорами в связи с отсутствием необходимости включения конкретного
населенного пункта;
o трансиверов SFP
непосредственно в оборудование второго и третьего уровней в датацентрах и на
узлах связи;
· организация масштабируемой сети на физическом уровне является
одной из причин её легкой модернизации и расширения в случае роста потребностей
региона в услугах связи;
3. Расчеты параметров сети связи центров обработки данных
.1 Расчет затухания на участках сети
Затухание оптического сигнала - естественный фактор работы любой линии
передачи, и DWDM-система не является исключением. Все
указанные в пункте расчеты произведены с целью определения длины элементарных
кабельных участков. Они определяются согласно техническим параметрам
аппаратуры, выбранной для использования на сети связи, а также проложенным
типом волоконно-оптических кабелей и разъемов.
Расчет длины элементарного кабельного участка (ЭКУ) необходимо выполнять
по затуханию сигнала в оптическом волокне, а также и суммарной накопленной
дисперсии. Расчет произведен на основании руководящего документа отрасли «Линии
передачи волоконно-оптические на магистральной и внутризоновых первичных сетях
ВСС России. Техническая эксплуатация» от 27.12.99 г. № 7934 по формуле 6.
, (6)
где
· Э - энергетический потенциал ВОСП, который вычисляется по
формуле 7
дБ, (7)
- средний уровень оптического излучения, вводимого в
волокно, определяемый производителем оборудования в технической документации.
Для выбранной аппаратуры Т8, составляет +3дБм.
- минимальный уровень принимаемой мощности при коэффициенте
ошибок 10-12, для T8 =
-31дБм. Согласно формуле 7 получаем:
· з - запас для системы ВОЛС, который используется для
компенсации потерь мощности сигнала. Подобные явления часто связаны с
проведением регламентных и ремонтных работ, а также иного вида дополнительных
работ на кабеле, ухудшением состояния самого оптического волокна со временем, а
также условий внешней среды в процессе эксплуатации системы. Обычно запас
стараются оставить не менее 5дБ.
· 
число разъемных соединений на
участке. В используемой схеме подключения, 
· 
затухание разъемного соединения.
Характеристика потерь на каждом этапе подключения оптического оборудования. Для
разъема стандарта SC составляет
0.25дБ
· 
затухание сварочного соединения.
Поскольку оптическое волокно не может быть изготовлено цельным отрезком
необходимой дистанции, несколько отрезков сваривают между собой. Составляет не
более 0,05дБ
· 
- рабочее затухание оптического волокна
согласно стандарту на длине волны 1550нм. Составляет 0.22дБ/км
· 
- строительная длина оптического
кабеля, 
.
Таким образом, из формулы 6 получаем:
Данный расчет показывает, что необходимо использование усилителей типа EDFA не менее чем на каждом 120 километре
участка оптической трассы. Количество подобных усилителей можно вычислить по
формуле 7
(7)
где 
является длиной одного участка сети передачи данных, а их
сумма составляет протяженность всей оптической кольцевой трассы выбранного
маршрута. 
- длина одного участка без усиления, рассчитанная по формуле
6.
Таким образом, 
, требуется минимум 8 (округление в большую сторону)
усилителей для осуществления работы системы на кольцевом участке трассы.
Устанавливаемые усилители и компенасторы целесообразно привязать к
существующей узловой инфраструктуре, если расстояние это позволяет. Оптические
усилители EDFA использовать на следующих участках
кольцевой трассы с учетом измерения расстояния по линии от г. Симферополь до г.
Евпатория: г. Севастополь (92,605км), г. Алупка (88,766км), г. Алушта (61,298км),
г. Судак (111,788км), г. Феодосия (71,028км), г. Керчь (98,379км), п. Советский
(70,354км), г. Джанкой (80,613км), г. Красноперекопск (56,858км), п. Стерегущее
(67,779км), п. Черноморское (61,109км), г. Евпатория(118,5км)
В качестве усилителя на проектируемых узлах связи в городах: Севастополь,
Симферополь, Ялта, Алушта, Судак, Феодосия, Керчь, Джанкой, Красноперекопск,
Евпатория; используется транспондер с функциями EDFA-усилителя. Для работы на больших транзитных участках
оптической сети в городах и поселках: г. Алупка, п. Советский, п. Стерегущее,
п. Черноморское устанавливается отдельное оборудование Т8 под названием
волоконный усилитель EA.
После введения усилителей сеть можно разбить на элементарные участки и
посчитать величину полных потерь на элементарном кабельном участке по формуле
8.
, дБ (8)
, где:
· 
- коэффициент затухания оптического
волокна на каждом i-ом участке
(дБ/км)
· 
- коэффициент затухания разъемного
соединения, равный 0,25дБ
· 
- количество разъемных соединений,
на каждом участке 
· 
- коэффициент затухания на неразъемном
соединении, 
· 
- число неразъемных соединений на
каждом i-ом участке. Это значение
соответствует числу вхождений строительных длин кабеля в общую длину пролета,
или 
, где 
Участок Симферополь - Севастополь:
21,623дБ
Участок Севастополь - Алупка:
20,728дБ
Участок Алупка - Алушта:
14,485дБ
Участок Алушта - Судак:
25,993дБ
Участок Судак - Феодосия:
16,676дБ
Участок Феодосия - Керчь:
22,943дБ
Участок Феодосия - Советский:
16,527дБ
Участок Советский - Джанкой:
18,884дБ
Участок Джанкой - Красноперекопск:
13,451дБ
Участок Красноперекопск - Стерегущее:
15,961дБ
Участок Стерегущее - Черноморское:
14,443дБ
Участок Черноморское - Евпатория:
27,52дБ
Участок Евпатория - Симферополь:
16,299дБ
По данным расчетам видно, что на одном из участков недостаточно
использовать стандартный EDFA
усилитель, необходимо использовать Рамановский усилитель компании Т8 с выходной
мощностью до 30дБ. Остальные участки оптической трассы полностью перекрываются
стандартными усилителями.
3.2 Расчет дисперсии на участках
сети
Расчет линии связи по дисперсии выполняется для определения расстояний, через
которые необходимо осуществлять регенерацию оптического сигнала. Поскольку
проектируемая сеть ЦОД является IP/MPLS сетью, необходимы меры по
компенсации полной дисперсии на этапе проектирования.
Значение полной дисперсии рассчитывается как сумма её хроматической и
поляризационной модовой составляющих по формуле 9.
, (9)
где 
- хроматическая дисперсия линии связи, вычисляемая по
формуле 10.
, (10)
где 
- хроматическая дисперсия самого оптического волокна.
Задается в документации к волокну, для доступного типа волокна составляет
17пс/нм*км.
- полоса лазерного излучения выбранного оборудования в нм.
Для выбранного оборудования составляет 0.1нм
- длина всей линии связи, составляет 
Теперь, подставив данные в формулу 10, получаем, что:
при организации сети передачи данных по стандартному оптическому волокну,
которое удовлетворяет рекомендациям ITU G.652.1 «Characteristics
of a single-mode optical fibre and cable»
Компенсация данных видов дисперсии происходит на транспондерах и
усилителях Т8, которые встроены в комплект этого вида оборудования. В случае с
установкой усилителя, при прохождении последнего подается сигнал, усиленный по
мощности и очищенный от дисперсии. Это актуально на длинных участках сети без
установки транспондеров. При использовании на узлах связи оптических
транспондеров, на вывод клиентского интерфейса транспондера, поступает сигнал,
уже очищенный от дисперсии.
Проведём расчеты для каждого участка трассы по формуле 10.
Участок Симферополь - Севастополь:
Участок Севастополь - Алупка:
Участок Алупка - Алушта:
Участок Алушта - Судак:
Участок Судак - Феодосия:
Участок Феодосия - Керчь:
Участок Феодосия - Советский:
Участок Советский - Джанкой:
Участок Джанкой - Красноперекопск:
Участок Красноперекопск - Стерегущее:
Участок Стерегущее - Черноморское:
Участок Черноморское - Евпатория:
Участок Евпатория - Симферополь:
Расчитанные показатели дисперсии согласно представленной документации
компенсируются оборудованием, выбранным для организации сети связи, я также
соответствуют представленным в проектном задании нормам.
3.3 Расчет показателей надёжности
Надежностью называют такое свойство системы, которое позволяет сохранить
во времени значения всех параметров, которые характеризуют выполнение требуемых
функций в известном режиме или условиях применения системы.
При проектировании были заданы требования к надежности по критериям:
· коэффициент готовности 
- вероятность того, что объект
окажется в работоспособном состоянии в произвольный момент времени, кроме
планируемых периодов;
· срок службы - календарная продолжительность рабочего
состояния кабеля с момента ввода в эксплуатацию до момента перехода в
предельное состояние, то есть в состояние, при котором дальнейшая эксплуатация
кабеля недопустима или нецелесообразна. В среднем срок службы ОК равен 25
годам;
· среднее время восстановления 
(время устранения отказов
оптического кабеля).
Требуемыми показателями являются:
· 
· Время восстановления < 10ч
Средняя плотность отказа 
- среднее число отказов оптического кабеля за счет внешних
повреждений на 100км кабеля в год
Расчет проведём для каждого участка оптической трассы.
Симферополь-Севастополь, длина трассы L=92,605км.
Интенсивность отказа 
определяется по формуле 11.
(11)
Интенсивность отказа линейного тракта определяется по формуле 12.
, (12)
где 
= 30*10-6 - интенсивность отказа на обслуживаемых
пунктах в час.
- количество обслуживаемых пунктов на участке (
.
=1,5*10-6 - интенсивность отказов на
необслуживаемых пунктах.
- количество необслуживаемых пунктов на участке (
.
По формуле 12 получим, что:
1/ч
Наработка на отказ определяется формулой 13 и составляет:
(13)
Среднее время восстановления тракта определяется по формуле 14.
, (14)
где 
- среднее время восстановления кабеля.
- среднее время восстановления повреждения на обслуживаемом
пункте.
- среднее время восстановления повреждения на
необслуживаемом пункте.
Коэффициент простоя можно определить по формуле 15.
(15)
Коэффициент готовности линейного тракта определяем по формуле 16.
(16)
Характеристики надежности остальных участков сети по прямому и резервному
каналу представлены в таблице 17.
Таблица
17. Расчет показателей надежности на участках сети
|
Участок
|
Длина ПУ, км
|
Длина РУ, км
|
Время наработки на отказ ПУ, ч
|
Время наработки на отказ РУ, ч
|
Среднее время восст. ПУ,ч
|
Среднее время восст. РУ,ч
|
Коэфф. простоя ПУ
|
Коэфф. простоя РУ
|
|
Севастополь
|
92,605
|
866,931
|
1,04E+04
|
3,97E+03
|
3,20E-06
|
7,85E-05
|
3,07E-10
|
1,98E-08
|
|
Ялта
|
199,188
|
760,348
|
7,20E+03
|
3,43E+03
|
2,14E-05
|
1,72E-04
|
2,97E-09
|
5,01E-08
|
|
Алушта
|
242,669
|
716,867
|
6,49E+03
|
3,22E+03
|
3,52E-05
|
2,09E-04
|
5,43E-09
|
6,50E-08
|
|
Судак
|
354,457
|
605,079
|
5,06E+03
|
2,83E+03
|
9,64E-05
|
2,94E-04
|
1,90E-08
|
1,04E-07
|
|
Феодосия
|
425,485
|
534,051
|
4,44E+03
|
2,62E+03
|
1,58E-04
|
3,36E-04
|
3,56E-08
|
1,28E-07
|
|
Керчь
|
549,535
|
647,499
|
3,66E+03
|
3,66E+03
|
3,20E-04
|
3,77E-04
|
8,75E-08
|
1,03E-07
|
|
Джанкой
|
383,084
|
576,452
|
4,72E+03
|
2,75E+03
|
1,21E-04
|
3,11E-04
|
2,55E-08
|
1,13E-07
|
|
Красноперекопск
|
326,226
|
633,31
|
5,27E+03
|
2,92E+03
|
7,83E-05
|
2,75E-04
|
1,49E-08
|
9,41E-08
|
|
Евпатория
|
77,568
|
881,968
|
1,07E+04
|
4,11E+03
|
2,18E-06
|
6,46E-05
|
2,03E-10
|
1,57E-08
|
Таблица
18. Коэффициенты готовности участков
|
Участок
|
Коэффициент готовности ПУ
|
Коэффициент готовности РУ
|
Коэффициент готовности участка
|
|
Севастополь
|
9,9999999969E-01
|
9,9999998021E-01
|
9,9999997991E-01
|
|
Ялта
|
9,9999999703E-01
|
9,9999994993E-01
|
9,9999994697E-01
|
|
Алушта
|
9,9999999457E-01
|
9,9999993502E-01
|
9,9999992959E-01
|
|
Судак
|
9,9999998096E-01
|
9,9999989592E-01
|
9,9999987688E-01
|
|
Феодосия
|
9,9999996438E-01
|
9,9999987186E-01
|
9,9999983624E-01
|
|
Керчь
|
9,9999991246E-01
|
9,9999989685E-01
|
9,9999980931E-01
|
|
Джанкой
|
9,9999997447E-01
|
9,9999988693E-01
|
9,9999986140E-01
|
|
Красноперекопск
|
9,9999998515E-01
|
9,9999990586E-01
|
9,9999989100E-01
|
|
Евпатория
|
9,9999999980E-01
|
9,9999998430E-01
|
9,9999998410E-01
|
Поскольку коэффициент готовности каждого участка сети представляет собой
вероятностную оценку того, что конкретный участок окажется в работоспособном
состоянии в произвольный момент времени, необходимо учитывать тот факт, что
участок сети работоспособен в двух вариантах: прямой организации трассы
(кратчайшей) и резервной (обратной). Для этого коэффициент готовности был
посчитан для двух вариантах.
Вероятность того, что участок сети будет не работоспособен определена
формулой 17.
, (17)
для прямого участка и для обратного участка, однако участок будет
неработоспособен если оба пути будут недоступны, вероятность чего можно
посчитать как вероятность несвязанных событий или просто сумму вероятностей по
формуле 18.
(18)
Вычитая получившуюся сумму из единицы, получаем значения готовности
участка. Поскольку работоспособность всей сети сохраняется только при условии
работоспособности всех участков, итоговая готовность получается из формулы 20.
(20)
где M - количество элементарных участков
сети. Таким образом, из формулы 20 получаем, что коэффициент готовности всей
сети равен:
Подобный уровень готовности сети обеспечивает порядка полуминуты
недоступности сети в год, что является прекрасным показателем для отрасли, а
также удовлетворяет поставленному техническому заданию.
3.4 Расчет задержек по сети
Поскольку техническим заданием проектирования определены максимальные
параметры задержки на прохождение пакета по сети, необходимо провести
соответствующий расчет данного параметра. Для этого воспользуемся формулой
определения оптической составляющей задержки 21. Так как оптические элементы не
используют каких-либо дополнительных компонентов при прохождении сигнала кроме
кварцевого волокна и светового пучка, то
, (21)
где с - скорость светового потока, а
- максимально возможная длина
оптического участка сети. Таким участком является участок полного кольца,
составляющий не более 1000 км исходя из таблиц, представленных в Приложении Б.
Максимальная задержка на коммутацию рассчитывается исходя из числа
устройств, через которые проходит пакет, проходящих по сети и составляет не
более 10 устройств в наихудшем случае, то есть в случае отказа абсолютно всех
основных каналов и устройств сети. Каждое устройство вносит задержку:
мкс - маршрутизаторы ядра,
мкс - коммутаторы доступа,
мкс - коммутаторы агрегации,
что внесёт в худшем случае не более чем 1,2мс задержки. Таким образом
общая максимальная задержка по сети равняется сумме максимимальной
коммутационной и оптической задержек:
Параметры расчетов удовлетворяют техническому заданию дипломного проекта.
3.5 Выводы
Проведённые математические расчеты параметров сети передачи данных
позволяют выделить основные тезисы, относительно построенной сети передачи
данных.
· Общий коэффициент надежности составляет 
, что обеспечивает не более 30 секунд
недоступности услуг связи в год на сети датацентров.
· Параметры надежности и отказоустойчивости удовлетворяют
требованиям, которые заложены в задание на дипломное проектирование.
· Максимальная задержка при передаче трафика по сети составляет
не более 3,2 мс при учёте выхода из строя основных путей следования, а также
обрывов кабельной трассы. Данный параметр удовлетворяет максимуму, который
согласно техническому заданию составляет 20мс.
· Длина элементарного участка не может составлять более 120 км
вследствие необходимости усиления сигнала, что напрямую соотносится с проектным
решением. На местах отсутствия активных узлов установлены усилители на эффекте
рассеяния Рамана.
· Величина дисперсии, расчёт которой произведён в главе 3 для
каждого участка сети, не превышает допустимых порядков для выбранного
оборудования организации сети передачи центров обработки данных.
· Техническое решение соответствует нормам и параметрам,
которые определены в ТЗ проекта.
4
4. Порядок и способы предоставления услуг в ЦОД и на узлах
связи
4.1 Конфигурационные решения сетевого взаимодействия
Основу взаимодействия между центрами обработки данных составляет
выбранный протокол маршрутизации. Достоинства и недостатки существующих
протоколов маршрутизации были описаны ранее в пункте 3.3 аналитической части
проекта, исходя из выводов которой в качестве протокола внутренней
маршрутизации был выбран OSPF.
В кратком виде достоинства протокола, которые позволили предпочесть его над
другими следующие.
· Маршрутизация осуществляется на основе состояния каналов
передачи данных.
· Существуют возможности тонкой настройки таймеров протокола.
· Реализована поддержка протокола MPLS.
· Иерархическая структура построения основных компонентов
протокола маршрутизации.
Согласно стандарту RFC2328,
в котором описан вышеуказанный протокол, необходимо разделить всё пространство
логических связей внутри и между центрами обработки данных на зоны. Зоны
представляют собой сегменты, состоящие из интерфейсов третьего уровня и
маршрутизаторов, по заранее выбранной логике, чаще по территориальному или
функциональному признаку.
В сети датацентров единственным решением является разделение на зоны по
признаку отношения к центру обработки данных. Нумерация зон ведется в
произвольном, однако заранее определённом порядке. Порядок зонирования
представлен в таблице 19.
Таблица
19. Распределение устройств и интерфейсов сети по зонам OSPF
|
Номер зоны
|
Включённые интерфейсы
|
|
Area 0
|
Каналы между маршрутизаторами ядра, петлевые интерфейсы
маршрутизаторов ядра. Все маршрутизаторы точек обмена трафиком, петлевые
интерфейсы маршрутизаторов точек обмена трафиком.
|
|
Area 1
|
Все интерфейсы третьего уровня коммутаторов агрегации ЦОД
Симферополь, включая петлевые. Каналы связи между маршрутизаторами ядра и
коммутаторами центров обработки данных г. Симферополь.
|
|
Area 2
|
Все интерфейсы третьего уровня коммутаторов агрегации ЦОД
Севастополь, включая интерфейсы обратной петли. Каналы связи между
маршрутизаторами ядра и коммутаторами центров обработки данных г.
Севастополь.
|
|
Area 10
|
Все интерфейсы третьего уровня двух коммутаторов агрегации
резервного ЦОД Феодосия, включая интерфейсы обратной петли. Каналы связи между
маршрутизаторами ядра и коммутаторами центров обработки данных г. Феодосия.
|
|
Area 11
|
Все интерфейсы третьего уровня двух коммутаторов агрегации
резервного ЦОД Джанкой, включая петлевые. Каналы связи между маршрутизаторами
ядра и коммутаторами центров обработки данных г. Джанкой.
|
|
Area 21
|
Каналы связи между устройствами ядра сети в г. Феодосия и
маршрутизатором в г. Судак
|
|
Area 22
|
Каналы связи между устройствами ядра сети в г. Феодосия и
г. Севастополь и маршрутизатором в г. Алушта
|
|
Area 23
|
Каналы связи между устройствами ядра сети в г. Симферополь
и г. Севастополь и маршрутизатором в г. Евпатория
|
В случае внедрения дополнительных точек включения, номер зоны для
образующих центров обработки данных берётся по порядку из первого десятка, для
резервных датацентров из второго десятка, для узлов связи и других включений из
третьего десятка. Внешний вид иерархического разбиения можно показать на схеме
(см. Рисунок 24).
Рисунок
22. Схема согласования зон протокола OSPF
Для обеспечения доставки маршрутной информации от точек обмена трафиком в
г. Керчь и г. Красноперекопск, на сети внедряется также протокол iBGP, который позволяет передать наиболее
выгодный маршрут до сети во внешней сети в центры обработки данных. Протокол iBGP устанавливает сессию по TCP:79 порту, при этом обязательным не
является осуществление непосредственного подключения двух устройств друг к
другу. Система реализована таким образом, что решение о выборе лучшего маршрута
принимают устройства, которые осуществляют маршрутизацию в центрах обработки
данных, при этом перенаправляя маршрутные обновления далее агрегирующим сетевым
коммутаторам. Вследствие включения LDP/MPLS на всех каналах передачи данных,
использование полносвязной топологии BGP в пределах сети не требуется (см. Рисунок 25).
Рисунок
25. Организация BGP-связности между объектами сети
Как видно из представленной схемы организации BGP, организуется четыре типа сессий:
· классическая iBGP-сессия,
для передачи маршрутной информации до ЦОД;
· iBGP-сессия с использования зеркалирования маршрутных
данных Route-Reflect, используется для передачи iBGP-маршрутов iBGP соседям;
· классические eBGP
сессим, для передачи маршрутных данных от других сетей;
· MP-BGP или многопротокольная
BGP сессия, для передачи маршрутных
данных в отличных от IPv4
семействах и группах протоколов, например multicast или RT:IPv4 (L3VPN).
Для осуществления возможности приема и передачи трафика в сеть Интернет,
предприятие, осуществляющее обслуживание ЦОД и узлов связи имеет статус LIR [Local Internet Register] и выданный блок адресов IPv4 и IPv6 для предоставления сервисов конечным клиентам, а
также под инфраструктуру сети передачи данных. На этапе проектирования, данную
функцию взяла на себя компания ЗАО «Диджитал Нетворк», выдав блок адресов на
инфраструктуру сети центров обработки данных, а также блоки для
документирования порядка предоставления тестовых сервисов. В рамках проекта
используется частная автономная система ASN 65500, поскольку выдача реальной автономной системы
регистрируется негосударственной некоммерческой организацией RIPE NCC уже по факту физического наличия оборудования и
свидетельств о регистрации юридического лица.
Под инфраструктурные нужды была выдана подсеть из 256 адресов
213.248.0.0/24, которые были распределены на подсети в бесклассовой нотации в
соответствии с таблицей 20.
Таблица
20. План разбиения адресного пространства сети
|
Сеть
|
Начальный адрес
|
Конечный адрес
|
Назначение
|
|
213.248.0.0/27
|
213.248.0.0
|
213.248.0.31
|
Идентифицирующие адреса каждого устройства сети, адрес
локальной петли.
|
|
213.248.0.128/25
|
213.248.0.128
|
213.248.0.255
|
Адреса интерфейсов типа точка-точка на всех интерфейсах
третьего уровня, осуществляющих маршрутизацию трафика, либо коммутацию
трафика по меткам.
|
|
213.248.0.64/27
|
213.248.0.64
|
213.248.0.95
|
Vlan управления коммутаторами узлов связи
|
|
213.248.0.96/27
|
213.248.0.96
|
213.248.0.112
|
Интерфейсы точка-точка для подключения пиринговых каналов
на точках обмена трафиком
|
|
213.248.0.32/27
|
213.248.0.32
|
213.248.0.63
|
Интерфейсы точка-точка для подключения клиентов с
собственными автономными системами, включая локальных провайдеров.
|
Таблица соответствия сетевых адресов внутреннего использования приведена
в Приложении В. Для работы с интересами частных лиц в четыре центра обработки
данных выданы равными блоками по 256 адресов сети, которые представлены в
таблице 21.
Таблица
21. Клиентское адресное пространство сети
|
Сеть
|
Начальный адрес
|
Конечный адрес
|
Назначение
|
|
213.248.1.0/24
|
213.248.1.0
|
213.248.1.255
|
Доступно для использования розничными клиентами в ЦОД
Симферополь
|
|
213.248.2.0/24
|
213.248.2.0
|
213.248.2.255
|
Доступно для использования розничными клиентами в ЦОД
Севастополь
|
|
213.248.3.0/24
|
213.248.3.0
|
213.248.3.255
|
Доступно для использования розничными в резервном ЦОД
Феодосия
|
|
213.248.4.0/24
|
213.248.4.0
|
213.248.4.255
|
Доступно для использования розничными клиентами в резервном
ЦОД Джанкой
|
Все ресурсы были разделены с точки зрения максимальной экономии ресурсов
адресного пространства, поскольку современный рынок услуг всё больше и больше
сталкивается с исчерпанием адресов IPv4.
Весной 2012 года европейский регистратор RIPE NCC, который ведёт распределение адресного пространства IPv4 в Европе, сообщил что адреса
четвертой версии протокола IP
закончились и более не выдаются. В связи с этим, в последние годы видна
положительная тенденция предоставлении сервисов по протоколу IP шестой версии. Для реализации
возможности предоставления подобных услуг клиентам ЦОД и узлов связи, возможно
использование т.н. Native Ipv6, либо 6PE технологии на датацентровой сети.
Первый метод, нативный протокол шестой версии, подразумевает создание
второй, параллельной логической инфраструктуры рядом с существующей. То есть
использование второго протокола внутридоменной маршрутизации, повторную
нумерацию интерфейсов из адресного пространства 6 версии. Однако, поскольку
сеть передачи данных ЦОД использует MPLS в своей работе, возможно использование т.н. сервиса 6PE. В этом случае, нативный IP шестой версии используется только на
местах подключения, например, на узле связи, на котором клиент запросил IPv6, а в ядре сети подобный трафик
пересылается с использованием дополнительной метки к IPv4 соседу. Такой подход позволяет также использовать
все преимущества балансировки нагрузки посредством создания автоматических
тоннелей, которые описаны в главе 4.2, а также иметь фактически полное
соответствие политик маршрутизации трафика IPv4 и IPv6.
4.2 Методы балансировки нагрузки
Ключевым аспектом эффективного построения сети центров обработки данных
является корректное распределение трафика между узлами связи исходя из
загруженности физических каналов передачи данных. Базовый функционал такого
распределения лежит на протоколе внутридоменной маршрутизации OSPF, который позволяет передавать трафик
по кратчайшему пути.
Из представленных ранее схем понятно, что некоторые каналы передачи
данных являются резервными и в стандартном случае начнут работать только при
выходе из строя одного из основных каналов связи. Такой подход очевидно несёт в
себе большой финансовый минус, ведь невозможно использовать резервный канал
связи до тех пор, пока работает основной, то есть около половины соединений
работает вхолостую. В качестве примера рассмотрим характер следования трафика
от узлов в Российской Федерации к узлам в ЦОД Симферополь. Подобный трафик
проходит через г. Керчь, а далее по прямому оптическому волокну следует в г.
Симферополь. При необходимости увеличить пропускную способность такого
оптического канала единственным решением будет добавление второго аналогичного
канала.
Несколько улучшить ситуацию может реализация балансировки нагрузки по
путям одинаковой стоимости, например, при подключении г. Алушта (см. Рисунок
26), существуют два пути одинаковой стоимости с точки зрения протокола
маршрутизации.
Рисунок
24. Стандартная балансировка ECMP
Подобная балансировка работает по умолчанию и называется ECMP [Equal Cost Multipath]. Вследствие одинаковой стоимости
путей, используются сразу оба оптических канала. Однако при подключении центров
обработки данных существует лишь один лучший путь с точки зрения протокола
маршрутизации и это прямой путь.
Для канала Симферополь - Керчь организовано подключение 2х40Гбит/с, а все
резервные маршруты просто не используются пока работает основной канал передачи
данных (см. Рисунок 27).
Рисунок 27. Неоптимальное использование резервирования в стандартной
схеме ECMP
При необходимости расширения полосы от Симферополя до Керчи в стандартном
режиме необходимо добавить оптический канал передачи данных, поскольку
использование неодинаковых по стоимости OSPF-маршрутов не допускается во избежание петель.
Для преодоления подобных проблем, сеть связи использует балансировку
нагрузки в ядре сети по технологии MPLS TE AUTOBW. Для этого каждый логический
интерфейс, который соединяет одно устройство ядра сети с другим, или иными
словами каждый интерфейс в зоне 0 протокола OSPF, включен в MPLS/IP домен. При этом, задана вручную
пропускная способность каждого интерфейса передачи данных и внесена в пул
доступных ресурсов протокола RSVP [Resource Reservation Protocol]. От виртуального интерфейса петли
каждого устройства строится по четыре MPLS-туннеля, или LSP [Labeled Switched
Path] - путь коммутации по меткам, до
всех устройств ядра. Метрики протокола OSPF искусственно занижаются на созданных тоннелях и
анонсируются в общий домен маршрутизации ядра сети. Включенная по умолчанию
многопутевая балансировка трафика по путям с одинаковой стоимостью начинает
работать таким образом, что трафик между устройствами начинает ходить по
тоннелям, равномерно распределившись по всем созданным объектам (см. рисунок
28).
Рисунок 28. Включение MPLS TE между двумя
устройствами сети
При этом сам тоннель строится исходя из логики работы протокола RSVP, которая заключается в запросе
ресурсов полосы на каждом физическом канале связи, через который строится LSP. Полоса, которую запрашивает тоннель
определяется динамически исходя из среднего числа бит, прошедших в секунду.
Таким образом, в случае, если между двумя точками сети происходит перегрузка,
протокол RSVP перестраивает конкретный тоннель с
большим количеством трафика через другой физический канал, при этом не влияя на
саму маршрутизации (см. Рисунок 29).
Рисунок
25. Перестроение LSP при использовании MPLS TE auto-bw
С точки зрения клиента данный функционал прозрачен и не виден каким-либо
образом, однако позволяет справляться с перегрузками внутри сети между ЦОД в автоматическом
режиме.
LSP
предполагает назначение хвостовым маршрутизатором дополнительной метки, которая
добавляется в стек или к пустому L2
кадру. Из-за того, что тоннели имеют одинаковую метрику OSPF, работает стандартная балансировка
нагрузки по путям одинаковой стоимости, несмотря на то как простроен каждый
конкретный тоннель. Как только физический канал становится перегружен, протокол
RSVP сигнализирует о том, что ресурсы
интерфейса кончились, а значит уже невозможно построить все четыре тоннеля
через него. Происходит сквозной перенос канала через транзитный маршрутизатор.
4.3 Схемы и способы реализации типовых клиентских услуг в ЦОД и
на узлах связи
Сервисы, которые способна предоставить сеть ЦОД весьма обширны и
определяются широкими возможностями выбранного сетевого оборудования и наличием
высокого спроса на современные телекоммуникационные услуги. Приведённые примеры
показывают избранный функционал, который стал возможен благодаря иерархическому
подходу к построению сети, а также использованию передовых технологий доступа.
В рамках услуги размещения оборудования заказчиков в центрах обработки
данных, планируется поставить на обслуживание серверное оборудование крупнейших
генераторов контента в Российской среде. Как было определено ранее, подобными
генераторами контента для трафика из Крымского Федерального Округа являются:
· Сервис Вконтакте;
· Почтовые и социальные сервисы мейл.ру (включая сайт ok.ru)
· Поисковые, почтовые и иные сервисы компании Яндекс
· Поисковые, почтовые и иные сервисы компании Google
Процент попаданий подобных серверов составляет от 70-90%, т.е. наибольшая
часть пользовательского трафика перейдет непосредственно на подобные серверы.
При этом гарантируется полная прозрачность сервиса для конечного клиента, а
также уменьшение времени ответа конечному клиенту. Сервера обучаются в
автоматическом режиме, что означает то, что в случае отсутствия запроса
контента на кеширующем сервере, он будет добавлен после первой загрузки и прохождения
трафика по сети провайдера (см. Рисунок 30).
Рисунок 30. Взаимодействие Global Cache и ЦОД
Предположим, что Клиент 1 обращается через корневой ДНС сервер и
запрашивает информацию о требуемом ресурсе, принадлежащем компании Google. Запрос достигает ДНС сервера Google и передается в их собственный
датацентр. Далее требуемый ресурс передается клиенту по его запросу, а также на
CDN-сервер, расположенный в ЦОД
Крымского региона GGC [Google Global Cache]. Второй и любой последующий запрос попадает от
клиента напрямую в тот ЦОД, в котором располагается сервер CDN, что сокращает задержку в несколько
раз, т.к. трафик перестает преодолевать значительные расстояния по публичным
каналам, а проходит по внутренней сети центров обработки данных. Аналогичная
услуга может быть организована для всех существующих генераторов трафика Рунета
и Интернета.
Услуга IPv4 Интернета (см. Рисунок 31)
потенциально является самым популярным сервисом для заказчиков ЦОД, поскольку
даёт базовую связность ресурсов клиентов с миром и Россией, в частности.
Рисунок 31. Предоставление услуг доступа в Интеренет в ЦОД на адресном
пространстве сети
Суть решения в том, что клиенту выдаётся некоторый блок адресов из внутреннего
пространства сети. Шлюз клиента резервируется протоколом VRRP таким образом, чтобы он был
виртуально разделён на два сетевых устройства Nexus7700. Далее IPv4 сеть анонсируется вышестоящим провайдерам услуг связи цельным блоком.
Подобный подход позволяет агрегировать сети с целью сокращения маршрутной
информации, а также осуществлять резервирование первого узла связи от клиента к
провайдеру.
В случае наличия собственного адресного пространства у заказчика,
возможно использование услуг IPv4
транзита (см. Рисунок 32)
Рисунок 32. Осуществление IPv4
транзита сетей клиентов
Суть услуги в передаче клиентской сети, выданной регистрационными
органами более крупным мировым и Российским операторам связи.
На сети передачи данных использована технология работы с
мультикаст-трафиком. Данный тип трафика используется в рамках предоставления
населению услуг телерадио вещания, а также репликации баз данных между центрами
обработки данных. На точках обмена трафиком от операторов связи, имеющих
лицензию на оказание услуг трансляции IPTV, принимается по протоколу MSDP [Multicast Source Discovery Protocol] список групп телеканалов с
указанием адреса источника. Далее информация по активным каналам с помощью
протокола PIM [Protocol Independent Multicast] попадает на устройства связи ядра
сети. Выбрана т.н. sparse версия
этого протокола, то есть канал вещается исключительно после приема IGMP запроса на вещание канала хотя бы от
одного клиента, что существенно экономит полосу пропускания на сети. Для
получения независимой маршрутной информации о телеканалах, с операторами,
предоставляющими IPTV (Ростелеком,
Укртелеком) поднимается BGP-соседство
в мультикастовой адресной группе (см. Рисунок 33).
Рисунок 33. Организация услуги телевещания для городов региона
Локальному провайдеру ВИКС в г. Алушта предоставляется агрегированный
список каналов по протоколу MSDP,
включение или выключение каждого канала включается посредством приёма сообщения
PIM Join на интерфейсе точка-точка в месте включения
провайдера.
Организация любой сети центров обработки данных с получением лицензии на
осуществление деятельности в области телекоммуникаций, предусматривает
исполнение обязательств, наложенных государственными органами РФ по фильтрации
ресурсов, попадающих в единый реестр запрещённых ресурсов РФ. Данный сервис
выполняется в смешанном программно-аппаратном режиме. Ежедневно производится
выгрузка данных из реестра по IPv4
адресам запрещённых ресурсов, после чего в ЦОД и резервный ЦОД добавляется
маршрут до запрещенного адреса, указывающий в качестве адреса следующего
маршрутизатора адрес 192.0.2.0. На каждом маршрутизаторе провайдера адрес
192.0.2.0 маршрутизируется в интерфейс ноль (NULL0), то есть трафик на данный адрес отбрасывается. Это
позволяет вести фильтрацию всех ресурсов, перечисленных в едином реестре.
Услуги VPN могут на сети выполнены в нескольких
вариантах. Организация каналов точка-точка или VPLS предоставляет заказчикам прозрачные каналы или группу
каналов второго уровня от одной точки включения до другой. Для примера
используется предприятие Массандра, которое располагает свои сервера в двух
центрах обработки данных (Симферополь и Джанкой), а также подключает точку в г.
Алушта в режиме канала второго уровня.
При организации подобной схемы (см. Рисунок 34), задается VPN-идентификатор и VPN-процесс, для которого в ручном
режиме указываются PE устройства,
которым необходимо доставлять трафик клиента с этим VPN. Клиентский трафик от всех точек тегируется
специальной MPLS-меткой VPN-ID, на
которую сверху записывается транспортная метка для осуществления дальнейшей
доставки по сети.
Рисунок 34. Схема организации VPLS для предприятия «Массандра»
Вид со стороны клиента на услугу L2VPN показывает то,
что на потребительской стороне каналы словно подключены в один коммутатор и
один broadcast-домен, тогда как на стороне
провайдера происходит значительно более сложные процессы.
Услугу L3VPN покажем на примере предприятия ОАО «Российский Национальный
Коммерческий Банк». Банк имеет несколько офисов в разных городах, а также
использует построенные центры обработки данных для обслуживание своего сетевого
оборудования. Ключевая особенность реализации L3VPN в том, что
устройства PE, в нашем случае это маршрутизаторы
сети передачи данных, принимают участие в осуществлении маршрутизации трафика
по клиентскому протоколу. Внутри ядра сети, маршрутная информация передается
независимо для каждого клиента по протоколу MP-BGP.
Идентифицировать каждого клиента позволяет VPN-ID
метка MPLS, а уникальным префикс делает особый
префикс, добавляемый к стандартному NLRI IPv4 unicast под названием Route-Target (см. Рисунок 35).
Рисунок 35. Организация услуги L3VPN на базе сети ЦОД
Объединение сетей одного заказчика происходит с помощью концепции VRF, которая позволяет использовать
одинаковую адресацию в пределах одного клиента.
Способность оказывать и реализовывать различные комплексные услуги с
применением одного набора оборудования говорят о высоком уровне
масштабируемости сети передачи данных, а также о корректно выбранных сетевых
компонентах при проектировании датацентров.
4.4 Реализация межсетевого взаимодействия с внешними сетями
передачи данных
Сеть центров обработки данных обязана иметь выход во внешние сети для
обеспечения населения доступом в Интернет, а также к российским и европейским
ресурсам. Подобное взаимодействие было проработано с учетом обеспечения мер
резервирования и отказоустойчивости. Точки обмена трафиком используют
высокопроизводительные маршрутизаторы Juniper MX480 и линейные
карты большой портовой ёмкости для осуществления подключений к вышестоящим
операторам связи.
На узлах обмена трафиком используется два концептуально различных типа
подключения. Первый тип - подключение к upstream-провайдеру (вышестоящему), что
предполагает анонсирование в сторону подобного провайдера всех сетей клиентов и
собственного адресного пространства, а также приём полной таблицы маршрутизации
Интернет. Второй тип подключения - пиринговое подключение. Оно используется в
случае стыковки двух равнозначных сетей передачи данных, при этом сеть ЦОД
Крымского федерального округа осуществляет анонсирование своего адресного
пространства, а также пространства своих клиентов, приём осуществляется по т.н.
AS-MACRO пиринг-партнера, т.е. принимаются только downstream-сети пиринг-провайдера, а также
собственное адресное пространство.
В качестве вышестоящих операторов, реализующих IPv4 транзит для сети датацентров Крымского Федерального
Округа для подключения в г. Керчь выбраны операторы Ростелеком (AS12389), Эр-Телеком (AS9049), МТС (AS8359); в г. Красноперекопск Укртелеком (AS6849) и Евротранстелеком (AS35320).
В качестве пирингового взаимодействия осуществляется подключение к
операторам связи Крымтелеком (AS28761),
Топнет (AS21011), Датагрупп (AS21219), Миранда-Медиа (AS201776), Крелком (AS6789), Филанко (AS29076), Ардинвест (AS196705), Криснет (AS5593) (см. Рисунок 36). Сеть центров
обработки данных имеет открытую пиринговую политику при условии наличия у
партнёра оборудования с поддержкой интерфейсов 10Base-ER.
Рисунок 36. Схема взаимодействия с внешними операторами региона
ASN65500
является частной немаршрутизируемой и используется в документации, поскольку
выдача реальной автономной системы осуществляется по запросу в регулирующие
органы уже по факту выполненной инсталляции сети.
4.5 Выводы
Настоящий раздел описывает порядок реализации клиентских услуг на сети
центров обработки данных, приводит схемы организации межсетевого взаимодействия
компонентов системы. Получены нижеследующие выводы.
· Сеть передачи данных с возможностью балансировки трафика
средствами MPLS TE использует протокол маршрутизации по состоянию канала OSPF.
· При использовании зеркалирования маршрутов, организация
полносвязной BGP топологии не требуется, что приводит
к улучшению связности целой системы.
· Разработан план адресации узлов и каналов передачи в ЦОД и на
узлах связи.
· Разработано решение по предоставлению в регион услуги IPTV с помощью многоадресной рассылки
данных, полученных от транзитных операторов свяи (Ростелеком, МТС).
· Разработано решение по предоставлению услуг VPN второго и третьего уровня на базе
сети центров обработки данных для предприятий региона.
· Обозначены основные внешние партнёры и сервис-провайдеры,
которые готовы устанавливать пиринговые отношения с сетью, разработанной в
рамках дипломного проекта.
· Предложены идеи улучшения связности региона и предоставления
населению популярных ресурсов с уменьшенной задержкой с использованием доступа
к сети передачи данных
5.
Оценка эффективности проектных решений
5.1 Определение основных показателей эффективности сети
Для осуществления оценки эффективности построенной сети передачи данных,
необходимо в первую очередь определить критерии эффективности. Множество
критериев, которые чаще всего используются для оценки работы сети, можно
условно поделить на две большие группы: критерии надежности и критерии
производительности сети передачи данных.
Первым показателем эффективности работы сети является её время реакции.
Под временем реакции территориально распределённой сети передачи данных
понимается задержка на прохождение пакета от момента попадания в сеть до
момента выхода из неё. Подобный критерий хорошо характеризует физический и
канальный уровни работы сети. Современные сетевые инструменты используют в
своей работе этот параметр как показатель текущей эффективности сети. Понятие
время реакции определено также и для других уровней сетевой модели, поскольку
протоколы передачи данных могут использовать режим установления соединения в
своей работе, однако в основе построенной сети лежит протокол Ethernet, который не подразумевает
установление какого-либо соединения, а значит возможности по измерению задержки
здесь ограничены транспортными потерями времени на коммутацию, маршрутизацию и
расстояние, которое проходит сигнал.
Вторым показателем работы сети является её производительность или
пропускная способность. Это статичная характеристика, которая характеризуется
максимальным количеством информации, которое может обработать сеть передачи
данных в единицу времени. Подобная характеристика была задана при
проектировании сети датацентров, в техническом задании, однако реальные цифры
пропускной способности сети определяются конкретным проектным решением. При
анализе данного показателя возможны различные трактовки относительно того, в
каком месте сети необходимо определить производительность. В случае с
территориально распределённой сетью передачи данных, каждый её участок,
например, центр обработки данных или узел связи, обладает запасом по полосе, который
может быть передан, при этом ядро сети суммарно готово к транспорту трафика на
максимальной скорости от каждого узла, каналы в мир при этом могут быть
значительно уже, чем производительность собственно оптической части сети. Стоит
также отметить, что описывать производительность сети можно в двух вариантах:
количестве пакетов, которые может сеть пропустить через себя в секунду, либо
максимальном количестве бит, которые пропускает сеть в секунду. Эти две
характеристики не связаны между собой и как правило одновременно могут дать
комплексную картину производительности сети.
Комбинация двух параметров: задержки и пропускной способности, описывает
эффективность сети с точки зрения производительности, что является самой частой
пользовательской оценкой сети передачи данных. Ведь основная задача для которой
строится сеть - передать как можно больше информации за минимальное количество
времени. При этом, задержка и пропускная способность зависят друг от друга: при
увеличении количества трафика, а точнее при превышении максимально доступной
пропускной способности сети, увеличится и задержка на прохождение пакетов, ведь
трафик будет скапливаться в очереди, обрабатываться согласно включенной
политике качества сервиса, а значит испытывать затруднения при прохождении.
Показатели надежности и отказоустойчивости, которые были рассчитаны в
главе 3 конструкторско-технологической части дипломного проекта, также являются
показателями эффективности сети передачи данных. Однако, при оценке
эффективности целесообразно использовать марковские модели надежности
восстанавливаемых систем, поскольку они наиболее подходят для оценки параметров
многоуровневых сетей третьего уровня. Расчётные характеристики надежности
показывают то, с какой вероятностью транспортная сеть передачи данных будет
работать в произвольный момент времени, а конкретному пользователю интересно
то, с какой вероятностью именно его подключение будет работать, как долго оно
будет работать до аварии, сколько аварий будет в календарном году.
Подобный анализ опирается на логическую топологию
территориально-распределённой сети и конкретные настройки коммутационного и
телекоммуникационного оборудования, коммутаторов доступа. Марковские модели
опираются на положение о том, что в любой момент времени, вероятностные характеристики
процесса зависят только от состояния объекта в данный момент времени,
независимо от того как система перешла в это состояние, что для этого было
сделано.
Положительными показателями эффективности сети в отношении надежности
системы, являются высокая готовность системы, их устойчивость к отказам, за
счет, например, резервирования подключений, коммутации, функциональных блоков и
непрерывная готовность, обеспечивающая восстановление системы в пределах
нескольких секунд.
Комплексная взвешенная функция из приведённых параметров даёт наиболее
полную оценку эффективности сети передачи данных.
5.2 Методики измерения и оценки показателей эффективности
Очевидно, что для оценки показателей эффективности и нахождения
взвешенной функции эффективности, необходимо провести измерения, либо расчет
входящих в функцию показателей.
Методики измерения сетевой задержки на сети передачи данных сводятся к
отправке тестового сообщения стандартного протокола и замеру времени ответа на
это сообщение. Для создания подобного сообщения используют протокол ICMP, стандартизированный в RFC792. Протокол определяет несколько
видов сообщений, среди которых с точки зрения измерения задержек, нас
интересует два:
· Тип 0, код 0 - ICMP echo request. Сообщение эхо запроса узла связи
· Тип 0, код 0 - ICMP echo reply. Ответ на эхо запрос источнику
Сетевое оборудование, использующееся на сети передачи данных, позволяет
производить отправку подобных сообщений непосредственно от узла связи. Важной
частью измерения является определение узлов, совершающих тестирование, т.к.
различные участки сети могут вносить различные задержки. Очевидно, что
максимальная задержка по сети возможна в случае использования неоптимальных
путей следования трафика, что происходит при выходе из строя того или иного
сетевого устройства.
Стандартный диаметр сети передачи данных третьего уровня не превышает 3,
поскольку именно столько узлов необходимо пройти пакету по сети связи от любой
точки входа до любой точки выхода из неё в условиях полной работоспособности.
Исходя из вышеизложенного для оценки задержки по сети можно использовать
характеристику, полученную по формуле 22 .
, (22)
для участков Симферополь - Керчь, Севастополь - Керчь, Феодосия - Керчь,
Джанкой - Керчь, где n -
количество измерений с помощью ICMP.
, (23)
где m - количество участков, на которых
проводилось измерение.
Теоретические оценки по уровню задержек прохождения трафика были
рассчитаны в п. 3.4.
Для качественной оценки пропускной способности сети передачи данных в
килобит/с используется максимально возможное число бит, которые возможно
передать по сети из одного центра обработки данных в другой в единицу времени
без создания очередей. Существует три варианта оценки:
· Определение максимальной выходной пропускной способности ЦОД
· Определение максимальной выходной пропускной способности
внешних каналов данных
· Определение максимального количества бит в секунду в условиях
блокируемых каналов передачи данных
Для территориально распределённой сети передачи данных Крымского
Федерального Округа целесообразно использовать именно третью оценку, поскольку
используется технология балансировки трафика, что означает возможность
одновременной передачи данных нескольких центров обработки данных, то есть
образуется коммутационная матрица данных.
Оценка количества пакетов в секунду, которое может обработать сеть
производится на устройствах ядра сети и является табличным значением, которое
задает производитель и не зависит от выбранной топологии или проектного
решения. По этой причине данная оценка не используется при выведении
эффективности сети датацентров.
С точки зрения методики оценки пользовательской готовности сети передачи
данных вводится трехуровневая модель (см. Рисунок 37).
Рисунок 37. Марковская трехуровневая модель сети
Коммутаторы А - являются коммутаторами доступа (access) и не связаны между собой. Отказ любого коммутатора
доступа считается отказом всей сети, ведь с точки зрения конкретного
пользователя, включенного в коммутатор, доступ к услугам предоставлен не будет.
Коммутаторы D - коммутаторы
распределения (distribution)
разбиты по подгруппам и связаны между собой, а также с каждым коммутатором
своей подгруппы.
Коммутаторы C - являются
коммутаторами ядра (core), связаны
между собой, а также с уровнем распределения полными связями.
Зададим интенсивность отказов и восстановления:
· 
- интенсивность отказов и
восстановления коммутаторов ядра;
· 
- интенсивность отказов и
восстановления коммутаторов распределения;
· 
- интенсивность отказов и
восстановления коммутаторов доступа.
Для сети, построенной по трехуровневой модели, необходимо обозначить три
группы объектов: группа коммутаторов ядра, группа коммутаторов распределения,
которая включает в себя m
подгрупп коммутаторов распределения, а также коммутаторы доступа, которые также
включают несколько подгрупп таких коммутаторов. Эти группы и подгруппы
независимые, с точки зрения надежности сети. Считается, что сеть
работоспособна, если хотя бы один коммутатор в группе ядра работоспособен.
Вероятность этого равна сумме вероятностей от нулевого состояния до
предпоследнего состояния в марковской модели надежности группы из r объектов.
(24)
(25)
Исходя из того, что каждый коммутатор распределения связан и с каждым
коммутатором доступа, и с каждым коммутатором ядра, то для работы сети
необходимо, чтобы свою работоспособность сохранил хотя бы один коммутатор
распределения. Вероятность этого численно равна произведению вероятности того,
что, хотя бы один коммутатор работает по всем подгруппам. А такая вероятность,
в свою очередь, равна сумме вероятностей от нулевого состояния до
предпоследнего состояния в марковской модели надежности подгруппы из 
объектов (см. Формулу 26)
(26)
(27)
Исходя из того, что отказ любого коммутатора является отказом всей
системы, то сеть можно назвать работоспособной, если все коммутаторы доступа
работоспособны. Вероятность этого равна произведению по всем подгруппам l=1..m вероятностей нулевого состояния
в марковской модели надежности подгруппы из 
объектов (см. Формулу 28):
(28)
(29)
Для получения итоговой вероятности, необходимо перемножить вычисленные
вероятности для каждого участка сети передачи данных. Тогда получаем формулу
30.
(30)
Показатель готовности (стационарный) в этом случае можно представить по
формуле 31.
(31)
Далее возможно внедрение единой комплексной оценки. Для этого проводят
экспертную оценку каждого из представленных критериев и устанавливают весовые
коэффициенты для каждого значения, для определения того, насколько сильно
конкретный параметр влияет на итоговую оценку эффективности. Однако, подобная
методика не будет использована для оценки территориально распределённой сети
датацентров Крымского Федерального Округа, поскольку в техническом задании
проекта не ставится целью получение взвешенной оценки эффективности сети, но
ставятся предельно допустимые цифры для каждой из частей представленной оценки:
пропускной способности, задержкам, коэффициенту готовности.
5.3 Результат оценки эффективности сети передачи данных
Согласно представленной методике расчета эффективности, для оценки
времени сетевой задержки были смоделированы проведённые измерения на участках
сети, которые представлены в таблице 22.
Таблица
22. Измеренные моделированные задержки на сети по различным направлениям.
|
Участок
|
RTT 1
|
RTT 2
|
RTT 3
|
RTT 4
|
RTT5
|
|
1 Симферополь - Керчь
|
2,5мс
|
2,3мс
|
1,9мс
|
2,9мс
|
2,2мс
|
|
2 Севастополь - Керчь
|
1,6мс
|
1,8мс
|
2,3мс
|
2,5мс
|
2,0мс
|
|
3 Феодосия - Керчь
|
0,9мс
|
0,9мс
|
1,2мс
|
1,0мс
|
1,4мс
|
|
4 Джанкой - Керчь
|
2,2мс
|
2,2мс
|
1,9мс
|
2,0мс
|
2,4мс
|
|
5 Симферополь - Красноперекопск
|
2,5мс
|
2,4мс
|
2,6мс
|
2,2мс
|
2,1мс
|
|
6 Севастополь - Красноперекопск
|
2,4мс
|
2,4мс
|
2,1мс
|
2,5мс
|
2,0мс
|
|
7 Феодосия - Красноперекопск
|
2,0мс
|
2,1мс
|
1,8мс
|
1,8мс
|
1,6мс
|
|
8 Джанкой - Красноперекопск
|
0,5мс
|
0,8мс
|
0,3мс
|
0,5мс
|
0,7мс
|
Из формулы 22 можно значения были преобразованы в таблицу 23.
Таблица
23. Средние значения задержек по направлениям
|
Номер участка
|
1
|
2
|
3
|
4
|
5
|
6
|
7
|
8
|
|
Значение
|
2,4мс
|
2,0мс
|
1,0мс
|
2,1мс
|
2,4мс
|
2,3мс
|
1,9мс
|
0,6мс
|
Итоговое значение задержки по сети согласно формуле 23 равно:
Данные оценки позволяют заключить, что сеть построена таким образом, что
время задержки пакета от точки входа в сети до точки выхода составляет
сравнительно маленькое значение, которое удовлетворяет условиям технического
задания в 20мс. При этом, теоретический расчет подобной величины показал
максимально возможное время задержки в случае отказа всех основных каналов
связи и работе через резерв по самым длинным оптическим путям передачи данных
не превышает 3,2мс.
Оценивая пропускную способность физической сети передачи данных на
построенном оборудовании использовалась схема физической организации каналов
связи (см. Рисунок 38).
Рисунок 38. Определение пропускной способности между ЦОД
Каждый оптический канал представляет собой пару логических каналов
40Гбит/с. Выходная пропускная способность из одного датацентра составляет
2*40Гбит/с*5=400Гбит/с.
Пропускная способность спроектированной сети удовлетворяет техническому
заданию, однако максимальная пропускная способность, определяемая как
количество частотных DWDM-подканалов*максимальную
пропускную способность канала, составляет 2Тбит/с, что на момент инсталляции не
требуется от сети датацентров Крымского Федерального Округа.
Расчеты коэффициента готовности сети приведены исходя из формулы 30,
представленной в методике с учетом того, что количество коммутаторов доступа
равно 10.
, где
Коэффициент готовности при этом будет равен:
Рассчитанный показатель готовности говорит о том, что каждый пользователь
испытает проблемы с доступом не более чем на 34 часа в один календарный год.
5.4 Выводы
Резюмировав оценки, которые были рассчитаны в данном пункте, можно
сделать вывод о высокой степени эффективности построенной сети, а также её
соответствии заявленным критериям технического задания и задания на дипломное
проектирование.
· Эффективность сети датацентров Крымского Федерального Округа
подтверждается теоретическими расчётами, а также практической оценкой,
проведённой согласно описанной методике по критериям времени задержки,
пропускной способности сети передачи данных, а также коэффициенту готовности
сети.
· Показатели, по которым была произведена оценка, являются
ключевыми с точки зрения эффективности работы сети.
6.
Охрана труда и экология
6.1 Изучение влияния шумов как вредоносного фактора
Среди производственных факторов, непосредственно влияющих на здоровье и
трудоспособность задействованного на предприятии персонала, часто недооценивают
шумовое загрязнение. Те м не менее, с данным вредным фактором мы
сталкиваемся ежедневно не только на производстве, но и в быту, дома, по дороге
на работу.
Производственным шумом называют совокупность звуков различной
интенсивности и частоты, беспорядочно возникающих во времени в условиях
производства и неблагоприятно воздействующих на человеческий организм. Стоит
обратить внимание на то, что шум существует и в живой природе, однако в
процессе эволюции организмы приспособились к нему.
Любой звук представляет собой колебательный процесс, вызванный волной,
которая распространяется в среде с различной скоростью (для воздуха 331 м/с).
Звуковое давление - одна из характеристик звуковой волны, которая
характеризуется переменным давлением при прохождении звуховых волн, в дополнение
к атмосферному. Основные параметры звуковых волн:
· частота;
· период;
· амплитуда или размах.
Область человеческого восприятия звуковых волн находится в пределах 20Гц
- 20000Гц. Выше данных значений находится область ультразвука, а ниже -
инфразвука.
Основными характеристиками шума можно назвать частоту, а точнее
совокупность частот издаваемой звуковых волн. Для того, чтобы провести оценку
того, на сколько вредно влияет шумовое загрязнение на человеческий организм,
используется диапазон [45-11000]Гц, разделённый на октавные полосы. Таких полос
девять: 31,5; 63; 125; 250; 500; 1000; 2000; 4000 и 8000 Гц. Диапазон частот,
для которого нижняя граница вдвое меньше верхней называется октавой.
Шум оказывает непосредственное влияние на многие системы человеческого
организма. Спектр и интенсивность, с которой оказывается воздействие, могут
существенно поменять степень такого влияния. Чем выше частота, тем более
неприятным будет оказываемое шумом влияние.
Обычно разделяют следующие аспекты влияния шумового загрязнения на
человека:
· влияние на слуховую функцию, обусловливающую слуховую
адаптацию, слуховое утомление, временную или постоянную потерю слуха;
· глухота;
· беспокойство или раздражительность;
· процессы торможения реакций на стрессовые ситуации;
· влияние на психосоматическое здоровье здоровье;
· влияние на производственную деятельность;
· нарушение сна.
Для оценки того, насколько интенсивно воздействует звук, начиная от
порога слышимости человеческого уха, заканчивая болевым порогом, используют
значение логарифма звукового давления - децибел (дБ). Величина пороговая для
слуха человека принята за ноль бел, она равна величине звукового давления 
Па. Уровень в 10 дБ воспринимается
человеком как звуковое воздействие в два раза громче чем в 1 дБ. Классификация
шумов представлена в таблице 24.
Таблица
24. Классификация шумового загрязнения
|
Способ классификации
|
Вид шума
|
Характеристика шума
|
|
По характеру спектра шума
|
широкополосные
|
Непрерывный спектр шириной более одной октавы
|
|
тональные
|
В спектре которого имеются явно выраженные дискретные тона.
|
|
По временным характеристикам
|
постоянные
|
Уровень звука за 8 часовой рабочий день изменяется не более
чем на 5 дБ(А)
|
|
непостоянные колеблющиеся во времени прерывистые
импульсные
|
Уровень звука за 8 часовой рабочий день изменяется более
чем на 5 дБ(А) Уровень звука непрерывно изменяется во времени Уровень звука
изменяется ступенчато не более чем на 5 дБ(А), длительность интервала 1с и
более Состоят из одного или нескольких звуковых сигналов, длительность
интервала меньше 1с
|
Шум вызывает агрессию и раздражение, шум в ушах, повышение артериального
давления, артериальную гипертензию вплоть до потери слуха. Самое серьёзное
влияние оказывает шум в диапазоне 3000÷5000 Гц. Хроническая подверженность шуму
на уровне более 90 дБ может привести к потере слуха.
При шуме на уровне более 110 дБ у человека возникает звуковое опьянение,
по субъективным ощущениям аналогичное алкогольному или наркотическому. При шуме
на уровне 145 дБ у человека происходит разрыв барабанных перепонок. Женщины
менее устойчивы к сильному шуму, чем мужчины. Кроме того, восприимчивость к
шуму зависит также от возраста, темперамента, состояния здоровья, окружающих
условий и т. д.
6.2 Методики измерения и оценки
вредного фактора
Для измерения уровня шума используют прибор, который называют шумомер. В
Российской Федерации определён ГОСТ17187-81, который говорит о том, что шумомер
должен состоять из измерительного микрофона, электрической цепи с
корректирующими фильтрами и измерительного прибора с различными временными
характеристиками .
Различают несколько фильтров: A, B, C, D, из которых
именно А, используется как наиболее близкий по АЧХ к «усредненному уху».
Стандартные частотные характеристики шумомеров приведены на графике (см.
Рисунок 40).
Рисунок 40. Стандартные характеристики шумомеров
По измеренным шумомером характеристикам возможно понять насколько
серьёзно шум влияет на организм человека. Сравнительный уровень шума и его
эквивалент представлен в таблице 25.
Таблица
25. Сравнительный уровень шума и оказываемый эффект
|
Оценка громкости на слух
|
Уровень шума, дБ
|
Источник и место измерения шума
|
|
Оглушительный
|
160
|
Повреждение барабанной перепонки.
|
|
140-170
|
Реактивные двигатели (вблизи).
|
|
140
|
Предел терпимости к шуму.
|
|
130
|
Болевой порог (звук воспринимается как боль); поршневые
авиадвигатели (2-3 м).
|
|
120
|
Гром над головой.
|
|
110
|
Быстроходные мощные двигатели (2-3 м); клепальная машина
(2-3 м); очень шумный цех.
|
|
Очень громкий
|
100
|
Симфонический оркестр (пики громкости);
деревообрабатывающие станки (на рабочем месте)
|
|
90
|
Уличный громкоговоритель; шумная улица; металлорежущие
станки (на рабочем месте).
|
|
80
|
Радиоприемник громко (2 м)
|
|
Громкий
|
70
|
Салон автобуса; крик; свисток милиционера (15 м); улица
средней шумности; шумный офис; зал большого магазина
|
|
Умеренный
|
60
|
Спокойный разговор (1 м).
|
|
50
|
Легковая машина (10-15 м); спокойный офис; жилое помещение.
|
|
Слабый
|
40
|
Шепот; читальный зал.
|
|
60
|
Шелест бумаги.
|
|
20
|
Больничная палата.
|
|
Очень слабый
|
10
|
Тихий сад; студия радиоцентра.
|
|
0
|
Порог слышимости.
|
В рамках дипломного проекта строящиеся объекты связи, такие как центры
обработки данных, а также узлы связи, регенерации и коммутации являются местами
с повышенным шумовым загрязнением.
Согласно информации от производителя, а также стандарту ISO7779, уровень
шума оборудования ядра сети, а также магистрального оборудования составляет
70дБ (А-фильтр). Уровень шума оборудования центров обработки данных Nexus7700 представлено в таблице 26.
Таблица
26. Уровень шума, генерируемого телекоммуникационным оборудованием ЦОД
|
Вид оборудования
|
Cisco Nexus 7000 9-Slot Chassis
|
Cisco Nexus 7000 10-Slot Chassis
|
Cisco Nexus 7000 18-Slot Chassis
|
|
Измеренное
|
74.7 dBA
|
74.3 dBA
|
74.2 dBA
|
|
Документированное
|
77.7 dBA
|
77.3 dBA
|
77.2 dBA
|
Поскольку в одной точке центра обработки данных будет установлено два
одинаковых магистральных устройства с повышенным уровнем шума, логично
рассчитать их общее шумовое давление. Расчет производится для расстояния 1м по
формуле 31.
, (31)
где 
, а 
- уровень шума в дБ
Тогда, подставив документированные значения 77.7дБ получим:
Таким образом, два одинаковых устройства производят шум 83.72 дБ находясь
в одной стойке центра обработки данных.
6.3 Санитарные нормы и методы защиты от шумового загрязнения
В Российской федерации были приняты санитарные нормы СН2.2.4/2.1.8.562-96
«Шум на рабочих местах, в помещениях жилых, общественных зданий и на территории
жилой застройки». Данные о ПДУ шума в зависимости от категории тяжести труда
представлены в таблице 27.
Таблица
27. ПДУ шума на рабочих местах
|
Категория напряженности
|
Категория тяжести трудового процесса
|
|
легкая физическая нагрузка
|
средняя физическая нагрузка
|
тяжелый труд 1степени
|
тяжелый труд 2 степени
|
тяжелый труд 3 степени
|
|
Напряженность легкой степени
|
80
|
80
|
75
|
75
|
75
|
|
Напряженность средней степени
|
70
|
70
|
65
|
65
|
65
|
|
Напряженный труд 1 степени
|
60
|
60
|
-
|
-
|
-
|
|
Напряженный труд 2 степени
|
50
|
50
|
-
|
-
|
-
|
На текущий момент любой промышленный центр обработки данных является
вредным производством, в частности и по причине высокого уровня шума на
объекте. По этой причине при проведении регламентных работ в ЦОД необходимо
соблюдать правила гигиены труда, в отношении шумозащиты.
· Осуществление устранения причин возникновения дополнительных
шумов или его снижение.
· Осуществление ослабления шума на путях передачи.
· Непосредственная защита работающего или группы рабочих от
воздействия шума.
Учитывая, что с помощью технических средств не всегда удается снижать
уровни шума на рабочих местах до нормативных значений, необходимо применять
средства индивидуальной защиты органа слуха от шума (антифоны, заглушки).
Эффективность средств индивидуальной защиты может быть обеспечена правильным
подбором в зависимости от уровней и спектра шума, а также контролем за
условиями их эксплуатации.
В комплексе мероприятий по защите человека от неблагоприятного действия
шума определенное место занимают медицинские средства профилактики. Важнейшее
значение имеет проведение предварительных и периодических медицинских осмотров.
Противопоказаниями к приему на работу, сопровождаемую шумовым воздействием,
служат:
· стойкое понижение слуха (хотя бы на одно ухо) любой
этиологии;
· отосклероз и другие хронические заболевания уха с
неблагоприятным прогнозом;
· нарушение функции вестибулярного аппарата любой этиологии, в
том числе, болезнь Меньера.
Принимая во внимание значение индивидуальной чувствительности организма к
шуму, исключительно важным является диспансерное наблюдение за рабочими первого
года работы в условиях шума.
Одним из направлений индивидуальной профилактики шумовой патологии
является повышение сопротивляемости организма рабочих к неблагоприятному
действию шума. С этой целью рабочим шумных профессий рекомендуется ежедневный
прием витаминов группы «В» в количестве 2 мг и витамина С в количестве 50 мг
(продолжительность курса 2 недели с перерывом в неделю). Следует также
рекомендовать введение регламентированных дополнительных перерывов с учетом
уровня шума, его спектра и наличия средств индивидуальной защиты. Поскольку шум
является одним из главных факторов утомляемости человека и снижению его
трудоспособности, при использовании центров обработки данных необходимо
использовать средства защиты в виде наушников, что позволит уменьшить нагрузку
на слух человека.
Заключение
В результате проделанной работы были выполнены следующие задачи.
· Выявлены требования, предъявляемые к сетевой инфраструктуре
региона.
· Подробно проанализированы существующие подходы к построению
сетей центров обработки данных регионального масштаба, методам уплотнения и
топологии.
· Выбрано решение для физического охвата транспортной сетью
Крымского Федерального Округа.
· Выбрано решение по подключению ключевых населённых пунктов к
сети центров обработки данных.
· Разработана схема взаимодействия сетевого оборудования между
собой.
· Разработан порядок взаимодействия сети с внешними операторами
связи.
· Выработано решение по используемой на сети адресации.
· Разработан порядок оказания различных услуг для предприятий,
частных лиц и операторов связи региона.
· Разработан план физического подключения оборудования в
центрах обработки данных.
· Разработана схема межсетевого взаимодействия внутри центров
обработки данных и узлов связи.
· Организована схема предоставления услуг в города и поселения
Крымского полуострова.
На основе проделанной работы получены выводы.
· Сеть передачи данных является одним из важнейших компонентов
для обеспечения телекоммуникационными услугами народонаселения Крымского
Федерального Округа. Для организации сети регионального масштаба недостаточно
использовать стандартные модели организации передачи данных, а необходимо
привлечение передовых технологий в области с целью создания
высокопроизводительной системы.
· Разработанная сеть объединяет различные области региона,
осуществляет их подключение к сети центров обработки данных, которая
обеспечивает обмен трафиком между регионом и Российской Федерацией.
· Использование стандартизированных решений при организации
сети позволяет масштабировать и наращивать пропускную способность согласно
необходимости региона. Подобный подход позволяет не зависеть от политики
конкретных производителей оборудования и стран, с ними связанных.
· Отказоустойчивость, масштабируемость, гибкость сети являются
ключевыми характеристиками для региональной инфраструктуры передачи данных.
Список использованной литературы
1 О
государственной программе Российской Федерации "Информационное общество
(2011 - 2020 годы)": Распоряжение Правительства РФ от 20.10.2010 // N
1815-р ред. от 26.12.2013
Об
образовании Крымского федерального округа: Указ Президента Российской Федерации
// 21 марта 2014 г. N 168 - М.
Об
утверждении федеральной целевой программы "Социально-экономическое
развитие Республики Крым и г. Севастополя до 2020 года": Постановление
Правительства РФ // 11.08.2014 N 790 ред. от 27.12.2014 - М.
Владислав
Новый. Связанные одной сетью: "Ростелекому" поручено наладить связь в
Крыму // "Коммерсантъ" №49 - 25.03.2014
5 Министерство связи и
массовых коммуникаций Российской Федерации // Электронный ресурс удалённого
доступа Internet - URL: <http://minsvyaz.ru/ru/events/32307/>
Без указания автора.
СМИ: Ростелеком проложил кабель под Керченским проливом // «Взгляд. Деловая
Газета» - 14 апреля 2014 -
URL:
http://vz.ru/news/2014/4/14/681901.html
Владимир Тодоров.
Крым отключили от Украины // Газета.РУ. - 10.02.2015
Елизавета Серьгина.
«Ростелеком» взял Крым. // Газета Ведомости. № 3585 - 08.05.2014
Без указания автора.
«Ростелеком» проложил кабель к Крыму под Керченским проливом // Телеканал Russia today - 14.04.2014 - URL: http://russian.rt.com/article/27644
Рейтинг самых
посещаемых сайтов // Электронный ресурс удалённого доступа Internet
- URL: <http://top1000-ru.hotlog.ru/>
11 BGP Hurricane Electric AS: Статистика связности автономных систем //
Электронный ресурс удалённого доступа Internet - URL:
<http://bgp.he.net>
Предварительные
итоги переписи населения Крымского Федерального Округа // Электронный ресурс
удалённого доступа Internet - URL: <http://www.gks.ru/>
13 Cisco
Datacenter Design Guide // Cisco Press B-0000515-1 - Aug 2013 // San Jose, CA
14 А. Робачевский.
Интернет изнутри. // Изд. ООО «Интеллектуальная Литература» - М.2015
Андрэ Жирар.
Руководство по технологии и тестированию систем WDM. // Изд. EXFO - М. 2001
Р. Р Убайдуллаев
"Волоконно-оптические сети" // Изд. Эко-Трендз - М.2001
17 Hecht, Jeff,
Understanding Fiber Optics // 4th ed., Prentice-Hall, Upper Saddle River, - USA
2002
18 В.Н.Листвин,
В.Н.Трещиков. DWDM системы: научное издание. // Изд. Издательский Дом
"Наука" - М.2013
19 ITU
G.694.1. Spectral grids for WDM applications
Light
Reading's Heavy Reading. ROADMs and the Future of Metro Optical Networks //
-May 2005
Ivan
Kaminow. Optical Fiber Telecommunications V: Systems and networks // Academic
Press - Berkeley 2008.
22 Справочник по
элементам радиоэлектронных устройств. Под ред. В. Н. Дулина и др. // Изд.
Энергия - М. 1977
Без указания автора.
Кварц для волоконной оптики // Электронный ресурс удалённого доступа Internet
- URL: http://www.siltec.ru/fiber.htm
Официальный сайт
компании Атраком // Электронный ресурс удалённого доступа Internet
- URL: <http://atracom.com.ua/ru/faq>
25 Systems
Multiservice Transport Platform Data Sheet // Электронный ресурс удалённого доступа
Internet - URL:
<http://www.cisco.com/c/en/us/products/collateral/optical-networking/ons-15454-m12-multiservice-transport-platform-mstp/product_data_sheet09186a00801849e7.html>
Alcatel-Lucent
1625 LambdaXtreme Transport Datasheet // 2013 France
Ultra
Bandwidth, Free Connection, Any Service. OptiX OSN 8800 // HUAWEI TECHNOLOGIES
CO.,LTD - P.2011
ADVA
Optics FSP3000 Data Sheet // Adva Optics Publisher - version 03/2015
29 Приказ № 1972.
Минпромторг РФ // 11 декабря 2013 года
30 Opennet. Эмуляция влияния задержек глобальных сетей //
Электронный ресурс удалённого доступа Internet - URL:
<http://www.opennet.ru/>
31 High
Availability Campus Network Design/ Cisco Systems - 2010.08.23 San Jose, CA
Luc De
Ghein. MPLS Fundamentals // Cisco Press -Nov 21, 2006 San Jose, CA
Juniper
MetaFabric Architecture Virtualized Data Center. Design and Implementation
Guide // Juniper Networks 2014
Data
Center Design with Cisco Nexus Switches and Virtual PortChannel. // Cisco
Systems - 2010 San Jose, CA
Cisco
Data Center Infrastructure 2.5 Design Guide // Cisco Systems - Dec 6, 2007 San
Jose, CA
Extreme
Networks. Data Center Networking. Connectivity/Topology Design Guide // Extreme
Networks - 2014
Randy
Zhang. Micah Bartell. BGP Design and Implementation. // Cisco Press - Dec 12
2003 San Jose, CA
Internet
Engineering Task Force. RFC6830. // Jan 2013
39 Уэнделл Одом. CCNA ICND2. Официальное руководство Cisco по
подготовке к сертификационным экзаменам // Второе издание, изд. дом Вильямс -
М.2011
Гольдштейн А.Б.,
Гольдштейн Б.С. Технология и протоколы MPLS. // СПБ:БХВ
2005
41 Internet
Engineering Task Force. Address Allocation for Private Internets RFC1918 // Feb
1996
Pi-Chung
Wang. MAC Address Translation for Enabling Scalable Virtual Private LAN
Services. // 23 May 2007
Larry
Samberg. Layer 3 VPN // Oct 2014
Carolyn
Duffy Marsan. Suddenly everybody's selling IPv6 // Network World - February 7,
2011
Google
Global Cache Installation and Operations Guide. // Feb 2015
46 Эндрю Таненбаум.
Компьютерные сети. // Изд. Питер - 2007г.
Н.А. Олифер, В.Г.
Олифер. Средства анализа и оптимизации локальных сетей. // Изд. Центр
Информационных Технологий - М.1998
48 Internet
Control Message Protocol // Sep 1981
Meyn, S.
Sean P. Markov chains and stochastic stability // Cambridge University Press -
2002
50 Скорость звука // под.
ред. А. М. Прохорова Физическая энциклопедия. - М.: "Советская энциклопедия",
1988. - Т. 4.
Руководство. Р
2.2.2006 - 05. Руководство по гигиенической оценке факторов рабочей среды и
трудового процесса. Критерии и классификация условий труда.
52 ГОСТ17187-81.
Шумомеры. Общие технические требования и методы испытаний
Руководство
2.2.013-94. Гигиенические критерии оценки условий труда по показателям
вредности и опасности факторов производственной среды, тяжести, напряженности
трудового процесса.