провести испытание общего алгоритма функционирования предметной области.
Научная новизна состоит в том, что предложен подход к построению модель Грид-системы, в которой каждому свойству Грид-системы приводится в соответствие определённая услуга или группа услуг с учётом уровня интероперабельности.
Построена модель, которая служит основой выбора и разработки стандартов и построение профилей, направленных на обеспечение интероперабельности Грид-системы.
1. Обзор существующих решений и постановка задачи
1.1 Сущность концепции ГРИД-системы
Концепция ГРИД-технологий появилась в 1960-х годах. В связи с потребностями в больших объемах вычислений в фундаментальных научных исследованиях. Постоянный прогресс в этой области, а также настойчивый поиск решений все новых классов задач привели к расширению этого понятия.
Одно из ранних определений понятия GRID дано в 1998 г. К. Кессельманом и Я. Фостером (считающимися отцами GRID-технологии). Согласно их определению, «вычислительный GRID является программно-аппаратной инфраструктурой, которая обеспечивает надежный, совместимый, повсеместный и недорогой доступ к вычислительным ресурсам большой мощности» []. В 2000 г. к этому определению добавилсz следующий принцип ГРИД-систем: «координированное распределение ресурсов и решение проблем в динамических виртуальных организациях».
В настоящее время концепция ГРИД состоит прежде всего в глобальной интеграции распределенных вычислительных и информационных ресурсов.
Например, такими ресурсами в ГРИД-средах являются:
) вычислительные ресурсы;
) системы хранения данных (БД, БЗ, нейронные сети и т.п.);
) электронные каталоги информационных ресурсов.
Важную роль для предоставления пользователям таких распределенных ГРИД-ресурсов играют телекоммуникационные системы (ТКС) нового поколения.
Все ресурсы ГРИД-систем и ТКС разделяют на физические и логические [].
К физическим распределенным ресурсам ГРИД-систем относятся:
) оперативная память;
) память на долговременных носителях;
) процессорные мощности;
) коммуникаторы и маршрутизаторы сети.
К логическим ресурсам ГРИД-систем относятся:
) распределенная файловая система;
) компьютерные кластеры;
) распределенные пулы (временная интеграция по договору) компьютеров;
) локальные компьютерные сети.
На рис. 1 представлена одна из возможных структур Grid Computing.
[Алпатов А.Л. Развитие распределенных технологий и систем // Перспективы Науки и Образования, 2015. - №2 (14)]
Рис. 1.1. Пример аппаратной структуры ГРИД-системы
В ГРИД-среде пользователи и приложения работают не с множеством компьютеров, а с единой интегрированной ГРИД-системой, не с набором дисков, на которых хранятся файлы и базы данных, а с единой виртуальной областью хранения информации, образованной отдельными носителей распределенных программ и массивов данных [14].
Разработка и эксплуатация ГРИД-систем совместно с обслуживающими их ТКС позволяют реализовать распределенные вычисления и параллельную обработку данных.
ГРИД-технология должна обеспечивать достижение принципиально новых результатов, позволяя:
) оптимизировать (минимизировать) нагрузку на серверы;
) создавать отказоустойчивую информационно-вычислительную и телекоммуникационную среду;
) обеспечивать высокую степень доступности предлагаемых сервисов;
Таким образом, основными характерными особенностями ГРИД-систем, которые должны быть реализованы при их проектировании и эксплуатации, являются следующие признаки и свойства:
) значительные масштабы вычислительных или информационных ресурсов. Обычно объем памяти и количество процессоров в ГРИД-системах многократно превосходят ресурсы отдельного компьютера, кластера или локального вычислительного комплекса;
) гетерогенность компьютерной среды. В состав ГРИД-среды могут входить компьютеры, рабочие станции (РС) и серверы различной мощности, работающие под управлением различных операционных систем и собранные на различной элементной базе;
) географически пространственное распределение информационных вычислительных ресурсов;
) объединение информационных и вычислительных ресурсов, которые не могут управляться централизованно;
) использование стандартных, открытых, общедоступных протоколов и интерфейсов;
) обеспечение информационной безопасности.
В дальнейшем под термином «ГРИД-система» будем подразумевать распределенную компьютерную систему, обладающую перечисленными выше свойствами и представляющую внешним агентам-пользователям распределенные в ней информационные и вычислительные ресурсы через телекоммуникационную сеть.
1.2 Основные проблемы проектирования и эксплуатации ГРИД-систем
Решение задач и выполнение требований, стоящих перед ГРИД-системами, сталкивается с рядом проблем в сравнении с традиционными системами, возникающих в ходе проектирования эксплуатации этих систем.
Основными проблемами ГРИД-систем являются проблемы, связанные с:
администрированием системы:
ограниченностью масштабируемости системы;
балансированием нагрузки на узлы системы;
восстановлением данных в случае возникновения ошибок.
Нами составлено дерево основных проблем проектирования и эксплуатации ГРИД-систем, приведенное на рис. 2.
Рассмотрим более подробно их содержание.
Администрирование системы. Фрагментация ресурсов в ГРИД-системах требует создания гибких настраиваемых средств администрирования. Поскольку в глобально распределенных системах администрирование должно происходить в автоматическом режиме, то возникают следующие основные проблемы администрирования ГРИД-систем:
балансировка нагрузки на узлы системы;
восстановление данных в случае возникновения ошибки;
сбор статистики с узлов системы;
обновление ПО на узлах системы в автоматическом режиме [Цветков В.Я., Алпатов А.Н. Проблемы распределенных систем // Перспективы Науки и Образования, 2014. - №6 (12)].
Рассмотрим проблему балансирования нагрузки в узлах ГРИД-системы.
Рис. 1.2. Дерево проблем проектирования и эксплуатации ГРИД-систем
Правильно выбранная стратегия балансировки нагрузки оказывает значительное влияние на общую эффективность и скорость работы ГРИД-системы. В настоящее время существует множество подходов [Babich A.V., Bersenev G.B. Algorithms for dynamic load balancing in a distributed system of active monitoring. Izvestiia TulGU. Tekhnicheskie nauki - Bulletin of the Tula State University University. Technical science, 2011, no. 3, pp. 251-261 (in Russian).] разрешения этой проблемы, которые можно классифицировать следующим образом.
По характеру распределения нагрузки на вычислительные узлы используется статическая и динамическая балансировка (перераспределение).
Статическая балансировка, как правило, выполняется по результатам априорного анализа. При распределении ресурсов по вычислительным узлам анализируется модель распределенной системы для выбора наилучшей стратегии балансировки. При этом учитывается структура ГРИД-системы и конфигурация вычислительных узлов. Основным недостатком этого метода балансировки нагрузки является необходимость сопоставления узлов с различной конфигурацией оборудования с вычислительными потребностями задачи, а это не всегда возможно.
Динамическая балансировка ГРИД-системы представляет собой адаптацию нагрузок на узлы системы в процессе работы, что позволяет более эффективно использовать ресурсы сети. Необходимость динамической балансировки возникает в ситуациях, в которых не представляется возможности изначально спланировать общую загрузку сети. Например, такое возникает при решении задач математического моделирования, использующих итерации, вследствие чего сложность вычислений повышается и, увеличивается потребность в вычислительных мощностях. Также динамическая балансировка позволяет использовать ПО, инвариантное к архитектуре ГРИД-системы.
Проблемы восстановления данных в случае возникновения ошибок.
В ходе эксплуатации ГРИД-систем стоит задача отслеживания сбоев с последующим восстановлением данных. Такая проблема может возникнуть, например, при сбое питания одного из узлов сети. Автоматическое восстановление данных представляет собой сложную задачу, включающую большое количество проблем. В процессе восстановления данных необходимо выяснять характер возникшей ошибки, классифицировать его и автоматически восстановить все данные. При этом к системе выдвигаются требования целостности связанных данных, и доступности остальных данных, поскольку восстановление должно выполняться без блокирования доступа к чтению / записи основных ресурсов, таком образом ГРИД-система должна функционировать без останова.
Для решения этой проблемы на данное время выработано большое количество методов. Например, для восстановления данных в информационных распределенных системах (распределенных СУБД) используют журнал транзакций, сохраняющий всю информацию об изменениях, произошедших в базе данных. Сложность в этом подходе состоит в правильной классификации ошибок и правильном применении методов автоматического восстановления данных.
Проблемы ограниченности масштабируемости.
Масштабируемость ГРИД-систем является одной из первоочередных задач при проектировании таких систем. ГРИД-системы позволяют избежать основного недостатка централизованных систем, а именно, ограниченности наращивания вычислительных мощностей системы.
Основными показателями масштабируемости ГРИД-системы являются:
масштабируемость по отношению к размеру системы. Система масштабируема по отношению к размеру, если способна обеспечивать простоту подключения к системе новых узлов.
географическая масштабируемость. Система географически масштабируема, если к ней возможно подключение новых узлов, без ограничения по географическому признаку (страна, город, дата-центр и т.п.), т.е. система обеспечивает подключение глобально распределенных узлов [Распределенные системы. Принципы и парадигмы Э. Таненбаум, М. Bан Стеен. СПб.: Питер, 2003.].
Масштабируемость управления. Система масштабируема в аспекте управления ресурсами, если при росте общего количества узлов в системе, ее администрирование не усложняется. Для решения задачи масштабируемости ГРИД-системы необходимо решить большое количество проблем.
Основными проблемами масштабируемости ГРИД-систем являются следующие проблемы.
Проблема наращивания количество узлов системы, что не всегда возможно вследствие ограниченности служб, алгоритмов, поскольку зачастую многие службы настроены на работу с конкретным количеством оборудования (конкретного сервера, конкретной архитектуры). Таким образом имеется проблема централизации, как ресурсов, так и служб.
Проблема ограниченности возможностей сервера, который выполняет агрегирование данных, собранных с узлов ГРИД-системы в общее глобальное представление.
Проблема ограниченности сетей передачи данных. Поскольку при географической масштабируемости узлы ГРИД-системы могут находиться в географически отдаленных точках, то при проектировании и эксплуатации таких систем возникает проблема надежности сетей передачи данных. При низких скоростях передачи данных возможно снижение общей надежности и производительности систем.
Проблема ограниченности алгоритмов обработки данных. Для функционирования ГРИД-системы необходимо использовать методы и алгоритмы сбора данных с узлов системы, которые бы минимально перегружали коммуникационную сеть.
Проблема переносимости программного обеспечения. Проблема переносимости ПО является одним из ключевых сдерживающих факторов развития и дальнейшего масштабирования распределенных систем и состоит в невозможности запуска созданного приложения на различных архитектурах. Вопрос переносимости ПО особенно остро стоит в глобально распределенных системах, где в качестве узлов может использоваться гетерогенное оборудование, работающее под различными ОС. Например, для объединения вычислительных машин в одну глобальную вычислительную ГРИД-систему потребуется отдельное клиентское приложение для каждого вычислительного узла, учитывающее специфику его архитектуры и ОС.
1.3 Обзор существующих научных разработок по ОООНЭ ГРИД-систем при их эксплуатации
Рассмотренные проблемы является обобщенным, в тоже время для каждой конкретной ГРИД-системы присущи свои проблемы, мы же рассмотрели наиболее общие проблемы, которые наиболее часто встречаются при эксплуатации и проектировании ГРИД-систем.
Учитывая специфику ГРИД-систем и гетерогенность оборудования и архитектуры систем, не существует единого метода проектирования, который обеспечивал бы решение вышеперечисленных проблем.
В настоящее время на рынке ПО представлено достаточно программных средств как для сбора статистики, так и для обновления ПО. Для разработчиков представляют методы балансирования нагрузки на узлы системы и методы восстановления данных в случае возникновения ошибок.
В настоящее время существует достаточное количество решений по организации ГРИД-систем. Поскольку большинство транзакций в таких системах происходит через открытые коммутационные среды, возникает ряд проблем эксплуатации, связанных с безопасностью ГРИД-систем.
Традиционные меры обеспечения безопасности основаны на изоляции систем и защите ресурсов за счет выполнения правил, которые ограничивают действия пользователей. Но такой подход противоречит основному требованию к ГРИД-системе - совместному использованию ресурсов независимо от географических рубежей и корпоративных границ.
Современные подходы к организации механизма защиты информации в компьютерных системах основаны на централизации средств защиты (сертификационные агентства, службы регистрации и авторизации, единые для всей системы). Однако это накладывает определенные ограничения при динамическом масштабировании ГРИД-систем. Основные требования безопасности, которые предлагается использовать при разработке Грид-систем, входят в стандарт Security Architecture for Open Grid Services, который был разработан Open Grid Forum, и на текущее время Globus Toolkit (GT) представляет собой широко распространенную версию этого стандарта.
Анализ функционирования ГРИД-систем, проведенный [], показал, что важнейшей проблемой обеспечения безопасности систем является определение показателей доверия к узлам системы. Уровни доверия можно определить непосредственно по опыту работы Грид-системы и по информации, полученной от оцениваемых узлов, входящих в систему. В качестве решения этой проблемы Мухиным В.Е. в работе [Мухин В.Е. Средства защиты GRID-систем на основе дифференцирования уровня доверия к узлам системы // Искусственный интеллект, Донецк. - 2003. - №3. - С. 187-196.] предложено ввести понятия сервера-хранилища метрик доверия и вектора репутации узлов, с помощью которых формируются следующие показатели доверия:) усредненный показатель доверия к i-му узлу
б) общий показатель доверия
,
где Tji - показатель доверия j-го узла к i-му;j - количество транзакций с j-м узлом;i - i-e значение вектора репутации узла.
Показатель доверия определяется в интервале (0,1), при этом значение 0 соответствует полному отсутствию доверия, а значение 1 - полному доверию узлу со стороны Грид-системы.
Эффективность. Для многих Грид-систем эффективность является одной из основных целей их создания. Поскольку ГРИД-системы состоят из разнородных ресурсов, включающих иерархии вычислительных узлов с различной производительностью, каналы связи с различной пропускной способностью и различные системы памяти, то они могут затруднять достижение высокой эффективности использования ресурсов и высокой производительности (быстродействия). Соотношение между объемами информационных обменов и объемами выполняемых вычислений, которое может поддержать типичная ГРИД-система, может затруднить разработку ПО для тесно-связанных систем. Но для многих приложений не менее важным является достижение не просто высокой производительности, а надежной производительности.
Динамически-разнородная среда может давать большой разброс в оценках производительности системы, и иногда такой разброс недопустимым. Поэтому в условиях общедоступной ГРИД-среды качество обслуживания процессов в системе является необходимым условием достижения надежной производительности для системы программирования на данной архитектуре ресурсов. Для некоторых проектов потребители могут выдвигать требования фактически детерминированной модели производительности, поэтому более приемлемым может стать вариант получения надежной производительности в пределах некоторых статистических границ.
Отказоустойчивость. Динамизм вычислений в Грид-системе требует обеспечения некоторого допустимого уровня отказоустойчивости. Это особенно актуально для высоко распределенных программ (например, метод Монте-Карло), в которых могут инициализироваться тысячи подобных независимых заданий на тысячах компьютеров. Разумеется, что увеличение количества ресурсных единиц повышается вероятность отказа в системе. Приложения ГРИД-систем должны иметь способность проверить исправности коммуникаций и вычислительных ресурсов в процессе выполнения программ и обеспечивать на программном уровне реакции на ошибки или действия по восстановлению вычислений. При этом в условиях неисправностей инструментальные средства могут обеспечивать минимальный уровень достоверных вычислений, которые реализуются, в основном, механизмами времени выполнения.
Надежность. Грид-системы при выполнении обычно пересекают границы многих административных областей, используя общедоступные ресурсы, такие как компьютерные сети. Если важным является обеспечение строгой аутентификации между двумя узлами, то в Грид-системе не редки случаи, когда приложение включает большое количество программно-управляемых узлов. Фактически имеется необходимость отслеживать деревья запросов произвольной глубины, в которых отбор ресурсов решается динамически. Поэтому механизмы защиты, которые обеспечивают удостоверение подлинности и секретность, должны быть неотъемлемой частью модели Грид-систем.
1.4 Обзор существующих научных разработок по ОООНЭ ГРИД-систем при их проектировании
Независимо от того, как в конечном счете развертываются Грид-системы, они состоят из компонентов и сервисов, которые являются или постоянными (persistent), или могут быть установлены (instantiated). Некоторые из этих компонентов и сервисов уже широко используются. Поэтому многие приложения строят с помощью композиции компонентов и сервисов.
На компиляторы и инструментальные средства композиции возлагают ответственность за генерирование метамоделей и их использование для идентификации композиций и их приведение к допустимому виду. В контексте Грид-системы термин «допустимый» может означать выполнение характеристик эффективности, безопасности и отказоустойчивости. На основе высокоуровневого описания программы (например, как в сценарном языке порталов), компилятор может отображать семантику высшего уровня на компоненты низшего уровня и сервисы.
Примером работы в области создания ГРИД-приложений является разработка инструментальных программных средств для приложений Грид (GrADS) [].
Подход GrADS основан на:
) системе подготовки программ;
) системе выполнения программ.
Система подготовки программ воспринимает на вход программу пользователя вместе с повторно используемыми компонентами и библиотеками и создает конфигурируемую объектную программу. Объекты этой программы аннотируются требованиями ресурсов и прогнозируемой производительностью. Среда выполнения использует данную информацию для выбора соответствующих ресурсов для выполнения, и также для контроля производительности приложения согласно с «контрактом».
Приложения Грид-систем должны уметь проводить удостоверение подлинности (аутентификацию), проверку полномочий (авторизацию), проверку целостности и секретность. Базисная двухточечная защита может быть выполнена путем интеграции механизма защиты с конструкциями программирования.
Примером может служить интеграция SOAP с GSI. В широком контексте, вызовы RMI или RPC могут существовать в дереве вызовов, а поддержка безопасности вдоль дерева вызовов требует использования оценки и делегирования доверия.
Принятие и проверка сертификатов на RPC также представляет собой накладные расходы, которые должны быть сбалансированы с количеством работ, представленных RPC. Накладные расходы по защите могут управляться путем установления безопасного доверительного домена.
Вопросы надежности, отказоустойчивости и эффективности в моделях и инструментальных средствах проектирования ГРИД-систем в значительной степени в настоящее время еще не исследованы, кроме простых механизмов контрольных точек и рестарта. Проблема состоит в том, как сделать модели и инструментальные средства проектирования ГРИД-систем более достоверными, отказоустойчивыми и эффективными.
Имеющиеся различия между надежностью и отказоустойчивостью приложения, модели или инструмента проектирования ГРИД-системы выдвигают требование обеспечения надежности и отказоустойчивость как на верхнем уровне, так и на всех нижних уровнях системы.
Модель должна обеспечивать обнаружение неисправностей, извещение о неисправности и устранение неисправности.
В распределенной ГРИД-системе актуальна способность как обнаружения неисправностей, так и распространения извещения о неисправности на соответствующие узлы системы. Кроме того, узлы ГРИД-системы должны обладать способностью самовосстановления или самоограничения последствий неисправностей.
Выдвинутые требования могут быть реализованы в модели проектирования ГРИД-системы путем интегрирования модели событий.
В задачи исследования входит:
Описание параметров и признаков состояний ГРИД-системы
Описание образов состояний ГРИД-системы в пространстве признаков
Выбор математической модели динамики показателей отказоустойчивости, надежности и эффективности ГРИД
Анализ динамики показателей ГРИД и выбор метода обеспечения отказоустойчивости, надежности и эффективности.
Анализ методов оценки параметров отказоустойчивости, надежности и эффективности ГРИД-системы
Формирование критериев оценки параметров отказоустойчивости, надежности и эффективности ГРИД-системы и алгоритмов оценки их динамики.
Разработка модели и алгоритма принятия решения по управлению отказоустойчивостью, надежностью и эффективностью ГРИД-системы.
Разработка общего алгоритма функционирования модели.
Проведение испытаний модели динамики показателей отказоустойчивости, надежности и эффективности ГРИД и алгоритма оценки динамики критериев.
Проведение испытаний модели и алгоритма принятия решения по управлению отказоустойчивостью, надежностью и эффективностью ГРИД-системы и общего алгоритма функционирования модели.
. Общий подход к моделированию предметной области
2.1 Общая классификация ГРИД-систем и их состояний
Основными на данный момент технологиями реализации РВС являются Grid и облачные системы [1]. Grid-система является программно-аппаратной инфраструктурой, которая обеспечивает надежный и прозрачный доступ к вычислительным ресурсам. Выделение вычислительных ресурсов, наряду с обеспечением взаимодействия гетерогенных платформ и операционных систем вычислительных узлов, являются центральными проблемами при построении Grid - систем [2].
Идея Grid-технологий возникла в 1990-е годы как второе поколение распределенных вычислительных систем. Первоначально они существовали в виде Volunteer Computing - это форма реализации Grid-вычислений, особенность которой заключается в использовании «свободных» ресурсов компьютеров обычных пользователей по всему миру. Однако сегодня системы, построенные на принципах Grid Computing, создаются чаще всего внутри предприятий - в основном по соображениям безопасности [3]. Такая форма организации Grid-системы получила название корпоративные Grid-системы (Enterprise Grid Computing) и используется для запуска коммерческих приложений. Главными минусами такой системы являются сложность развертывания вычислительного кластера, а также довольно высокая стоимость закупки оборудования и обслуживания уже готовой системы. Поэтому в качестве альтернативы данной форме построения Grid-вычислений в рамках предприятия используется технология Enterprise Desktop Grid.
Термин ГРИД стал использоваться с середины 90-х годов для обозначения некоторой инфраструктуры распределенного компьютинга, предлагаемой для обслуживания передовых научных и инженерных проектов. Одни понимают под ГРИД-системой географически распределенную инфраструктуру, объединенную в единую вычислительную сеть или «мегакластер», другие - колаборационную среду, состоящую из совокупности виртуальных организаций (ВО) и им принадлежащих ресурсов (сетевых, вычислительных и т.д.) [1]. На наш взгляд, наиболее точно определить ГРИД можно как систему, связанную с функциями интеграции, виртуализации и управления службами и ресурсами в распределенной гетерогенной среде, которая поддерживает совокупность пользователей и ресурсов (виртуальные организации) на совокупности традиционных административных и организационных доменов (фактических организаций) [2] (перевод [1] см. на сайте #"justify">Рис. 2.1. Эволюция сетевых технологий
За время эволюции информационных технологий сама ГРИД не обособилась в отдельную сетевую вычислительную структуру, а напротив, за счет существующих прогрессивных технологий (протоколов) расширила области практического применения далеко за рамки чисто научных расчетов (см. Рис. 2.1) и из сферы e-Science перешла в e-Business.
Именно благодаря своей компонентной архитектуре и требованиям к существующим протоколам не составляет особого труда «развернуть» ГРИД-кластер в рамках отдельных организаций и осуществлять его дальнейшее расширение за счет присоединения дополнительных ресурсов.
Современный этап развития в области высокопроизводительных суперкомпьютерных систем и вычислений в настоящее время представлен не только классическими специализированными электронно-вычислительными машинами, значительно превосходящими по своим техническим характеристикам большинство существующих в мире компьютеров. Но и довольно специфичной технологией высокопроизводительных вычислений, основанной на базе независимых персональных компьютеров объединённых с помощью сети в один кластер.
Технология GRID - это набор независимых, разнородных компьютеров, объединенных с помощью сети в одну вычислительную систему, предназначенную для решения трудоемких вычислений и обработки данных. С одновременным привлечением к работе огромного числа вычислительных ресурсов в виде персональных компьютеров, работающих одновременно над разными частями задачи.
Важную роль в Грид-технологии играет концепция виртуализации, которая поддерживает согласованный доступ к ресурсам на множестве гетерогенных платформ, позволяет определять отображение множества логических экземпляров ресурсов на один и тот же физический и помогает управлению ресурсами в VO (Virtual Organization), обеспечивая композицию из ресурсов более низкого уровня, объединяет базовые сервисы и позволяет формировать более сложные сервисы.
Виртуализация Грид-сервисов позволяет легко отображать общее семантическое поведение сервисов на оригинальные механизмы платформы.
В свою очередь VO представляtт собой форму обьединение ресурсов и пользователей, ориентированных на выполнение определенных задач и предоставление определенных сервисов.
К основным областям применения Грид-систем относят научные исследования, аэрокосмическая и автомобильная промышленность, архитектура, электроника, энергетика, финансово-банковская инфраструктура, медицина и биотехнологии, производство, медиа-развлечения.
На основании анализа указанных областей применения Грид-систем можно утверждать, что основными ресурсами, которые будут запрашиваться для решения поставленных задач будут вычислительные ресурсы, ресурсы для хранения данных, специальные аппаратные ресурсы и уникальное оборудование.
Существует несколько типов Грид-систем. Все эти системы обладают общим свойством ñ все они предоставляют ресурсы посредством сервисов. Но каждая из этих Грид-систем оптимизирована для предоставления различной функциональности.
При этом различают [1, 2, 7]:
) Вычислительные Грид (Computational Grid) ñ для объединения вычислительной мощности тысяч персональных компьютеров и серверов и создания, таким образом, среды предоставляющей суперкомпьютерный уровень производительности.
) Грид Данных (Data Grid) ñ предоставляют ресурсы для распределенной обработки данных, что позволяет выполнять глубокий анализ распределенных, больших по объему и часто разнотипных баз данных без их физического перемещения.
) Семантические Грид (Semantic Grid) ñ предоставляют инфраструктуру для выполнения вычислительных задач на основе распределенного мета-информационного окружения, позволяющего оперировать данными из разнотипных баз данных, различных форматов, представляя результат в формате, определяемом приложением.
Используя данные мониторинга GRID-систем, к примеру, по состоянию на 15 мая 2016 года в проекте распределённых вычислений Folding@Home активны около 220 000 CPU, 23 000 GPU. Чья суммарная производительность составляет 7 петафлопс. В 2007 году книга рекордов Гиннесса признала проект Folding@Home самой мощной сетью распределённых вычислений. По состоянию на декабрь 2014 года проект Folding@Home занимал вторую строчку мирового рейтинга самых мощных систем распределённых вычислений, уступая лишь Bitcoin, мощность которого составляет 161 петафлопс.
Для сравнения, первую строчку в мировом рейтинге суперкомпьютеров TOP500 2015 года занимает китайская система <<Tianhe-2>> с мощностью около 54 петафлопс, второе место у <<Titan>> с мощностью 27 петафлопс.
Главнейший козырь данной системы в том, что её можно развернуть на любом персональном компьютере, подключённому к сети в любой части света. Также можно превратить любую, уже существующую локальную сеть в отдельный кластер и принять участие в общих расчётах, либо превратить отдельный кластер в супер компьютер и ставить перед ним собственные задачи.
Принципиальной новизной данной технологии является надёжность, гибкость, скоординированность и безопасность объединения разрозненных ресурсов путем создания специального стандартизированного программного обеспечения, а также набора стандартизованных сервисов и служб, обеспечивающих надежный доступ к географически распределенным вычислительным ресурсам отдельных персональных компьютеров и уже объединённых в сеть локальных кластеров.
Под разрозненными ресурсами понимаются не только процессорные ресурсы или ресурсы хранения информации, но и сетевые ресурсы, а также системное или прикладное программное обеспечение.
В русском языке иногда называются системами метакомпьютинга (метавычислений).
В настоящее время выделяют три основных направления GRID-систем:
Добровольные GRID-системы - GRID-системы на основе использования добровольно предоставляемого свободного ресурса персональных компьютеров;
Научные GRID-системы - Похожи на добровольные GRID-системы, главным критерием в которых выступает научная польза от совместных расчётов.
Коммерческие GRID-системы - на основе коммерческих приложений, выделение вычислительных ресурсов происходит по требованию заказчика.
В настоящее время существует несколько проектов по разработке систем распределённых вычислений GRID. Среди них наиболее известны: Bricks, MicroGrid, OptorSim, SimGrid и GridSim. Данные системы обладают как достоинствами, так и недостатками.
Одним из наиболее распространенных в настоящее время программных средств для реализации GRID является пакет Globus Toolkit. Пакет Globus Toolkit разрабатывается, поддерживается и продвигается международным альянсом разработчиков из университетов США и Великобритании, а также научных лабораторий и вычислительных центров. Globus Toolkit является свободно распространяемым продуктом с открытым исходным кодом программного пакета и предлагает базовые средства для создания Grid инфраструктуры: средства обеспечения безопасности в распределенной среде, средства надежной передачи больших объемов данных, средства запуска и получения результатов выполнения задач на удаленных вычислительных ресурсах. На базе пакета Globus Toolkit создаются промышленные версии реализаций GRID-инфраструктуры, например, такие как Univa и Platform Globus Toolkit.
Folding@Home (F@H, FAH) - проект распределённых вычислений для проведения компьютерного моделирования свёртывания молекул белка. Проект запущен 1 октября 2000 года учёными из Стэнфордского университета. По состоянию на июль 2008 года - это крупнейший проект распределённых вычислений, как по мощности, так и по числу участников.
Цель проекта с помощью моделирования процессов свёртывания/ развёртывания молекул белка получить лучшее понимание причин возникновения болезней, вызываемых дефектными белками, таких как Альцгеймера, Паркинсона, диабет 2 типа, болезнь Крейтцфельдта - Якоба (коровье бешенство), склероз и различных форм онкологических заболеваний. К настоящему времени проект Folding@home успешно смоделировал процесс свёртывания белковых молекул на протяжении 5-10 мкс - что в тысячи раз больше предыдущих попыток моделирования.
По результатам эксперимента вышло чуть менее 200 научных работ.
Клиентская программа Folding@Home запускается в фоновом режиме и выполняет вычисления лишь в то время, когда ресурсы процессора не полностью используются другими приложениями.
Программа-клиент Folding@home периодически подключается к серверу для получения очередной порции данных для вычислений. После завершения расчётов их результаты отсылаются обратно.
Участники проекта могут видеть статистику своего вклада. Каждый участник может запустить программу-клиент на одном или более компьютерах, может вступить в одну из команд.
SETI@home - научный, добровольческий, некоммерческий проект на платформе BOINC, использующий свободные вычислительные ресурсы на компьютерах добровольцев для поиска радиосигналов внеземных цивилизаций.
Один из подходов поиска внеземных цивилизаций SETI Radio Searches, использует радиотелескопы для поиска узкополосных радиосигналов из космоса. Предположительно, внеземная цивилизация будет использовать и если в радиосигнале будут периодически повторяющиеся элементы, их будет несложно обнаружить. Эти повторяющиеся сигналы предположительно должны иметь искусственную природу и, соответственно, их обнаружение косвенно подтвердит присутствие внеземной технологии. Сигналы, получаемые радиотелескопом, преимущественно состоят из шума, производимого небесными объектами, радиоэлектроникой, спутниками, телевизионными вышками и радарами.
Современные проект SETI в радиодиапазоне используют цифровые технологии для анализа данных. Для Radio SETI требуется невероятная вычислительная мощность, потому что расчёт преобразования Фурье - крайне ресурсоёмкая задача, а в данном случае она помножена на огромное количество поступающей информации.
В предыдущих проектах SETI Radio Searches использовались специализированные суперкомпьютеры, установленные на радиотелескопах и анализировавшие огромный объём поступающей информации.
В 1994 году Дэвид Геди, работающий в программе SERENDIP Калифорнийского Университета в Беркли, предложил использовать виртуальный суперкомпьютер, состоящий из большого числа имеющих доступ к интернету, персональных компьютеров и организовал проект SETI@home для проверки этой идеи. Научный план, который разработали Дэвид Геди и Крейг Каснофф из Сиэтла, был представлен на пятой международной конференции по биоастрономии в июле 1996 года
SETI@home стартовал 17 мая 1999 года. Эта версия, именуемая в дальнейшем SETI@Home Classic, просуществовала до 15 декабря 2005 года.
Далее проект продолжается только с использованием платформы BOINC.
С 3 мая 2006 года используется клиентское программное обеспечение SETI@home Enhanced.
Клиентское программное обеспечение с открытым исходным кодом (GNU General Public License) и каждый желающий участник проекта может внести свой вклад не только в расчёты, но и в разработку и тестирование программного обеспечения. Поэтому клиентское обеспечение доступно для большинства из популярных операционных систем и типов центральных процессоров.
Climate Prediction - проект, который пытается предсказать погоду на 50 лет вперёд. Основываются предсказания на старых теориях и схемах. Проект ставит перед собой 2 цели:
-Установить какова точность и эффективность используемых сейчас методик.
-Предсказать погоду на наибольший период, если методики расчётов эффективны.
Участникам, придётся скачать программу, моделирующую различные погодные условия на Земле. Среди полученных результатов сначала отберут те, которые наиболее соответствуют результатам в прошлом, до 2000 года, и уже на их основе выстроят модель изменения климата в будущем.
RainbowCrack - проект создаёт базу по всем возможным видам паролей и соответствующим им хэшам по всем распространённым в мире алгоритмам хэширования. Что в будущем позволит получить систему, которая сможет с помощью быстрого бинарного поиска по таблице соответствий хешей получать обратное преобразование хэша в пароль для любого существующего алгоритма хэширования за считанные секунды.
Сейчас в проекте создано сотни гигабайт всех возможных паролей, которые позволяют с вероятностью порядка 99% найти за несколько минут обратное преобразование из хэша в любой пароль длиной до 7 символов (не только из букв, но также цифр и многих спец-символов), зашифрованных по алгоритмам LanMan, MD2, MD4, MD5, SHA1, RIPEMD-160, Cisco PIX, MySQL 3.23, MySQL SHA1.
Обычно на расчёт таблицы уходит от нескольких дней до недели процессорного времени (2 ГГц) - за каждую расшифрованную таблицу паролей, предоставляется доступ к базе паролей.
Distributed Internet MEasurements & Simulations - проект занимается построением подробной карты интернета. Клиент DIMES выполняет измерения состояния сети, такие как traceroute или ping. Результат можно наблюдать в реальном времени, как клиент выполняет визуальную трассировку пути.
Из суммы приза планируется сделать выплаты всем «открывателям» предыдущих простых чисел Мерсенна, авторам программного обеспечения и авторам эффективных алгоритмов простых чисел Мерсенна.
Пользователю, чей персональный компьютер, <<найдёт>> то самое простое число, полагается остаток, который будет гарантированно не меньше $25000.
Majestic-12 - целью проекта стала тотальная индексация страниц для создания всемирной индексной базы интернета. Один компьютер в день может проиндексировать более миллиона страниц в день, что позволит при успешном развитии проекта пользоваться для поиска необходимой информации, базой данных вдвое больше чем у всех поисковых систем вместе взятых.
Представленные результаты использования GRID-систем говорит о многом. Уже на стадии прототипа сети распределенных вычислений нашли свое применение в науке. Моделирование сложных процессов, обработка большого объема данных и тому подобные задач требуют вычислительных мощностей, которые зачастую не способны предоставить суперкомпьютеры. Возможности данной технологии, при правильной стратегии управления потоками задач, развитии и поиске новых алгоритмов, безграничны в сфере моделирования, вычислений и решений задач. И требуют пристального внимания и развития.
В настоящее время возросла потребность в масштабных расчетах уже не только в научных целях, но и на производстве. Это требует большой вычислительной мощности, и такие расчеты можно осуществить с помощью распределенных вычислительных систем (РВС).
Enterprise Desktop Grid также представляет вычислительную систему, построенную с помощью коммуникационной сети организации, но в основе неё лежит набор географически распределенных ПК. Данная технология позволяет организациям использовать незадействованные вычислительные ресурсы, принадлежащих им настольных компьютеров для создания виртуальных суперкомпьютеров без дополнительных инвестиций в оборудование. При этом общая производительность подобных систем может достигать нескольких петафлопс.
Современное состояние Grid-систем
В конце 90-х появилась идея создания стандарта архитектуры Grid-систем. В качестве такого стандарта в 2001 году была предложена архитектура веб-сервисов. Созданный стандарт получил название Open Grid Services Architecture (OGSA). Концепция OGSA состоит в том, что каждый вычислительный узел системы является службой: то есть сущностью, доступной через сеть и имеющей некоторую функциональность, реализуемую путём обмена сообщениями [3]. В настоящее время, существуют две системы, предоставляющие все инструменты для разработки Grid-систем в соответствии со стандартом OGSA: Globus Toolkit и UNICORE.
На основе OGSA и Globus Toolkit построено большинство современных Grid-систем, которые нашли свое применение как в сфере научных исследований, так и в бизнес-среде. Подобные корпоративные решения позволяют применяющим их предприятиям получать важное стратегическое преимущество при ведении своей деятельности. Рассмотрим актуальные на данный момент проекты Grid-систем.
SETI@Home Grid System - научный проект, использующий свободные вычислительные ресурсы, добровольно предоставляемые простыми пользователями со всего мира. Система построена на базе программной платформы Berkeley Open Infrastructure для сетевых вычислений (BOINC). Клиентская часть проекта имеет открытый исходный код, и каждый член проекта может внести свой вклад в разработку ПО [4].
Aneka - сервис-ориентированная платформа на основе.NET для построения корпоративных Grid и Cloud Computing систем от разработчиков популярной системы Alchemi. Aneka был задуман с целью предоставления набора инструментов и услуг, которые значительно упрощают развертывание распределенных приложений без ущерба для их работы, масштабируемости и надежности [5].
Oracle Enterprise Manager (OEM) - комплексное решение для централизованного управления системами, созданными на основе продуктов Oracle, включая базы данных, серверы приложений, HTTP серверы, Интернет-приложения и т.д. Этот пакет позволяет администратору выполнять основные операции по управлению БД и сервера приложений Oracle [6].
NVIDIA GRID - это самая современная технология совместного использования аппаратного ускорения на GPU несколькими пользователями без ущерба для графических возможностей с гарантией полной совместимости приложений. IT-менеджеры могут распределять необходимые объемы памяти и предоставлять индивидуально настроенные профили, соответствующие требованиям каждого пользователя [7].
SAS Grid Manager - система распределенных вычислений, которая позволяет создать общую, централизованно управляемую вычислительную среду, которая обеспечивает доступность данных и высокую скорость их обработки. Среда SAS Grid обеспечивает гибкость, возможность с течением времени постепенно наращивать вычислительную инфраструктуру (т.е. количество пользователей) и размер обрабатываемых данных [8].
Techila - коммерческий проект Grid-вычислений. Система решает проблемы, связанные с развертыванием и работой приложений для параллельных вычислений. Решение построено вокруг запатентованной технологии автономных вычислений, которая создает самоуправляемую и масштабируемую вычислительную среду для доступа и управления ИТ-ресурсами для различных высокопроизводительных вычислений [9].
Digipede Network представляет собой распределенную вычислительную систему, которая обеспечивает значительное улучшение производительности в реальных бизнес-приложений. Построенная полностью на платформе Microsoft NET, она гораздо проще в установке и использовании, чем другие решения. Digipede Network предоставляет библиотеку Digipede Framework SDK, которая дает разработчикам мощные Grid-дополнения для их приложений [10].
Virtual Vertex Muster - система, позволяющая создавать кластер, состоящий из нескольких настольных компьютеров, объединенных в одну локальную сеть. Данный кластер предназначен для ускорения рендеринга видео и обработки различных визуальных эффектов в программах Maya, 3dMax, LightWave, Softimage и Adobe After Effects [11].
CLAVIRE (CLoud Application VIRtual Environment) - это многопрофильная инструментально-технологическая платформа, которая обеспечивает создание, разработку и эксплуатацию распределенных неоднородных вычислительных инфраструктур, предоставляя доступ к вычислительным ресурсам, и прикладным пакетам. Также одной из возможностей CLAVIRE является построение корпоративных облачных инфраструктур, публичных инфраструктур с использованием ресурсов Grid-сред [12].
Сравнительная характеристика описанных выше Enterprise Grid-систем показана в таблице 1.
Таблица 2.1. Сравнительная характеристика Enterprise Grid-систем
Grid-системаХарактеристикаSETI@Home Grid System1. Одна из крупнейших распределенных систем, 2. Разработана для анализа данных радиотелескопов. 3. Имеет открытый исходный код.Aneka1. Создана на платформе.NET 2. Максимально упрощает процесс развертывания и эксплуатации системы. 3. Вычислительный узел - это точка доступа ко всей сети.Oracle Enterprise Manager1. Ориентирована работу с продуктами компании Oracle. 2. Позволяет автоматизировать задачи управления: создание, модифицирование, мониторинг и удаление компонентов системы.NVIDIA GRID1. Использует вычислительные ресурсы GPU. 2. Гарантирует совместимость приложений. 3. Возможность тонкой настройки каждого клиента.SAS Grid Manager1. Позволяет производить модернизацию системы без сбоев в работе компьютеров пользователей. 2. Предоставляет большую гибкость и возможность наращивания вычислительной инфраструктуры. 3. Отлично поддерживает распараллеливание задач.Techila1. Решает проблемы, связанные с развертыванием и работой приложений для параллельных вычислений. 2. Создает самоуправляемую и масштабируемую вычислительную среду для доступа и управления ИТ-ресурсами.Digipede Network1. Создана на платформе.NET. 2. Предоставляет удобные средства для создания, мониторинга и предоставления рабочих мест.Virtual Vertex Muster1. Позволяет создать кластер для обработки видео и визуальных эффектов. 2. Поддерживает работу с несколькими ОС. 3. Позволяет обрабатывать несколько параллельных задач одновременно.CLAVIRE1. Обеспечивает создание, разработку и эксплуатацию распределенных неоднородных вычислительных инфраструктур. 2. Платформа обеспечивает разработку как облачных систем, так и Grid-систем.
Концепция Enterprise Grid успешно решает проблемы крупных компаний и научно-исследовательских центров, связанные с нехваткой вычислительных ресурсов при решении требовательных к вычислительным ресурсам задач. Благодаря возрастанию мощностей современных компьютеров и развитию глобальной сети Интернет, концепция Enterprise Grid позволяет создавать надежные и распределенные на значительной территории высокопроизводительные кластеры. Enterprise Grid-системы имеют большой потенциал, но на данный момент не получили достаточного развития, т.к. при работе возникают проблемы, например, связанные с обеспечением безопасности передачи данных. Из этого следует, что данное направление исследований считается очень перспективным и заслуживающим особого внимания.
2.2 Описание параметров и признаков наблюдения за состояниями ГРИД-системы
Распределенной системой автоматизированного проектирования будем называть САПР, отличительной особенностью которой является наличие компонент ñ отдельных структурных узлов, отвечающих за конкретную функциональность и работающих относительно автономно. При этом в распределенной САПР можно выделить логическую и физическую распределенность.
В наиболее общем представлении основными компонентами САПР являются [8]:
-рабочие станции инженеров (с различными аппаратными платформами и операционными системами);
-распределенные вычислительные модули (компьютеры, предоставляющие вычислительные ресурсы);
-распределенные базы данных и знаний;
-среды коллективной разработки (предоставляют возможности коллективной работы на одним проектом командам инженеров, географически расположенным в различным точках земного шара, например, совместное редактирование файлов проекта, телеконференции, различного рода коммуникационные средства, порталы новостей, событий с механизмами уведомлений, организация доступа к полученным результатам, их публикация, обсуждение);
-промышленное оборудование для изготовления спроектированных объектов.
В распределенных САПР все компоненты могут быть физически и географически распределенными и связаны между собой посредством Интернет или интранет.
Рассмотрим основные требования к реализации различных уровней распределенной САПР, а также оценим степень удовлетворения этим требованиям технологий Грид, используемых в для построения инфраструктуры сервисов (middleware).) Объединение разнообразных аппаратных средств САПР в единую инфраструктуру. Исходя из определения Грид, ее инфраструктура и технологии создавались именно для создания единого распределенного окружения для совместного использования ресурсов в динамических виртуальных организациях с целью эффективного использования имеющихся ресурсов в процессе решения любых сложных задач. Однако, ключевым условием является наличие скоростных и надежных коммуникационных каналов.) Масштабируемость, позвоялющая динамическое предоставление вычислительных мощностей для решения поставленной задачи с учетом граничных условий. Возможность динамической конфигурации виртуального компьютерного элемента позволяет использовать ровно столько ресурсов, сколько необходимо для решения конкретной задачи с учетом дополнительных условий, а также динамически перераспределять ресурсы, освобождать или задействовать дополнительные вычислительные мощности при необходимости.) Обеспечение надежности и отказоустойчивости. Технологии Грид поддерживают создание динамического окружения и могут отслеживать состояние задачи таким образом, что в случае выхода из строя одного или нескольких узлов в вычислительном пуле, возможно достаточное быстрое восполнения его структуры за счет реконфигурации и включения дополнительных узлов или перемещения задачи на другой вычислительный ресурс.) Обеспечение безопасности и конфиденциальности данных. Технология Грид была разработана с учетом обеспечения безопасной среды для выполнения различных по требованиям безопасности задач, включая как обеспечение безопасности пользовательских данных так и самого процесса обработки данных.
Однако система безопасности Грид-систем дожна строится на прочном фундаменте традиционной безопасности информационных и телекоммуникационных систем и сетей. Инфраструктура безопасности Грид потребовала разработки новой концепции обеспечения безопасности выполнения задач в распределенной вычислительной среде и в среде, ориентированной на услуги [9, 10].
Ее отличие от сетевой системы безопасности, которая в основном обеспечивает безопасные каналы передачи данными между общающимися сетевыми узлами или компьютерами, в том, что в Грид безопасности должна быть обеспечена для задачи и данных, которые могут обрабатываться на многих компьютерных узлах и перемещаться от одного компьютера к другому в процессе выполнения.
В сетевой безопасности контекст безопасности (идентификация пользоватедя, его мандаты (credentials)) обеспечиваются между двумья узлами в сети (host-to-host), в Грид безопасности контекст безопасти должен быть привязан к самой задаче или данным и обеспечивать для них такие сервисы безопасности как целостность, конфиденциальности, аутентификация и авторизация.
Все эти сервисы и контекст безопасности не должны нарушаться при перемещении данных или задач от одной вычислительной системы к другой. Грид безопасность неизбежно требует всего спектра возможностей XML Security and Web Services Security [9, 10].) Хранение и обработка больших объемов информации Развитие Грид привело к появлению специального типа Грид Данных (Data Grid), которые специализируются именно на хранении, предоставлении доступа и обработке огромных обьемов информации, во многих приложениях без их физического перемещения между вычислительными ресурсами.) Гетерогенность, стандартное представление данных вычислительных ресурсов Грид-технологии поддерживают использование гетерогенных ресурсов и на сегодня позволяют создание вычислительных сред с использованием различных аппаратных платформ и операционных систем за счет стандартного описания конкретной системы как Грид-ресурса с использованием новогоо стандарта Веб-сервисов WSRF (Web Services Resource Framework) [5].
Со стороны ресурса это должно поддерживаться предоставлением соответствующего интерфейса в формате WSDL (Web Services Description Language) [4], при этом внутренняя реализация сервисов ресурса (например, операционная система или аппаратная платформа) скрывается от пользователя стандартным представлением WSDL. Современные средства Java/J2EE и.NET позволяют осуществлять автоматическую генерацию программных модулей и интерфейсов WSDL для конкретной системы [11, 12].
Обмен данными между различными компонентами системы, построенной на основе Грид, проиизводится с использованием стандартных протоколов Веб-сервисов, построенных на основе XML - протокола или SOAP (Simple Object Access Protocol) [8].
Использование XML-технологий также позволяет эффективно управлять семантическим пространством имен и типов данных, которые также могут быть привязаны к стандартному описанию в формате WSDL. Привенный выше анализ позволяет сделать заключение, что архитектура Грид предоставляет все необходимые технологичесикие компоненты для построения распределенных, масштабируемых, гетерогенных, надежных САПР, охватывающих не только вычислительный уровень, но и уровни обеспечивающие совместное проектирование географически удаленных команд инженеров, покрывающее все виды обеспечения САПР. Более того, использование стандартных протоколов и технологий Веб-сервисов (XML Web Services) позволит интегрировать компоненты САПР в другие системы, которые поддерживают данные технологии.
Рассмотрим структуру ГРИД-системы на уровне виртуальных организаций (Рис. 2.2). ГРИД состоит из совокупности ресурсов (сетевых, вычислительных и т.д.) объединенных в виртуальные организации. Виртуальная организация (Virtual Organization - VO) является динамическим сообществом людей и / или учреждений, которые совместно используют вычислительные ресурсы в соответствии с согласованными между ними правилами. Эти правила регулируют доступ ко всем типам средств, включая компьютеры, программное обеспечение и данные [3].
Рис. 2.2. Структура ГРИД
Таким образом, для доступа к распределенной системе вне зависимости от роли участника (пользователь или вычислительный узел, «производитель / потребитель») необходимым условием является принадлежность к той или иной виртуальной организации. На Рис. 2 пользователь userA и вычислительный узел hostA не могут получить доступ к системе, не являясь членами ВО, поэтому необходимо присоединиться (зарегистрироваться) к одной из существующих ВО (например, ВО А и ВО Б) или создать свою собственную, регламентировав отношения с ВО А и ВО Б.
2.3 Описание образов состояний в пространстве признаков
На основании структуры системы (Рис. 2.2) необходимо выделить три основных позиции, которые влияют на методы оценки финансовых показателей ГРИД:
Виртуальные организации не обозначают владение ресурсами, определенными в рамках их функционирования, они лишь устанавливают правила взаимодействия. Т.е. в рамках ВО ресурсы могут принадлежать разным финансовым учреждениям.
Виртуальная организация владеет полной информацией о количестве ресурсов и пользователей, зарегистрированных в ней, однако не гарантирует их доступность и актуальность.
Один и тот же GRID-ресурс может использоваться несколькими виртуальными организациями.
Таким образом, финансовые отношения, которые могут быть определены в рамках виртуальной организации, возможно описать только статическими моделями, что в свою очередь не позволяет определить динамику развития как системы в целом, так и ее отдельных частей.
.4 Выбор математической модели динамики показателей отказоустойчивости, надежности и эффективности ГРИД-системы
Исследования и методики, приведенные в [12-16], не учитывают стохастическую природу как потоков задач в ГРИД, так и обслуживающих сервисов. Очень часто решение о выделении ресурсов на выполнение той или иной задачи формируется на этапе ее постановки, в то время как эти ресурсы уже были распределены между другими задачами, имеющими более низкий приоритет. Кроме того, возникают ситуации, когда для решения задач выделено больше ресурсов, чем можно было бы для поддержания соответствующего уровня сервиса, в результате чего уменьшается прибыль вследствие сдачи «лишних» узлов.
На основе структуры (Рис. 2.2) и горизонтальной архитектуры (уровень приложений) ГРИД-системы разработана модель ГРИД с использованием математического аппарата теории массового обслуживания (ТМО), которая учитывает характер потока заявок, поступающих в систему и интенсивность обработки задач.
Данная модель позволяет рассчитать оптимальный по стоимости ГРИД-кластер, удовлетворяющий требованиям входящего потока задач. Для наглядной демонстрации предложенного подхода построим упрощенную модель ГРИД-окружения и механизм денежного потока (Рис. 2.3).
Рис. 2.3. Механизм денежного обращения
Согласно приведенной модели, в рамках финансовых отношений существует три субъекта: заказчик (пользователи, реализующие свои задачи); арендатор (субъект, содержащий ГРИД-кластер, состоящий из m вычислительных узлов); арендодатель (субъект, располагающий некоторым количеством ресурсов, сдаваемых в аренду).
Пусть количество вычислительных узлов m и в среднем в систему поступает l=8 заявок в день, при этом поток заявок носит пуассоновский характер [17, 18].
Среднее значение количества задач в рамках заявки Sz=5 (при норме обслуживания узлом 7 задач в день) следовательно, интенсивность обслуживания одного узла составит m=7/5=1,4 заявок в день.
Для того чтобы исключить невыполнение обработки заявок в срок, система не принимает новые задачи, если ее очередь уже составляет n=6 заявок. За каждую выполненную задачу арендодатель получает 2 ден. ед., а также 100 ден. ед. ежемесячно с каждого узла, сданного в аренду (техническая поддержка, оплата электроэнергии и т.д.).
При этом заказчик платит за каждую выполненную задачу по 4 ден. ед. (входные параметры предложенной модели для наглядности взяты из примерав [17]).
Необходимо вычислить основные характеристики ГРИД-кластера (пропускная способность, производительность и т.д.), определить наиболее оптимальное количество вычислительных узлов, необходимых для получения максимальной прибыли арендатором от выполнения потока задач с заданной характеристикой.
Наиболее удобно и целесообразно рассмотреть описанную выше модель в виде многоканальной системы массового обслуживания (СМО) с ограниченной очередью [18].
Рис. 2.4. Граф функционирования СМО типа M/M/m/n
Пусть на вход СМО, состоящей из m каналов обслуживания, поступает пуассоновский поток заявок с интенсивностью l. Интенсивность обслуживания заявки каждым каналом равняется m, а максимальное число мест в очереди равняется n. Граф состояний и переходов такой системы представлен на Рис. 2.4.
В СМО такого типа в очереди может находиться не более n заявок, т.е. n+1 заявка отклоняется.
.5 Анализ динамики показателей ГРИД-системы и выбор метода обеспечения отказоустойчивости, надежности и эффективности
С расширением сферы применения ГРИД-технологий до e-Commerce и e-Business достаточно актуальной стала идея продажи ресурсов, сдачи их в аренду или получения прибыли от вычислений, проводимых третьей стороной. Существует довольно большое количество публикаций и исследований, направленных на разработку и анализ распределения ресурсов в ГРИД-системах, с использованием экономического подхода [12-16] или получение прибыли от предоставления ресурсов.
Рис. 2.5. Формализация процесса торговли ресурсами
При экономическом подходе благодаря интероперабельности и масштабируемости ГРИД не изменяет свою структуру, а наоборот расширяет ее за счет введения дополнительных сервисов, отвечающих за так называемую торговлю ресурсами. Расширение производится на уровне информационных сервисов и сервисов мониторинга, а также за счет введения дополнительных механизмов описания стоимостных показателей (Рис. 7).
При формировании требований, предъявляемых к решению задач, могут использоваться более сложные условные формы, чем стоимость и время обслуживания (Рис. 2.5). В частности, могут вводиться требования к надежности и достоверности полученных результатов, тогда в ГРИД-окружении принимаются решения о привлечении дополнительных ресурсов (дублирующих) для повышения надежности и диверсности полученных результатов и их последующий анализ. Все эти характеристики могут формировать (увеличивать или снижать) стоимость выполнения задачи ГРИД.
3. Оценка отказоустойчивости, надежности и эффективности
3.1 Анализ методов оценки параметров отказоустойчивости, надежности и эффективности ГРИД-системы
Таким образом, мы имеем СМО типа M/M/4/6, где l=8 и m,=1,4 заявок в день, по условию.
Следовательно, для такого типа СМО нагрузка на ГРИД-систему вычисляется по формуле (1)
где ϼ- интенсивность потока заявок,
l- интенсивность обслуживания потока одним узлом,- количество узлов.
Вероятность простоя такой системы вычисляется по формуле (2) [18]:
а вероятность отказа в обслуживании [18] в нашем случае (3):
где m - количество каналов обслуживания,- размер очереди.
Достаточно важным показателем, который необходим при анализе системы, является средняя длина очереди, вычисляемая по формуле (4) [18]:
.2 Формирование критериев оценки параметров отказоустойчивости, надежности и эффективности ГРИД-системы
Производить расчет прибыли M на основе полученных характеристик ГРИД-системы, который будет составлять разницу между выручкой (доходом) Mv и выплатами за аренду(расходами) Ma:
Средняя выручка за месяц составит:
где gm - среднее количество выполняемых задач в день gm=l*Pобсл для количества узлов m.- среднее количество задач в заявке (по условию Sz=5);- цена за выполнение одной задачи для заказчика Mdv=4 ден. ед. по условию.
Т - количество рассчитываемых дней Т=30.
Средние издержки, выплачиваемые за аренду узлов в месяц, составят:
где параметры аналогичны (6),- арендная стоимость за задачу,=2 по условию.
Также необходимо учесть ежемесячные отчисления в размере 100 ден. ед., выплачиваемые каждым узлом, тогда:
3.3 Формирование алгоритма оценки динамики критериев
Общий алгоритм взаимодействия пользователей и сервисов в рамках ГРИД (Рис. 2.3) следующий (подробная информация приведена в документации к программному обеспечению, например [9, 11]):
Рис. 3.1. Общий алгоритм решения задачи в рамках ГРИД
Аутентификация пользователя с помощью механизма сертификатов.
Пользователь формирует задачу, которая состоит из исполнительных файлов и данных для обработки.
Пользователь отправляет задачу на выполнение, используя сервисы среды исполнения.
Среда исполнения в свою очередь определяет и находит, с помощью информационных сервисов, вычислительные ресурсы, необходимые для решения задачи.
После определения подходящего узла (или совокупности узлов) сервисы исполнения дают указание службам управления данными поместить необходимые файлы для обработки на найденный узел.
После выполнения расчетов результат возвращается пользователю.
Следует также понимать, что все сервисы, необходимые для реализации ГРИД-системы, можно физически разместить на одном компьютере (на одном процессоре) или, например, часть реализовать на одном компьютере, а остальные - на другом.
Такой подход абсолютно не приемлем, так как производительность узла падает пропорционально количеству реализуемых им сервисов (ролей), поэтому в реальных ГРИД один и тот же сервис, может быть продублирован на нескольких физически раздельных компьютерах.
Очевидно, что с увеличением количества узлов, выполняющих одну и ту же роль, повышается производительность как отдельных частей ГРИД-системы, так и всего окружения в целом. Однако с увеличением ресурсов увеличиваются и финансовые затраты на введение новой единицы техники, связанные с ее обслуживанием и дальнейшим сопровождением.
Таким образом, возникает актуальная задача оптимального развития ГРИД, заключающаяся в минимизации затрат на сопровождение инфраструктуры, с одной стороны, и повышения производительности - с другой.
Предложенная нами упрощенная модель оценки стоимости и производительности ГРИД-системы позволяет: выбрать оптимальное количество узлов для получения наибольшей прибыли; рассчитать эксплуатационные затраты, связанные с необходимостью поддержки требуемого уровня пропускной способности; рассчитать производительность ГРИД-системы, которую можно обеспечить на основе имеющихся денежных средств.
3.4 Модель и алгоритм принятия решения по управлению отказоустойчивостью, надежностью и эффективностью ГРИД-системы
На рис. 3 изображена схема алгоритма работы грид-диспетчера, а на рис. 4 - схема алгоритма работы диспетчера кластера.
Рис. 3.2. Архитектура платформы облачных вычислений в гриде
Рис. 3.3 Схема алгоритма запуска и работы менеджера кластеров
Рис. 3.4 Схема алгоритма работы грид-диспетчера
Рис. 3.5 Схема алгоритма работы диспетчера кластера
Разработанные алгоритмы функционирования математической модели вычислительного узла грид-системы полностью отражают специфику сорвеменных облачных систем, включая OpenStack [2] и Windows Azure [3], а также современных диспетчеров грид-систем и их алгоритмов планирования.
3.5 Общий алгоритм функционирования предметной области
Для более четкого понимания структуры ГРИД-системы и построения ее детальной модели необходимо рассмотреть архитектуру ГРИД, обозначить ее отличие от высокопроизводительного кластера, суперкомпьютера или массива параллельных процессоров.
Для того чтобы определить функциональные и структурные отличия, целесообразно произвести декомпозицию ГРИД-системы в двух «плоскостях»: вертикальная архитектура; горизонтальная архитектура.
Рис. 3.6 Вертикальная архитектура ГРИД и Интернет
С точки зрения вертикальной архитектуры, ГРИД представляет собой стек протоколов, основанных на Интернете (Рис. 3.6) [4], поэтому необходимым условием присоединения ресурса является поддержка этих протоколов.
На сегодня практически любой вычислительный ресурс может быть подключен к глобальной сети, поэтому при построении модели ГРИД-системы считаем это условие выполненным и не будем учитывать нижележащие протоколы. Более подробно о назначении каждого уровня можно ознакомиться в [4].
Под горизонтальной архитектурой будем понимать совокупность сервисов, размещенных на уровне приложений (Application) (Рис. 3.7).
Рис. 3.7. Вертикальная и горизонтальная архитектура ГРИД
Для организации взаимодействия в рамках ГРИД-системы на этом уровне реализованы сервисы удаленного доступа: запуска заданий; пересылки файлов; мониторинга задач; авторизации и аутентификации; и т.д.
По мере развития сети Интернет с появлением технологии веб-сервисов [5] для достижения универсальности и повышения интероперабельности компонентов большинство функций в ГРИД-системе реализовано в виде сервисов (Рис. 3.7).
Основным стандартом, описывающим сервис-ориентированную архитектуру ГРИД-системы, является Open Grid Services Architecture (OGSA) [6], которая определяет основные службы, функционирующие на уровне приложений и необходимые для построения ГРИД:
-Execution Management services (исполнительная подсистема);
-Data services (службы для работы с данными);
-Resource Management services (службы управления ресурсами);
-Security services (службы обеспечения безопасности);
-Information services (службы мониторинга и информации);
-Self-management services (службы самоуправления).
Зачастую последняя группа служб (Self-mangement) интегрируется в оставшиеся пять и в явном виде стандарт не требует ее отдельной реализации в ГРИД.
Рис. 3.8. ГРИДслужбы:
а) в Globus;
б) в gLite
Чтобы понять, как отмеченные выше сервисы повлияют на предложенную ниже модель ГРИД-системы, необходимо рассмотреть их роль и функциональную зависимость на примере конкретных программных комплексов.
Существует большое количество проектов и решений в области ГРИД, реализующих методы и разрабатывающих инструментальные средства имплементации ГРИД-систем.
Рассмотрим два программных продукта - Globus [7], который стал стандартом де-факто и признан [8] многими мировыми производителями компьютерной индустрии: IBM, SGI, Sun Microsystems, Fujitsu, Hitachi, NEC, Veridian, Entropia, Platform Computing Inc, Microsoft, Compaq и gLite [9], распространение которого начато в рамках европейского проекта EGEE (Enabling Grids for E-Science) [10].
На Рис. 3.8 приведены рассмотренные выше группы служб, формирующие ядро ГРИД, которые в свою очередь состоят из набора отдельных сервисов, реализующих функциональность своей группы (на примере Globus и gLite).
Таким образом, любая вычислительная единица или ресурс (кластер, отдельный компьютер, сервер баз данных и т.д.), подключающийся к ГРИД, должен: поддерживать вертикальную и горизонтальную архитектуру ГРИД; принадлежать к одной или более группам служб (стандарт не оговаривает и неустанавливает ограничения на количество служб, установленных на одном компьютере, единственное ограничение - это снижение производительности); зарегистрироваться в ВО, в рамках которых он будет функционировать (узел может функционировать в рамках нескольких виртуальных организаций, зачастую используется именно такой подход).
4. Моделирование процессов и процедур
4.1 Испытание модели динамики показателей отказоустойчивости, надежности и эффективности ГРИД-системы
Проведем вычисления согласно формулам (2) - (4), когда в системе изменяется количество вычислительных узлов (ГРИД-узлов для обработки задач), т.е. m=1:12.
Полученные расчеты занесем в таблицу для дальнейшего анализа (Табл. 1).
Рис. 4.1. Основные характеристики ГРИД-системы для различного количества обслуживающих узлов
Основные вычислительные параметры в таблице следующие:- нагрузка на кластер,- вероятность простоя системы,отк - вероятность отказа в обслуживании,обсл - вероятность обслуживания,- среднее количество заявок, ожидающих выполнения,- коэффициент загрузки,- среднее число занятых каналов,- среднее число заявок в СМО,- пропускная способность,- среднее время пребывания заявки в очереди,- среднее время пребывания заявки в СМО.
Для наглядности построим график зависимостей вероятности обслуживания Робсл и Ротк от количества эксплуатируемых узлов (Рис. 4.2).
Нетрудно заметить, что с увеличением количества узлов вероятность получения отказа в обслуживании падает, однако с вводом в эксплуатацию дополнительного компьютера увеличиваются расходы на техническое сопровождение.
Таким образом, согласно (5), (6) и (8), для m=4 имеем:
4.2 Испытание алгоритма оценки динамики критериев
Определим количество узлов, при котором прибыль M будет максимальной, для этого выполним вычисления согласно (5), (6), (8) для m=1:12.
Динамику изменения прибыли в зависимости от количества арендованных узлов отобразим на графике (Рис. 4.3).
Рис. 4.3. Динамика изменения прибыли от количества узлов
Анализ результатов расчетов показывает, что наибольшая прибыль составляет 1622 ден. ед. при m=7, однако следует отметить, что при увеличении количества узлов, прибыль, получаемая арендодателем с каждого сданного узла по отдельности уменьшается (см. (8) параметр m и gm) и составляет:
.3 Испытание модели и алгоритма принятия решения по управлению отказоустойчивостью, надежностью и эффективностью ГРИД-системы
Динамика изменения прибыли на один узел Mu с увеличением узлов m (рис. 4.4) приведена на Рис. 4.5.
Рис. 4.4. Изменение прибыли при увеличении количества обслуживающих узлов
Рис. 4.5. Прибыль арендодателя на каждый узел с увеличением m
Очевидно, что такой порядок дел не устраивает арендодателя, когда при сдаче очередного узла, доход на каждый отдельный узел уменьшается.
Поэтому арендатор вынужден удерживать уровень выплат на отметке 520 ден. ед. за каждый новый узел, вводимый в эксплуатацию.
С учетом внесенных замечаний сделаем перерасчет прибыли M при Mconst=520 для m=1:12, тогда:
4.4 Испытание общего алгоритма функционирования предметной области
На основании полученных результатов (10) построим график зависимости прибыли арендатора от количества узлов и с учетом поддержки выплат на уровне 520 ден. ед. (Рис. 4.6).
Рис. 4.6. График зависимости прибыли арендатора от количества узлов и с учетом поддержки выплат науровне 520 ден. ед.
Таким образом, при увеличении количества узлов увеличивается прибыль, которая достигается за счет уменьшения отказов и повышения пропускной способности.
Еще одним преимуществом является снижение времени выполнения задачи, например при m=4; t=1,46 дня, а при m=6; t=0,967 дня.
Негативной стороной увеличения количества узлов является потеря арендодателем прибыли при сдаче очередного узла в аренду, при m=1 он получает 520 ден. ед. за узел, а при m=7 получает 431,75 ден. ед. с каждого узла.
С учетом поддержания выплат на уровне 520 ден. ед. был сделан перерасчет, поэтому наиболее выгодным соотношением «цена / производительность» является m=5 узлов, при этом прибыль арендатора составит 1362,35 ден. ед.
Выводы
Современный этап развития в области высокопроизводительных суперкомпьютерных систем и вычислений в настоящее время представлен не только классическими специализированными электронно-вычислительными машинами, значительно превосходящими по своим техническим характеристикам большинство существующих в мире компьютеров. Но и довольно специфичной технологией высокопроизводительных вычислений, основанной на базе независимых персональных компьютеров объединённых с помощью сети в один кластер.
Существует множество определений Грид-систем, однако все они смогут быть сведены в три контрольные точки, которым должны удовлетворять Грид-системы.
Грид-система это такая система, которая
) координирует использование ресурсов, которые не являются объектом централизованного управления;
) использует стандартные, открытые и универсальные протоколы и интерфейсы на основе XML Web Services (Веб-сервисы), Web Services Resource Framework (WSRF) и Open Grid Services Architecture (OGSA);
) используется для предоставления нетривиального качества сервисов в сервис - ориентированной среде (SOA ñ Service Oriented Architecture).
Технология GRID - это набор независимых, разнородных компьютеров, объединенных с помощью сети в одну вычислительную систему, предназначенную для решения трудоемких вычислений и обработки данных. С одновременным привлечением к работе огромного числа вычислительных ресурсов в виде персональных компьютеров, работающих одновременно над разными частями задачи.
Система GRID характеризуется различными производительностями вычислительных узлов, а полученные задания могут существенно различаться по объему операций. Эффективное выполнение различных программ на неоднородных распределенных системах в большой степени зависит от правильного размещения задач по процессорам, учитывающим как специфику вычислительной системы (количество процессоров, их производительность, латентность и пропускная способность коммуникационных каналов), так и конкретного программного приложения (объем кода, длительность исполнения программ).
Концепция Enterprise Grid успешно решает проблемы крупных компаний и научно-исследовательских центров, связанные с нехваткой вычислительных ресурсов при решении требовательных к вычислительным ресурсам задач. Благодаря возрастанию мощностей современных компьютеров и развитию глобальной сети Интернет, концепция Enterprise Grid позволяет создавать надежные и распределенные на значительной территории высокопроизводительные кластеры. Enterprise Grid-системы имеют большой потенциал, но на данный момент не получили достаточного развития, т.к. при работе возникают проблемы, например, связанные с обеспечением безопасности передачи данных. Из этого следует, что данное направление исследований считается очень перспективным и заслуживающим особого внимания.
Приведенная в работе модель ГРИД-системы имеет довольно большое количество допущений, поэтому использовать такой подход можно на ограниченных наборах GRID-компонентов или отдельных вычислительных кластерах, входящих в состав системы.
В рассмотренном примере для наглядности расчета финансовых показателей были взяты достаточно простые входные данные для построения модели СМО, на самом деле поток заявок в ГРИД носит сложный характер, причем в разных частях системы он может быть неоднороден.
Количество узлов для обработки задач также может динамически изменяться как во времени, так и в пространстве (мы же рассматривали бесперебойное функционирование узлов на протяжении 30 дней).
Еще одним немаловажным фактом является то, что нами не была учтена последовательность прохождения заявок в системе (авторизация, отправка задачи в среду исполнения, перемещение данных, необходимых для обработки, возвращение результата и т.д.).
Для устранения рассмотренных недостатков нами было выделено два основных направления дальнейшего исследования:
Разработка модели ГРИД на основе сетей Петри с очередями (Queueing Petri Nets - QPN), учитывающей качественные и количественные показатели оценки функционирования сетей такого рода.
Использование данного подхода позволяет существенно упростить модель ГРИД-системы за счет уменьшения количества используемых вершин и переходов при формализации модели ГРИД в терминах сетей Петри, а также провести количественный анализ (производительность, отказоустойчивость, время простоя и т.д.) отдельных компонентов.
Анализ потоков задач в ГРИД-системе, как на входе в систему, так и на уровне отдельных компонентов. Анализ публикаций по исследованию сетевого трафика в глобальной сети Интернет показал, что применение моделей на основе пуассоновского распределения не подходит для описания сетевых потоков.
Список источников информации
1.Алпатов А.Л. Развитие распределенных технологий и систем // Перспективы Науки и Образования, 2015. - №2 (14)
.Бурцев С.А., Самойлов М.Ю., Симаков М.В. Анализ экологических аспектов применения перспективных схем силовых установок ближне- и среднемагистральных самолетов // Безопасность в техносфере. М.: НИЦ ИНФРА-М. 2015. Т. 4. №2. С. 67-72. DOI: 10.12737/11335
.Григоренко Д.В., Ручкин В.Н. Повышение восстанавливаемости кластерных нейропроцессорных систем обработки данных. // Цифровая обработка сигналов, No3-2012 - c. 67-72.
.Гуревич В.И. Интеллектуальные сети: новые перспективы или новые проблемы? Ч. 2. // Электротехнический рынок. 2011. №1-2 (37-38). C. 90-97.
.Демичев А., Ильин В., Крюков А. Введение в грид-технологии. - М. - 2007. - 87 с. (Препринт / НИИЯФ МГУ).
.Дорошенко А.Е., Розенблат А.П., Рухлис К.А., Тырчак Ю.М. Модели и средства программирования Грид-систем, Институт программных систем НАН Украины, Киев, 2005. http://usachov1987.narod.ru/Doroshenko_1.doc
.Кирьянов А.К., Рябов Ю.Ф. Введение в технологию Грид: Учебное пособие. - Гатчина: ПИЯФ РАН, 2006. - 39 с.
.Кобец Б.Б., Волкова И.О. Инновационное развитие электроэнергетики на базе концепции SmartGrid. М.: ИАЦ Энергия. 2010. 208 с.
.Коваленко В.Н. Комплексное программное обеспечение грида вычислительного типа. - М. - 2007. - 39 с. (Препринт / ИПМ им. М.В. Келдыша
.Коваленко В.Н., Корягин Д.А. Организация ресурсов ГРИД. - М. - 2004. - 25 с. (Препринт / ИПМ им. М.В. Келдыша РАН. №63).
.Кулагин В.П. Формирование информационных ресурсов на основе параллельных вычислений // Перспективы науки и образования, 2013. - №6.
.Куфтов А.Ф., Кузьмина Ю.С. Перспективы применения твердых топлив из биомассы // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. 2011. №8. 6 c. Режим доступа: http://technomag.bmstu.ru/doc/216747.html
.Мухин В.Е. Средства защиты GRID-систем на основе дифференцирования уровня доверия к узлам системы // Искусственный интеллект, Донецк. - 2003. - №3. - С. 187-196.
.Полежаев П.Н. Экспериментальное исследование алгоритмов планирования задач для вычислительной грид - системы [Электронный ресурс] // Системы управления и информационные технологии, No3.2 (45), 2011. - с. 266-270.
.Радченко Г.И. Распределенные вычислительные системы. Челябинск: Фотохудожник. 2012. C. 9.
.Распределенные системы. Принципы и парадигмы Э. Таненбаум, М. Bан Стеен. СПб.: Питер, 2003.
.Ручкин В.Н., Фулин В.А., Романчук В.А. Когнитология и искусственный интеллект[Текст]. // Изд. «Узорочье», Рязань, 2012 г.
18.Семёнов В. Технология Smartgrid и будущее мировой электроэнергетики // Электрик. Международный электротехнический журнал. 2013. №12. С. 16-20.
.Суперкомпьютерные технологии в науке, образовании и промышленности / Под редакцией: академика В.А. Садовничего, академика Г.И. Савина. - М.: Изд-во МГУ, 2009.
.Топорков В.В. Модели распределенных вычислений. - М.: ФИЗМАТЛИТ, 2004. - 320 с.
.Филиппенко П.Н., Шашелов А.А., Сеитова С.В. Построение систем, обрабатывающих большие вычисления: проблемы и тенденции
.Фостер Я., Кессельман К., Тьюке С. Анатомия Грид. Создание масштабируемых Виртуальных Организаций // Технологии грид. Т. 2. М.: ИПМ им. М.В. Келдыша, 2006.
.Цветков В.Я., Алпатов А.Н. Проблемы распределенных систем // Перспективы Науки и Образования, 2014. - №6 (12)
24.Aneka technical overview. URL: http://www.manjrasoft.com /AnekaFlyer.pdf
25.CLAVIRE - облачные решения. URL: http://clavire.ru/content/22
26.David Anderson, Jeff Cobb, Eric Korpela, Matt Lebofsky, Dan Werthimer, eds, 2002 «SETI@home: An
.Digipede Network Overview. URL: http://www.digipede.net/products/digipede-network.html
.Enterprise Manager Cloud Control.00
.Experiment in Public-Resource Computing, Communications of the ACM,» Vol. 45 No. 11, ACM Press, USA, November 2002.
.Foster I., Kesselman C. The History of the Grid. IOS Press, Amsterdam, 2013. P. 37.
32.NVIDIA GRID. URL: http://www.nvidia.ru/object/nvidia-grid-ru.html
.SAS Grid Manager.
.Techila. Documents and guides. URL: http://www.techilatechnologies.com/technology-docs
.URL: http://www.oracle.com/ru/products/ enterprise-manager/index.html
.URL: https://www.sas.com/content/dam/SAS/ en_us/doc/factsheet/sas-grid-manager-102295.pdf
.Virtual Vertex Muster. URL: http://www.vvertex.com/muster-details.php