Суперкомп’ютер Stampede
Міністерство
освіти і науки України
Тернопільський
національний технічний університет імені Івана Пулюя
Кафедра
комп’ютерних систем та мереж
Реферат
Суперкомп’ютер
Stampede
Тернопіль
- 2014
Зміст
1.
Загальна інформація про суперкомп’ютер Stampede
.
Прискорювач Intel Xeon Phi: карти Intel у суперкоп’ютері Stampede
.
Архітектура Intel Xeon Phi
.
Апаратна частина Intel Xeon Phi
.
Екскурсія по суперкомп’ютеру Stampede
.
Мережа
.
Stampede: сховище даних
Список
використаної літератури
1. Загальна інформація про суперкомп’ютер
Stampede
Stampede входить в топ 10
суперкомп’ютерах світу. Станом на листопад 2013 року він займає 7-му сходинку
рейтингу top500.org. Він встановлений і є власністю Texas Advanced Computing
Center/Univ. <#"871886.files/image001.jpg">
Рисунок 1 - Зовнішній вигляд
Stampede
. Прискорювач Intel Xeon Phi: карти
Intel у суперкоп’ютері Stampede
Щоб наздогнати конкурентів та
задовольнити зростаючий попит на обчислювальні потужності, компанія Intel
представила прискорювачі Xeon Phi 5110P та 3100.
Рисунок 2 - Прискорювач Intel Xeon
Phi
У прискорювач інтегровано 60 ядер
x86 з 512-розрядними векторними модулями, які працюють на частоті більше 1 ГГц
та забезпечують швидкість обчислень більше 1 ТФлопс подвійної точності. Вони
розташовані на двохслотовій карті PCI Express зі спеціальною прошивкою на базі
Linux.
Безумовно, ядра не розраховані на
обробку основних задач, з якими стикаються процесори сімейства Core або Atom.
Їх стихія - паралельні задачі, які здатні використовувати велику кількість ядер
для максимального ефекту.
Для чого може знадобитись такий
прискорювач? Прогнозування погоди, медичні задачі, дослідження в області
енергетики, моделювання, фінансовий аналіз - тут вже використовуються апаратні
засоби AMD та NVIDIA.
Intel робить те саме, проте її
продукція не потребує переробки коду під CUDA або OpenCL. Таким чином,
виробники ПЗ можуть оптимізувати свої програми під Xeon Phi, використовуючи C,
C++, Fortran з певними доповненнями, які допомагають використовувати цей
прискорювач.
. Архітектура Intel Xeon Phi
У корпорації Intel великий портфель
технологій, розроблених її інженерами. Тим не менш, архітектура Many Integrated
Cores - це дещо більше, ніж купа модифікованих процесорів Pentium, створених за
22-нм процесом.
Наведемо деякі характеристики:
· Ядра х86 з
підтримкою 64-біт
· 4 потоки на ядро,
до 61 ядра на прискорювач
· 512 біт SIMD
· 512 КБ кеш L2 на
ядро (до 30,5 МБ на всю карту)
· 6-8 ГБ пам’яті
GDDR5 на карту
· 22-нм тривимірні
транзистори
· Підтримка Red Hat
Enterprise Linux 6.x або SuSE Linux 12+
Навіть у старшої моделі Xeon Phi
значно менше ядер, ніж у звичайного графічного процесора. Але порівнювати ядра
MIC та CUDA у співвідношення один до одного неможна.
Одне ядро Xeon Phi - це
чотирипоточний модуль з 512-бітним набором команд SIMD. Для вірного
співставлення не варто звертати увагу на маркетингове означення поняття
"ядра".
Цікаво, що карта працює під
керуванням Linux. Навряд чи на неї можна встановити пакет LAMP, але напевно
знайдуться охочі спробувати. Однак на карту Xeon Phi можна увійти через SSH та
дізнатись про неї більше інформації.
Рисунок 3 - Скріншот сесії по SSH на
дослідному зразку Intel Xeon Phi з початком та кінцем 6100 рядків команди
cat/proc/cpuinfo
суперкомп’ютер stampede
intel мережа
Рисунок 4 - Ядро Knights Corner
Звичайно, навіть сучасні десктопні
процесори неймовірно складні, що підкреслює важливість отримання та передачі
даних найбільш ефективним способом.
За аналогією з процесорами
Sandy Bridge та Ivy Bridge, прототип під назвою Knights Corner
<#"871886.files/image005.jpg">
Рисунок 5 - Мікроархітектура
Knights Corner
4. Апаратна частина Intel Xeon Phi
Моделі Xeon Phi 5110P та 3100
базуються на однаковому залізі, але мають характеристики, які краще підходять
для певних цільових обчислювальних задач. У таблиці видно, що дві лінійки
оснащені різними системами охолодження. 5110P має лише радіатор, а у серії 3100
є моделі з активним та пасивним охолодженням.
У 5110Р більше пам’яті та ширше
шина. Тепловий пакет процесора з 60 ядрами на частоті більше 1 ГГц сягає 225
Вт. Хоча у цієї карти немає активного охолодження, 5110Р все-таки необхідний
достатній повітряний потік для розсіювання такої кількості тепла.
Таким чином, карта призначена
виключно для стійкових серверів, корпусні вентилятори яких продувають повітря
через радіатор карти та випускають його через задню скобу.
Термічний пакет серії 3100 складає
вже 300 Вт. Вони оснащуються виключно 6 ГБ пам’яті GDDR5. Всього на карті
встановлено 57 ядер та 28,5 МБ кеша другого рівня.
Виникає питання, за рахунок чого TDP
цих моделей вище? Швидше за все, вони працюватимуть на вищій тактовій частоті.
За аналогією з 5110Р, Xeon Phi 3100 з пасивним охолодженням вимагатиме
відповідної серверної системи охолодження.
Однак модель з власним вентилятором
цілком може підійти для робочих станцій.
. Екскурсія по суперкомп’ютеру
Stampede
Intel хотіла продемонструвати, що
Xeon Phi - це не просто продукт, який рятує репутацію компанії та виправдовує
останні 8 років розробки, починаючи з проекту Larrabee.
Замість того, щоб просто оголосити
про появу нових карт, компанія запросила журналістів на презентацію процесу
побудови суперкомп’ютера Stampede. На момент візиту вже було встановлено більше
двох тисяч таких карт.
Рисунок 6 - Монтаж карт
У процесі установки кожна карта
встановлюється у спеціальне шасі, а потім монтується у сервер Dell. Кожен вузол
PowerEdge C8220x "Zeus" містить два процесора Xeon E5-2680 та 32 ГБ
оперативної пам’яті. Ось так виглядає сервер.
Підвішена карта у верхньому лівому
куті - підтримка Infiniband. Два роз’єми LGA 2011 прикриті пасивними
радіаторами та оточені чотирма слотами DIMM. Кожен слот DIMM з ECC підтримує 4
ГБ пам'яті. Праворуч знаходиться місце під 2,5-дюймовий накопичувач. У Stampede
стоять звичайні жорсткі диски.
Рисунок 8 - Серверна стійка
Сині світлодіоди всередині деяких
вузлів - це карти Xeon Phi. Прискорювачі Intel забезпечують приблизно 7 з 10
ПФлопс продуктивності суперкомп’ютера.
Але Stampede складається не лише з
тисяч процесорів та прискорювачів. Для віддаленої візуалізації встановлено 128
карт NVidia Tesla K20 разом з 16 серверами із загальним обсягом пам’яті 1 ТБ та
двома GPU для аналізу великих обсягів даних. Насправді, на додачу до всього
перерахованого, до складу суперкомп’ютера входить безліч інших компонентів.
. Мережа
У системах з багатьма вузлами досить
складно забезпечити ефективний зв’язок між ними. Stampede працює на обладнанні
Mellanox Infiniband FDR, яке має малі затримки та забезпечує прямий доступ до
пам’яті. Оптоволоконні кабелі від серверів підключені до комутатора,
вбудованого до кожної стійки.
Рисунок 9 - Infiniband FDR
У суперкомп’ютері всі вузли
пов’язані центральними комутаторами. На фотографії видно ще не до кінця
завантажений з’єднаннями комутатор Mellanox.
Рисунок 10 - Комутатор Mellanox
Великий радіус згинання дозволить
уникнути переламу кабелю. Серед 120 кілометрів проводу знайти неробоче
з’єднання буде непросто.
Ось так виглядає повністю заповнений
комутатор.
Рисунок 11 - Повністю завантажений
комутатор Mellanox
. Stampede: сховище даних
Обсягів окремих дисків у кожному
вузлі недостатньо для збереження величезних обсягів даних, необхідних для
роботи суперкомп’ютера. Тому встановлюються додаткові вузли збереження.
Рисунок 12 - Додаткові вузли
збереження
Рисунок 13 - Полиця з дисками
Звичайні 2,5-дюймові диски,
розміщені по два у товщину та по 8 рядів у довжину, забезпечують сховище
обсягом більше 14 ПБ разом з оперативною пам’яттю 270 ТБ. Ці полиці можна
витягнути для заміни дисків без відключення кабелів. Дійсно елегантне рішення.
Список використаної літератури
1.
Stampede - PowerEdge C8220, Xeon E5-2680 8C 2.700GHz, Infiniband FDR, Intel
Xeon Phi SE10P: http://www.top500.org/system/177931
.
Огляд Intel Xeon Phi: карти Intel у суперкомп’ютері TACC: http://supercomputer.com.ua/ua/250-oglyad-intel-xeon-phi-karti-intel-u-superkompyuteri-tacc.html
3. Texas Advanced Computing Center
<http://www.top500.org/site/48958>: https://www.tacc.utexas.edu/stampede/