OCP (Open Compute Project) — результат подальшої централізації обчислювальних потужностей, націлене на економію вартості володіння. Уніфікація стійкових серверів призвела до ревізії габаритних параметрів, здешевлення системи живлення, перегляду її безперебійної доставки та надійного охолодження. Поряд зі зміною форм-фактору стійкових шасі, в рамках ОСР найбільш значущою стало інше, щільне компонування серверів з можливістю гарячої заміни вузлів — обов'язково з «холодної зо­ни». Необхідність фронтального доступу зумовила появу нового дизайну флеш-накопичувачів та мережевих адаптерів. Що спричинило зміни, чому усталені конструкції шасі увійшли в суперечність із серверною інфраструктурою?

Історія запитання

Старт ери серверних х86-платформ пройшов у прискореному темпі. Їхня продуктивність зростала, як на дріжджах: тактові частоти процесорів, пам'яті та шин обміну даними неухильно підвищувалися. Підтримувати високий темп зростання ставало все складніше і складніше, і настав момент, коли продуктивність коли продуктивність перестала відповідати запитам ринку. Намітився другий шлях: розпаралелювання обчислень за допомогою мультипроцесорних систем. Добре, що найбільш вимогливі до обчислювальних ресурсів завдання піддавалися такому переходу на «паралельні обчислення» без кардинальних переробок. І на тлі краху «перегони частот», що поступово підходить до фізичних меж технологій, ми стали свідками вибухового зростання кількості процесорних ядер — на кристалі, у сокеті, у сервері, у стійці, у контейнері, в дата-центрі.

На сьогодні технологічні можливості дозволяють побудувати обчислювальний комплекс практично з будь-якої заданою (і скільки завгодно великої) продуктивністю. Але, як і завжди, цей показник виявився вкотре обмеженим, цього разу — економікою. Поки суперкомп'ютери будували в основному для організацій, які не розмінюються на дрібний прайс — на кшталт Міністерства енергетики США з його моделюванням ядерних процесорів, — особливих труднощів не виникало: державні засіки великі скільки знадобиться — стільки й буде виділено. Але коли потреба у порівнянних продуктивних обчислювальних системах виникла у комерційних підприємств — ситуація різко змінилася.

Гіганти бізнесу хмарних рішень рівня Google, Amazon, Facebook, Microsoft поступово усвідомили, що в світі, що вимагає все більше і більше обчислень, головним параметром стає вже не так продуктивність сама по собі, скільки ефективність обчислень. Нарощування продуктивності обчислювального кластера легко здійснюється введенням в експлуатацію чергового контейнера, крім самої вартості, призводить до зростання «­вартості володіння» — це витрати на електроенергію для його живлення та охолодження, оплата обслуговуючого персоналу, сервісні процедури тощо.

Кожен окремо оператор ринку хмарних рішень став замислюватися про зниження вартості володіння одиницею швидко зростаючою ІТ-інфраструктури. Переглядалося все — починаючи від вартості серверної комплектації до перегляду концепції апаратних платформ. У квітні 2011 року Facebook виступає з ініціативою відкрито ділиться доробками в області розробок продукції для дата-центрів. Компанії, які на той час встигли і самі зайнятися розробками в цій галузі, ясно представили масштаби майбутніх витрат і розумно вирішили поєднати зусилля для пошуку взаємоприйнятного варіанту. І в результаті спільних зусиль був організовано Open Com­pute Pro­ject — організацію, учасники якої обмінюються ідеями та розробками (включаючи сервери, системи зберігання даних, стійкі, мережеві обладнання, електроживлення і охолодження) і програмне забезпечення для сучасних дата-центрів.

Відкриті двері OCP

Спочатку на такий масштабний проект зважились тільки гіганти ІТ-індустрії, згодом до нього стали приєднуватися й інші гравці: одних цікавила оптимізація витрат, інші готові були вкластися в розробки, що набувають практичного наповнення і реальну економію.

За час, що минув із запуску проекту, концепція ОСР отримала розвиток: сьогодні відкритий конструктив стійкових серверів регламентує вже третя версія специфікації. З цікавих нововведень — перегляд місця та ролі об'єднавчої плати (бекплейну), що дало помітне скорочення кількості компонентів та призвело до оптимізації схеми розподілу живлення. Як результат — підвищення експлуатаційних ефективності та надійності за рахунок «гарячого» підключення карток з фронтальної (тобто з «холодної») зони серверної стійкі.

З інших особливостей ОСР варто відзначити можливість встановлення у стійкі обладнання збільшеної ширини (21" замість стандартних 19"). Також стандартом ОСР запроваджується нова одиниця виміру серверних «юні­тів» OpenU, що дорівнює 48 мм (1OU=48mm). Все це дозволяє розмістити більше обладнання в тому самому обсязі та підвищити ефективність охолодження.

Mellanox: законодавець мод

Одним із перших у 2011 році до Open Compute Project приєдналась компанія Mellanox, надавши спільноті як свої напрацювання, так і готові рішення, що дозволяють підвищити енергоефективність та масштабованість мережевої інфраструктури. Основним напрямком, в якому Mellanox сконцентрувала свої зусилля, було перенесення обробки все більш і більш складних мережевих протоколів з центральних процесорів до спеціалізованих мережевих контролерів для звільнення ресурсів СРU під інші завдання.

Візитною карткою Mellanox для Open Compute Project V3.0 є рішення 200G Infiniband у SFF-фор­ма­ті (76 х 115 мм) з можливістю використання двох мережевих інтерфейсів. Зрозуміло, такий форм-фактор кардинально відрізняється від звичних PCle-плат половинної і повної висоти, і від мезонінних мережевих технологій. Адаптери SFF OCP V3.0 призначені для встановлення в зовсім інші серверні платформи, розроблені для максимально щільного пакування компонентів з оптимізацією як за енерговитратами і тепловідведенням, так і за об'ємом, який вони займають.

Показово, що в червневому рейтингу суперкомп'ютерів TOP500 (2020 р.) майже три четверті нових систем, оснащені комутаторами NVIDIA Mellanox HDR 200G InfiniBand. Це явно свідчить про важливість швидкого обміну даними всередині обчислювальних систем.

Supermicro: особлива думка

Компанія Supermicro приєдналася до Open Compute Project нещодавно, але у неї на рахунку є дуже цікаве рішення у вигляді AIOM — вдосконалених модулів вводу-виводу, що відповідають вимогам ОСР V3.0. Це компроміс для центрів обробки даних, що використовують звичні 19-дюймові шасі, орієнтовані на Small From Factor.

На відміну від топових моделей Mellanox, з якою Supermicro, до речі, підтримує тісні ділові контакти, у тайванського виробника пропозицією мережевих адаптерів ОСР V3.0 на будь-який смак і гаманець. Розглянемо рішення Supermicro, побудовані на базі мережевих контролерів Intel — головного конкурента Mellanox у галузі RoCE.

Адаптери сімейства AOC-ATG-i2T представлені в 1U-конструктиві і у вигляді пристроїв половинної висоти, що теоретично дозволяє подвоїти щільність серверного компонування. Мережеві карти відповідають вимогам SFF OCP V3.0: вони оснащені ножовим типом ламелей, що забезпечує легкість, простоту і зручність hot-plug підключень.

Виконані на контролерах Intel X550, адаптери AOC-ATG-i2T підтримують класичні підключення по кручений парі на швидкості до 10GbE. Підтримка технологій віртуалізації NVGRE і VXLAN однаково добре знаходить застосування для них як на платформах під управлінням Microsoft, так і в VMware-середовищах.

Асортимент мережевих адаптерів OCP V3.0 у Supermicro розширений за рахунок використання контролерів від Broadcom — ще одного стратегічного партнера компанії. Сімейство AOC-A25G-b2S, як і версія на Intel, виконане у двох різновисотних конструкціях, призначених для 1U-шасі, але на відміну від них використовує оптичний інтерфейс SFP28, необхідний для підтримки 25GbE. У своєму класі це одні з найбільш економних пристроїв — паспортні характеристики обмежують їх споживану потужність 7,7 Ваттами. Окрім технологій мережевої віртуалізації, контролер Broadcom BCM57414 забезпечує адаптери AOC-A25G-b2S роботою за протоколом RDMA over Converged Ethernet.

Сервери MegaDC для дата-центрів

Специфікація OCP NIC 3.0, що визначає використання адаптерів з відкритою архітектурою Open Com­pute Pro­ject, стала основою нової лінійки серверів Supermicro MegaDC. Це перші у галузі готові системи, призначені для великомасштабного розгортання у центрах обробки даних.

Основою для MegaDC послужили шасі, розраховані на встановлення у 19-дюймові стійкі. Тим самим компанія демонструє, що і класичні серверні системи далеко не вичерпали потенціал для оптимізації ефективності по всім напрямкам – від продуктивності на кожній ватт використовуваної потужності до трудовитрати з розгортання необхідної серверної конфігурації.

Лінійка MegaDC складається з п'яти моделей покоління Х11 – двох 1U-серверів і трьох 2U, призначених спеціально для крупних та масштабованих центрів обробки даних. Всі вони відрізняються максимально щільною для своїх розмірів компоновкою і можливістю підключення АІОМ – мережевих карт SFF OCP 3.0, коли потрібні максимальні швидкості мережевих інтерфейсів.

Враховуючи, що з точки зору енергоефективності обчислювальні системи, що використовують графічні процесори NVIDIA, у 2,8 рази ефективніші за системи без GPU NVIDIA (при замірі в гігафлопсах на ватт), дуже перспективною є серія MegaDC GPU, в котрій передбачена можливість установки двох карт Double Wide GPU або п'яти Single Wide GPU та використання інтерконнект-карт OCP 3.0/AIOM.

З напрацювань ОСР використовується новий метод сполучення, який спрощує встановлення та вилучення зовнішніх пристроїв, скорочуючи загальний час простою. Для підключення SFF OCP 3.0 застосовується універсальний конектор SFF-TA-1002, який добре зарекомендував себе з SSD-накопичувачами у форматі Ruler, тобто EDSFF.

Обчислювальна потужність MegaDC забезпечується підтримкою двох процесорів з роз'ємом LGA3647 (Socket P), аж до нового покоління Intel Xeon Scalable з TDP до 205 Вт. Існує16 слотів DIMM, здатних працювати з модулями DDR4-2933. Сумарно в серверному шасі можна розмістити до 3 терабайт оперативної пам'яті, у тому числі й енергонезалежні модулі Intel Optane.

Для більшої гнучкості нові сервери підтримують відкриті стандарти управління та адміністрування, включаючи Open­BMC для контролю за функціональністю платформи та підтримкою актуальних версії мікропрограмного забезпечення.

Перспективи

Через пандемію у 2020 році щорічні заходи OCP Global Summit було проведено у віртуальному вигляді. Є надія, що OCP Global Summit 2021, запланований на 3-4 березня, відбудеться у звичному форматі.

Специфікація ОСР передбачає стандартизацію обладнання, збільшення надійності рішень, спрощення обслуговування та розробку уніфікованого обладнання, що призведе до значних змін у сегменті серверів високої густини. Також ініціатив ОСР відкриває нові горизонти для зростання обчислювальних потужностей, стимулює виробників випускати мережеве обладнання одразу у двох конструктивах.

Поки що популяризація пристроїв стандарту OCP V3.0 стримують існуючі підходи до проектування серверних платформ, які допускають завантаження ОСР-адаптерів як із фронтальної, так і з тильної зони. І хоча на ринку частка пристроїв ОСР V3.0 ще невелика, схоже, що класичні PCle-пристрої та їх мезонінні варіанти вже в найближчому майбутньому ризикують стати рудиментом, затребуваним хіба що окремо в п'єдестальних серверах.

Не за горами вихід нових процесорів Intel з кодовою назвою Cooper Lake 2S, у котрих вже включено підтримка ОСР 3.0.

Ось так виглядає «концепт-cервер» від Facebook – Sonora Pass на процесорах Cooper Lake. В ньому передбачені два слоти під мережеві плати ОСР 3.0, два слоти PCle під повновисотні глибини (FHHL — full height, half length), один 3,5" відсік SATA HDD та слот розширення під SSD-накопичувач форм-фактора E1.S (25 мм). Є два порти USB 3.0 та налагоджуваний ОСР-роз'єм для USB debug port. В сервер можуть встановлюватись до восьми 40-мм вентиляторів, що забезпечують потужне охолодження.