Баннер
Баннер
30.04.2015 04:09

Прыжок в HPC

Автор  Анджей Чанов
Оценить
(2 голоса)

Первая половинка слова «суперкомпьютеры» ассоциируется больше с рядами стоек в академическом или университетском ВЦ. Вряд ли с вычислительными центрами предприятий.

Предприятия, конечно, бывают разные. Не будем сейчас говорить о нефтегазовых гигантах, о Google или Facebook. Предприятия, которые заняты производством того, что мы можем пощупать руками или даже намылить им голову, тоже используют HPC, да еще в каких масштабах. Известный пример – Procter & Gamble. Моделирование своих изделий, расчеты химических свойств потенциальных и актуальных товаров они выполняют, арендуя время чуть ли не во всех крупнейших национальных лабораториях США. Но это не значит, что «у себя дома» P&G не держит мощных машин. Известно, во всяком случае, о системе Cray/Appro с более чем пятью тысячами ядер. Но это только открытые данные, которыми P&G делится с прессой. По оценкам экспертов, уровень вычислений P&G не выглядит бледно на фоне нефтегазовых гигантов, обсчитывающих сейсмические данные, или на фоне весьма скрытных финансовых компаний, о которых чаще всего говорят, когда речь заходит об HPC в коммерческих компаниях. Надо учитывать, что компания P&G отличается открытостью. Более скрытные участники рынка считают тоже не на калькуляторах.

Но что уж говорить о P&G, когда и средним и небольшим предприятиям теперь сплошь и рядом приходится осваивать если не «супер», то уж точно высокопроизводительные вычисления – HPC. Многие из их проблем связаны не с масштабом, а с другим подходом, которого требует HPC. Чтобы не сказать «с другим мышлением».

Надо помнить, что на мировом рынке компании-гиганты отнюдь не все разработки выполняют у себя. Инженерные и другие специфические расчеты часто заказывают небольшим фирмам, специализирующимся в узкой области. В мире большинство разработок выполняют средние и небольшие фирмы. Таким фирмам не просто пройти через такие революционные изменения, как переход к параллельным вычислениям от рабочих станций.

 

Рынок торопит

Но деваться, похоже, некуда. Моделирование всего, что можно смоделировать, становится общепринятой тенденцией развития бизнеса компаний, работающих на самых разных рынках.  Дело не только в том, что моделирование в исконном смысле – кораблики в бассейнах – постепенно уходит в прошлое, как ватманы и кульманы. Рынок торопит. Опоздал с новой моделью, тебя опередили – пеняй на себя, на недостаточные вычислительные мощности в твоем распоряжении. Или на нерасторопных инженеров и сотрудников IT-отдела, не справляющихся с новым оборудованием и новыми задачами.

Для предприятия среднего размера параллельные вычисления – экзотика. Разворачивая параллельную систему даже не таких уж больших масштабов, приходится сталкиваться с проблемами, с которыми просто не сталкивались раньше. На предприятии могли успешно применяться мощные рабочие станции, но объемы вычислений позволяли обходиться небольшим количеством параллельных потоков вычислений. Теперь модели усложнились, стали более детальными и точными, увеличились объемы данных, и приходится осознать: нужно не просто закупать новое, более мощное оборудование. Необходимо перейти на новый уровень, мыслить другими категориями, оперировать другими критериями стоимости и результативности. И, конечно, нужны специалисты именно по параллельным вычислениям. Да еще и представляющие себе предметную область.

Естественно, производители оборудования неравнодушны к проблемам своих старых и новых, потенциальных клиентов. Простота – ключевое слово многих маркетинговых компаний. Ради того, чтобы пробить дорогу к своим заказчикам, некоторые компании даже идут на то, чтобы существенно поменять саму компанию, ее бизнес-модели, приоритеты.


Начиная с себя

До 2013 года NVIDIA, прославившаяся графическими ускорителями, никогда не пробовала себя на рынке готовых, самостоятельных устройств. И вдруг появляется GRID VCA – «программно-аппаратный комплекс визуальных вычислений», так переводят на русский язык короткое VCA (Visual Computing Appliance). Это сервер с GPU, на котором происходит вся обработка заданий, на клиентскую сторону отсылаются лишь результаты – хорошего качества графика. У пользователя при этом может быть обычный или планшетный компьютер.

Когда говорят о NVIDIA, сразу вспоминают о компьютерных играх, и GRID, конечно, сразу поселился в вычислительных центрах онлайновых провайдеров игр. Но в то же самое время компания объявила и об инженерных пакетах, установленных на этих устройствах «под ключ», – Autodesk, Dassault Systemes и им подобных. На первых же демонстрациях главу NVIDIA Дженсона Хуанга поддержал вице-президент компании SolidWorks, принадлежащей Dassault Systemes. VCA по-прежнему не мейнстрим NVIDIA, но такой старт говорит о многом.

Союзница NVIDIA по альянсу OpenPOWER Foundation, IBM в некотором смысле тоже изменила самой себе, желая обольстить заказчиков. Измена эта на другом уровне, не сразу понятном постороннему. Речь идет о порядке байтов: big-endian против little-endian – то есть от старшего к младшему и наоборот. Термин, кстати, восходит к «Путешествиям Гулливера» Джонатана Свифта, к войне тупоконечников – тех, кто разбивает яйца с тупого конца, – с остроконечниками. Архитектура X86 – «остроконечная», то есть little-endian, в регистрах и в ячейках памяти сначала идут младшие байты.

IBM недавно уступила весь свой бизнес с «остроконечными» процессорами X86 китайской компании Lenovo. Мейнфреймы и коммерческие серверы IBM оставались традиционно «тупоконечными», как и, скажем, UNIX-серверы архитектуры SPARC.

Процессор IBM Power 8 вышел удачным. Кроме всего прочего он способен поддерживать 8 потоков на 1 процессорное ядро. И он стал первым в серии Power, способным исполнять и «тупоконечные», и «остроконечные» инструкции. Разумеется, это шаг навстречу клиентам, привыкшим использовать архитектуру X86. Кроме того, если у клиента уже были «остроконечные» системы, то процессы обмена данными с ними новых систем на Power 8 упрощается. А новые параллельные технологии и вообще современные тенденции развития IT могут потребовать существенно больших потоков данных, кочующих с одного вычислительного ресурса на другой.


Перед прыжком

Hewlett-Packard, которой принадлежит рекорд по числу систем в списке TOP500 (179 против следующей за ней IBM с их 153 системами), недавно разделила свой бизнес на две части. Та половина HP, внутри которой остались технологии и бизнес HPC, называется Hewlett-Packard Enterprise. Поэтому естественно ожидать, что HP будет уделять предприятиям немало внимания.

Еще во времена, когда у HP были свои процессоры серии PA-RISC, у нее был свой хорошо очерченный кусок рынка инженерных машин – рабочих станций под собственную версию UNIX – HP-UX. Этот рынок она делила с конкурентами – с SUN, например, у которой были свои UNIX-станции. Уже лет пять прошло, как исчезла компания SUN, уже лет десять назад забрали с завода последний RISC-процессор HP, но словосочетание «мощная рабочая станция», пусть уже архитектуры X86, много значит для инженера. И вот оказывается, что слово «кластер» звучит куда более современно. И кластер, как это ни прозаично звучит, может состоять из не столь дорогих, часто вполне заурядных по конфигурации узлов.

Одна из трудностей, с которыми могут столкнуться в организации, решившейся на использование HPC, может стать даже собственно конфигурирование HPC-кластера. Оно, конечно, не сводится к подбору процессоров и объема памяти. Да и выбор архитектуры кластера отнюдь не всегда очевиден. Полагаться ли на возможности универсальных процессоров? Сделать ставку на графические ускорители? GPU могут повысить производительность в десятки раз, но даже в NVIDIA открыто говорят, что GPU дает выигрыш отнюдь не на всех задачах. Надо понимать, что позволит ускорить код приложения, и если позволит, то как сконфигурировать кластер, чтобы эффективно задействовать возможности ускорителей.  

Но кроме этого необходимо будет разобраться с тем, как будут загружаться задачи, как работает планировщик. В традиционной вычислительной среде эти проблемы могли оставаться в тени. И, разумеется, надо подумать о сети: выбрать ее тип и конфигурацию не менее важно, чем определиться с вычислительными ресурсами кластера. Еще одно: если до этого в компании работали в среде Windows, то предстоит, скорее всего, освоить Linux. Мир кластеров это де-факто мир Linux, хотя исключения, разумеется, на рынке присутствуют.

От производителей железа зависит, насколько хорошо их техника будет приспособлена к конкретным задачам, сконфигурирована под характерные профили вычислительных нагрузок. Производители ПО в свою очередь предлагают reference architectures – эталонные архитектуры, лучше всего подходящие для тех задач, которые призваны решать их программные пакеты.


Инициатива помощников 

Летом этого года HP представила сообществу HPC два типа мощных серверов: Apollo 8000 с весьма оригинальной системой водяного охлаждения и Apollo 6000 с воздушным охлаждением. Первые нацелены в большей степени на большие престижные проекты в университетах и больших вычислительных центрах. Вторые ориентированы скорее в сторону бизнес-клиентов. Они более привычны, хотя их архитектура и компоновка основных блоков, позволяющая достичь высокой вычислительной плотности, не вполне традиционна. С них проще начинать построение параллельных систем. Недавно, в менее торжественной обстановке, под девизом «мост от корпоративной системы к высокопроизводительной архитектуре» HP начала продвижение машин Apollo 2000. Они пришли на смену семейству SL и адресованы как раз среднему и малому бизнесу. Вычислительная плотность в них велика (вдвое выше типичного традиционного узла 1U), при этом они уже имеют вполне привычный вид, узлы располагаются в стандартных стойках. Но переход с отдельных рабочих станций на кластеры – процесс в любом случае не рутинный.

Для того чтобы сделать такой переход безболезненным, HP работает с производителями основных инженерных пакетов – среди которых, конечно, ANSYS и SIMULIA. Результатом становятся эталонные архитектуры для типичных реальных задач Solution Reference Architectures (SRA). Производительность RSA оптимизируется и измеряется в собственных лабораториях HP и в лабораториях разработчиков-партнеров. HP определяет и список VAR, и партнеров-интеграторов, которые установят и настроят соответствующие кластеры.

Если бы клиенты работали как раньше, а не ориентировались на новую инициативу, взаимодействие происходило бы так: фирма-заказчик общалась бы параллельно и с производителем программного пакета, и с производителем оборудования. Их компетенции не всегда пересекаются. В варианте, который теперь предлагает HP, заказчик заведомо имеет дело со специалистами, которые знают и особенности железа, и особенности работы пакетов и знают, как добиться их оптимального взаимодействия. Понятно, что речь идет не только об установке и первоначальной настройке, но и о поддержке в течение всего жизненного цикла.

«Интегратор берет на себя все сложности» – таков лозунг участников инициативы. Клиент должен приступить к работе над своими инженерными проектами сразу, не задумываясь о разнице, как если бы он занялся моделированием на традиционной рабочей станции, а не на кластере с сотнями узлов.

Работа начинается с осмотра помещения, где будет установлен кластер, с оценки существующей инфраструктуры, с определения набора пакетов, на которых будут работать инженеры. Для определения нужной конфигурации приходится достаточно глубоко вникать в предметную область заказчика: нужно знать и типы моделей, которые будут обсчитываться, и математическую часть: какие решатели будут использоваться – профили могут отличаться сильно. После этого надо определить, какая конфигурация способна сочетаться с этими, иногда трудно сочетающимися требованиями к оборудованию. Бывает, что задача вообще невыполнима: некоторые модели и приложения настолько плохо поддаются масштабному распараллеливанию, что двигаться в этом направлении просто не имеет смысла. Инвестиции не будут работать. Но на другом полюсе – излишняя экономия, когда недостаточно мощный кластер просто не даст получить те преимущества, которые могли бы дать параллельные вычисления на более мощном и оптимально сбалансированном оборудовании. Интегратор должен уберечь клиента от обоих видов разочарования.

Над этим стоит поработать: переход к параллельным вычислениям вещь, в общем, неизбежная. Поддастся клиент очарованию HPC или разочарованно махнет рукой – исход один: вычисления будущего будут параллельными. 

Изменено 30.04.2015 09:24

Добавить комментарий


Защитный код
Обновить

Новости

Календарь материалов

« Марта 2017 »
Пн Вт Ср Чт Пт Сб Вс
    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31