Вычислительный кластер НИВЦ МГУ

В марте 2000 года в НИВЦ МГУ установлен и введен в экcплуатацию высокопроизводительный вычислительный кластер на базе высокоскоростной сетевой технологии SCI. Финансирование осуществлялось в рамках проекта Федеральной целевой программы "Интеграция", а также за счет средств МГУ и НИВЦ МГУ. В январе 2001 года кластер был значительно расширен, а затем установлен новый кластер (SKY), который сейчас преимущественно используется как "вычислительная ферма". Использование кластеров позволяет добиться на реальных приложениях производительности в несколько миллиардов операций в секунду при относительно небольших финансовых затратах на оборудование и программное обеспечение. В настоящее время производится наладка третьего кластера (AQUA) на базе новой модификации сети SCI.

Конфигурация кластера SCI

За основу для построения кластера взято интегрированное кластерное решение Wulfkit, разработанное компаниями Dolphin Interconnect Solutions и Scali Computer (Норвегия). В 1999 году это решение было апробировано в московском НИЦЭВТе (Научно-исследовательском Центре Электронно-вычислительной техники, Москва), который и был пионером использования технологии SCI для построения параллельных систем в России.

Кластер состоит из двухпроцессорных узлов с процессорами Pentium III. Узлы объединяются в двухмерную решетку с помощью высокоскоростной сети SCI. В качестве служебной сети используется Fast Ethernet. Дополнительно установлен однопроцессорный компьютер, используемый в качестве головной машины для загрузки задач на кластер, а также файл-сервер с RAID-массивом. Установлена рабочая станция, ориентирована на задачи визуализации.

Примерная стоимость одного узла кластера на время покупки (начало 2000 года) составляла 3200 у.е., из которых примерно половину составляла стоимость коммуникационного оборудования Wulfkit.
На узлах и файл-сервере установлена свободно-распространяемая ОС Linux (дистрибутив - RedHat Linux 6.1). Коммуникационного среда SCI работает под управлением програмного обеспечения Scali Software Platform 2.1.

18 узлов кластера объединены в двухмерную решетку 6x3 следующим образом:

sci1-1	sci2-1	sci3-1	sci4-1	sci5-1	sci6-1
sci1-2	sci2-2	sci3-2	sci4-2	sci5-2	sci6-2
sci1-3	sci2-3	sci3-3	sci4-3	sci5-3	sci6-3

Серым цветом выделены новые узлы (с процессорами Pentium III/550 МГц), установленные в январе 2001 года. В ячейках таблицы указаны символические имена узлов в виде sciX-Y, где X - номер по горизонтали и Y - номер по вертикали.

Логическая схема кластера (GIF, 25 Кбайт).

Каждый узел имеет однонаправленную связь со следующим по горизонтали и по вертикали (последний имеет связь с первым). Таким образом, каждый узел присутствует в двух однонаправленных кольцах, за организацию обменов по которым отвечают основная и дочерняя карты SCI. SCI-контроллеры в составе Wulfkit обеспечивают маршрутизацию между кольцами на аппаратном уровне. В случае выхода одного из узлов из строя, обеспечивается автоматическая перенастройка маршрутизации и вся остальная сеть продолжает работать.

Аппаратное обеспечение

Конфигурация узла

• Материнская плата ASUS P2B-D, чипсет 440BX, системная шина 100 МГц;
• 2 процессора Pentium III/500 МГц, кэш второго уровня 512 Кбайт (на новых узлах - 550 МГц);
• 1 Гбайт оперативной памяти SDRAM (4 модуля DIMM по 256 Мбайт);
• Жесткий диск IDE 4.3 Гбайт Quantum (на новых узлах 10 Гбайт Fujitsu);
• Видео-контроллер S3 3D VIRGE;
• Адаптер Fast Ethernet - Intel Pro/100+ management adapter;
• Основная и дочерняя карты SCI (D311/D312), два кабеля SCI.

Конфигурация файл-сервера

• Двухпроцессорная материнская плата Intel STL2.
• Процессор Pentium III/800 МГц;
• 512 Мбайт оперативной памяти;
• Жесткий диск Ultra160 SCSI объемом 36 Гбайт (IBM);
• RAID-контроллер MegaRAID Express 500, кэш 32 Мбайта;
• RAID 5-массив из 6 дисков Ultra160 SCSI объемом по 36 Гбайт (IBM);
• 48-скоростной привод CD-ROM;
• Ленточный стример HP SureStore 24i (формат ленты DDS3, объем 12 Гбайт без учета сжатия).
• Адаптер Fast Ethernet - Intel Pro/100+ management adapter;

Сетевая инфраструктура

• 24-портовый коммутатор Fast Ethernet - SuperStack II 3300.

Дополнительная аппаратура

• Электронный переключатель для монитора/клавиатуры на 6 позиций каждый
• 5 механических переключателей для монитора/клавиатуры на 4 узла каждый.
• Три металлических стеллажа для установки узлов.
• Источники бесперебойного питания Powercom - 3 штуки SmartKing 2000A и 1 штука 800A.