Инженерная команда Meta раскрыла технические детали первой очереди вычислительного суперкластера Prometheus, расположенного в Нью-Олбани, штат Огайо (engineering.fb.com). Согласно опубликованному отчету, введенные в эксплуатацию мощности уже использовались для обучения мультимодального семейства нейросетевых моделей Muse, включая стадию масштабного предварительного обучения и этап выравнивания.
Действующая мощность и целевой масштаб
На текущем этапе в инфраструктуре задействованы сотни тысяч графических процессоров. При этом заявленный ориентир в 1 миллион ускорителей представляет собой финальный проектируемый масштаб комплекса, а не его действующую мощность на сегодняшний день (engineering.fb.com). Аппаратный фундамент вычислительного центра составляют платформы NVIDIA GB200 и GB300 NVL72. Для обеспечения бесперебойного теплоотвода в условиях сверхвысокой плотности стоек внедрена система жидкостного охлаждения, а отдельные дата-центры на площадке соединены выделенной оптической сетью высокой пропускной способности.
Эффективность обучения и минимизация простоев
По заявлениям Meta, во время тренировки флагманской модели Muse Wonder доля полезного времени кластера превысила 85% на стадии предварительного обучения и достигла 90% при обучении с подкреплением. Данные метрики основаны на внутренних замерах компании и не проходили сторонней верификации. Для снижения рисков от неизбежных сбоев оборудования архитекторы предусмотрели резервные GPU внутри серверных стоек, регулярное сохранение распределенных контрольных точек и алгоритмы изоляции сбойных узлов без остановки всего вычислительного графа (engineering.fb.com).
Значение архитектуры для индустрии
Создание мегаваттных кластеров открывает возможность масштабировать архитектуры моделей и поддерживать многомиллионные контекстные окна. Строительство и запуск дата-центров такого уровня требуют сложной глобальной координации: ранее редакция рассказывала о том, как Казахстанец отправил больше тысячи сообщений работодателям. Теперь он заключает сделки по дата-центрам для Amazon в рамках развития вычислительной инфраструктуры. В то же время фундаментальные алгоритмические исследования поддерживаются и академическими структурами: напомним, что Astana Hub и Гентский университет открывают лабораторию ИИ в Alem.ai для совместных проектов.
Перспективы развития проекта
Meta продолжит наращивание стоек в соответствии с графиком расширения инженерной площадки (engineering.fb.com). При этом компания не называет точных сроков доступности новых моделей в регионе и не заявляет изменений тарифной политики для внешних разработчиков.
