Инженерный блог компании Meta 19 октября сообщил о завершении строительства и официальном вводе в эксплуатацию первой очереди крупного вычислительного суперкластера Prometheus, расположенного в Нью-Олбани, штат Огайо. Согласно сообщению компании, созданные аппаратные мощности уже использовались для обучения мультимодального семейства нейросетевых моделей Muse, охватывая этапы масштабного предварительного обучения и настройки алгоритмов (engineering.fb.com).
Действующая мощность и целевой масштаб
На момент публикации компания говорит о сотнях тысяч графических процессоров, задействованных в текущей работе инфраструктуры. При этом показатель примерно в 1 миллион GPU представляет собой целевой полный масштаб проекта, а не его действующую установленную мощность. В составе кластера описаны аппаратные платформы NVIDIA GB200 и GB300 NVL72, смонтированные в стойках высокой плотности. Для охлаждения серверных компонентов применена система прямого жидкостного охлаждения, а отдельные здания дата-центра на площадке соединены специализированной выделенной сетью высокой пропускной способности (engineering.fb.com).
Эффективность обучения и снижение потерь
В ходе процесса обучения модели Muse Wonder компания Meta зафиксировала полезную долю времени свыше 85% для предварительного обучения (pretraining) и свыше 90% для этапа обучения с подкреплением (RL). Данные показатели эффективности принадлежат самой компании. Для снижения потерь работы от неизбежных сбоев оборудования Meta описала механизмы аппаратного резервирования GPU внутри каждой стойки, регулярное сохранение распределенных контрольных точек и оперативное изолирование неисправной реплики без длительной остановки общего распределенного пайплайна (engineering.fb.com).
Что это значит для специалистов
По описанию Meta, развиваемые мощности позволяют исследователям работать с более крупными моделями и поддерживать более длинный контекст, а механизмы резервирования и восстановления уменьшают потери работы при сбоях оборудования (engineering.fb.com).
Развитию серверных мощностей и международным контрактам посвящен материал Казахстанец отправил больше тысячи сообщений работодателям. Теперь он заключает сделки по дата-центрам для Amazon. Научные алгоритмические проекты в регионе также освещались в публикации Astana Hub и Гентский университет открывают лабораторию ИИ в Alem.ai.
Дальнейшее развитие инженерного комплекса
Компания продолжит развитие кластера в соответствии с планами строительства инженерной инфраструктуры площадки и масштабирования серверных узлов, при этом отдельной независимой проверки заявленных метрик в источнике не приводится (engineering.fb.com).