AI

Meta раскрыла устройство Prometheus: первая очередь кластера уже обучала модели Muse

Вычислительные стойки серверного зала современного дата-центра

Инженерный блог компании Meta 19 октября сообщил о завершении строительства и официальном вводе в эксплуатацию первой очереди крупного вычислительного суперкластера Prometheus, расположенного в Нью-Олбани, штат Огайо. Согласно сообщению компании, созданные аппаратные мощности уже использовались для обучения мультимодального семейства нейросетевых моделей Muse, охватывая этапы масштабного предварительного обучения и настройки алгоритмов (engineering.fb.com).

Действующая мощность и целевой масштаб

На момент публикации компания говорит о сотнях тысяч графических процессоров, задействованных в текущей работе инфраструктуры. При этом показатель примерно в 1 миллион GPU представляет собой целевой полный масштаб проекта, а не его действующую установленную мощность. В составе кластера описаны аппаратные платформы NVIDIA GB200 и GB300 NVL72, смонтированные в стойках высокой плотности. Для охлаждения серверных компонентов применена система прямого жидкостного охлаждения, а отдельные здания дата-центра на площадке соединены специализированной выделенной сетью высокой пропускной способности (engineering.fb.com).

Эффективность обучения и снижение потерь

В ходе процесса обучения модели Muse Wonder компания Meta зафиксировала полезную долю времени свыше 85% для предварительного обучения (pretraining) и свыше 90% для этапа обучения с подкреплением (RL). Данные показатели эффективности принадлежат самой компании. Для снижения потерь работы от неизбежных сбоев оборудования Meta описала механизмы аппаратного резервирования GPU внутри каждой стойки, регулярное сохранение распределенных контрольных точек и оперативное изолирование неисправной реплики без длительной остановки общего распределенного пайплайна (engineering.fb.com).

Что это значит для специалистов

По описанию Meta, развиваемые мощности позволяют исследователям работать с более крупными моделями и поддерживать более длинный контекст, а механизмы резервирования и восстановления уменьшают потери работы при сбоях оборудования (engineering.fb.com).

Развитию серверных мощностей и международным контрактам посвящен материал Казахстанец отправил больше тысячи сообщений работодателям. Теперь он заключает сделки по дата-центрам для Amazon. Научные алгоритмические проекты в регионе также освещались в публикации Astana Hub и Гентский университет открывают лабораторию ИИ в Alem.ai.

Дальнейшее развитие инженерного комплекса

Компания продолжит развитие кластера в соответствии с планами строительства инженерной инфраструктуры площадки и масштабирования серверных узлов, при этом отдельной независимой проверки заявленных метрик в источнике не приводится (engineering.fb.com).

Понравился материал? Поделитесь с другими:

Picture of Раимбек Искендиров
Раимбек Искендиров
Исследую технологии будущего, запускаю продукты и помогаю предпринимателям сокращать путь от идеи до результата
Picture of Раимбек Искендиров
Раимбек Искендиров
Исследую технологии будущего, запускаю продукты и помогаю предпринимателям сокращать путь от идеи до результата

Похожие материалы

Расчётный лист зарплаты рядом с калькулятором и купюрами тенге. Главный предмет — расчёт суммы, которую сотрудник получает после удержаний.

Обзоры

Зарплата в Казахстане в 2027 году: сколько прибавит налоговый вычет

При зарплате 500 тыс. тенге налоговый вычет может добавить около тысячи тенге на руки ...
Казахстан: starlink kazakhstan price — домашние тарифы от 24 495 ₸ в месяц

Обзоры

Казахстан: starlink kazakhstan price — домашние тарифы от 24 495 ₸ в месяц

Домашний Starlink в Казахстане стоит от 24 495 ₸ в месяц. Какие ограничения есть ...
Реальный микромаркет Vbox с видимым ассортиментом еды и основателем рядом. Использовать предоставленные героем фотографии после проверки содержания и подписей.

Обзоры

Райымбек Тулешев о Vbox Social: «Более 25 микромаркетов» в Казахстане и за рубежом

Райымбек Тулешев рассказал о Vbox Social: более 25 микромаркетов, собственные технологии, обучение людей и ...

Читайте нас в Telegram и Instagram

Подписывайтесь на наши каналы, чтобы первыми получать самые свежие новости казахстанской IT-индустрии, анонсы грантов, стажировок и эксклюзивные интервью.