Meta корпорациясының инженерлік бөлімі Огайо штатындағы Нью-Олбани қаласында салынған Prometheus суперкластерінің алғашқы кезегі туралы мәліметтерді ресми түрде жариялады (engineering.fb.com). Компанияның есебіне сәйкес, іске қосылған қуатты инфрақұрылым жаңа Muse үлгісіндегі жасанды интеллект модельдерін алдын ала оқыту және оңтайландыру жұмыстарына толық пайдаланылған.
Қазіргі қуаттылық және даму жоспары
Қазіргі таңда суперкомпьютерлік кешен құрамында жүздеген мың графикалық процессор жұмыс істеп тұр. Ал жиі айтылатын 1 миллион GPU көрсеткіші — бұл болашақтағы толық жобалық шек, ол қазіргі нақты қуатты білдірмейді (engineering.fb.com). Есептеу тораптары NVIDIA GB200 және GB300 NVL72 заманауи платформаларына негізделген. Жоғары температуралық жүктемені жою үшін сұйықтықпен салқындату технологиясы енгізілген, ал кешендегі серверлік ғимараттар өзара арнайы бөлінген жоғары жылдамдықты оптикалық желімен байланыстырылған. Бұл жүйелік шешімдер үлкен көлемдегі деректерді кідіріссіз тасымалдауға жағдай жасайды.
Оқыту тиімділігі және ақаулардан қорғау
Meta өкілдерінің айтуынша, Muse Wonder моделін жасау барысында есептеулердің пайдалы уақыт үлесі pretraining кезеңінде 85 пайыздан, ал күшейтіп оқыту кезінде 90 пайыздан асқан. Бұл деректер компанияның ішкі өлшемдеріне тиесілі, олар тәуелсіз тексеруден өткен жоқ. Жабдықтың істен шығуынан болатын тоқтауларды азайту мақсатында сөрелер ішінде резервтік GPU қалдыру, жүйелік бақылау нүктелерін сақтау және ақауы бар репликаларды жалпы процесті тоқтатпай оқшаулау тетіктері іске асырылған (engineering.fb.com). Сақтық көшірмелерді жиі сақтау есептеу процесі үзілген жағдайда жұмысты соңғы нүктеден жылдам жалғастыруға септігін тигізеді.
Есептеу инфрақұрылымының болашағы мен маңызы
Мұндай ауқымды суперкластерлер үлкен модельдерді дайындауға және кеңейтілген контекст терезелерін өңдеуге мүмкіндік береді. Жаһандық инфрақұрылымды кеңейту үрдісі туралы бұған дейін Қазақстандық маман жұмыс іздеп мыңнан астам хат жазған: ол қалай Amazon AWS үшін дата-орталық мәмілелерін жасайтын деңгейге жетті деген мақалада айтылған болатын. Ал отандық ғылым саласында Astana Hub пен Гент университеті Alem.ai базасында ЖИ зертханасын ашады, бұл мамандардың кәсіби дамуына үлкен серпін береді.
Жобаның келешек бағыттары
Meta жоба аясында инфрақұрылым қуатын бекітілген кестеге сәйкес кезең-кезеңімен арттыруды көздейді (engineering.fb.com). Сонымен бірге компания жаңа үлгілердің өңірлік қолжетімділік уақытын немесе сыртқы пайдаланушыларға арналған баға саясатын нақтылаған жоқ.
