Google компаниясы 20 қазанда Meta компаниясындағы PyTorch тобымен бірлесіп жасалған TorchTPU ашық бастамасын жариялады. Google әзірлеушілерінің мәлімдеуінше, машиналық оқытудың қолданыстағы міндеттерін таныс API интерфейстері арқылы ең аз өзгерістермен TPU тензорлық үдеткіштеріне көшіруге болады (cloud.google.com).
Жаңа құралдың архитектурасында интерактивті баптауға арналған eager-mode режимі және есептеулерді оңтайландыратын torch.compile механизмі іске асырылған. Сонымен бірге Hugging Face, vLLM, SGLang, llm-d, TorchTitan және Ray кітапханаларымен тікелей интеграциялар ұсынылған. Ал TPU agent suite құралдар кешені қазіргі уақытта preview мәртебесінде қолжетімді болып, кодты көшіруге көмектесетін қосымша шешім ретінде сипатталады (cloud.google.com).
Үйреншікті құралдар басқа үдеткіште
Google мәліметіне сәйкес, Transformers v5 кітапханасы device_map=»tpu» параметрі арқылы қолдау табады, Diffusers жүйесімен нативті жұмыс істеу қамтамасыз етілген және Transformers үлгілері TPU аппараттық платформасында күнделікті түнгі сынақтан өтеді. Интеграциялық тетіктер аппараттық үдеткіштерде танымал машиналық оқыту кітапханаларының тұрақты жұмысын қамтамасыз етуге бағытталған (cloud.google.com).
Әзірлеушілерге қазір не қолжетімді
Ресми репозиторийдің README құжатында TPU үдеткіштеріне арналған PyTorch бэкенді, арнайы ATen ядролары, XLA компиляциясының кэші, деректер мен тензорлар параллелизмі, сондай-ақ жүйені талдау және бенчмарк құралдары сипатталған (github.com).
Ашық бастапқы код репозиторийінде Llama, Qwen, ResNet, DLRM, minGPT және UNet үлгілері бойынша дайын мысалдар ұсынылған. Техникалық құжаттама Cloud TPU VM виртуалды машиналарында тікелей іске қосылатын интерактивті Marimo дәптерлерін қамтиды, әрі онда v6e конфигурациясы жұмысты бастауға ең ыңғайлы нұсқа ретінде атап көрсетілген. Сонымен қатар нұсқаулық Python 3.11+ ортасын және torch_tpu 0.2.0 ресми пакетін орнатуды, сондай-ақ бастапқы кодтан wheel жинағын құрастыруды қолдайды (github.com).
Оқырман үшін бұл нені білдіреді
Google ұсынған мәліметтерге сәйкес, инженерлік топтар TPU инфрақұрылымында есептеулер жүргізу кезінде PyTorch кітапханасының дағдылы әдістерін толық сақтай алады. Ашық репозиторийде модельдерді оқыту мен инференсті сынауға арналған нақты мысалдар бар, бұл өз міндеттеріңіздің өнімділігін тәжірибе жүзінде бағалауға мүмкіндік береді.
Байланысты инфрақұрылымдық жобалар
Бұған дейін басылым есептеу кластерлерінің құрылымы туралы маңызды материал жариялаған болатын: Meta Prometheus суперкластерінің құрылымын ашты: алғашқы кезегі Muse үлгілерін оқытты.
Сондай-ақ саладағы балама архитектуралық шешімдер келесі шолуда қаралды: Amazon TorchNeuron бэкендін таныстырды: PyTorch кодын Trainium чиптеріне қайта жазбай көшіруге болады.
Инженерлерге өз есептеу міндеттерін және модельдердің үйлесімділігін тікелей ресми репозиторийдің техникалық құжаттамасы негізінде тексеру ұсынылады.
