Recursive компаниясы бағдарламалау тапсырмаларын жергілікті құрылғыда орындауға арналған жаңа Flint моделін таныстырды (recursive.com). Ол жалпы көлемі 40 миллиардқа жуық параметрі бар MoE архитектурасы негізінде жасалған, оның ішінде әрбір токенге шамамен 2,5 миллиард параметр белсендіріледі (recursive.com). Компания өкілдерінің айтуынша, шағын мамандар тобы бұл модельді төрт айдан аз уақыт ішінде жасап шыққан (recursive.com).
Модельдің архитектуралық мүмкіндіктері
Компания мәліметінше, зерттеу барысында Eureka Machine көмекші платформасы гипотезаларды ұсынуға, тәжірибелер жүргізуге және оқыту деректерін өңдеуге қатысқан (recursive.com). Бұл тәжірибе мамандардың қатаң бақылауымен жүргізілген автоматтандырылған зерттеу мысалы ретінде сипатталады (recursive.com).
Модель картасында оның нақты 39,8 миллиард параметрі бар екені, мәтінді енгізу мен шығаруды қолдайтыны және сыртқы құралдармен көпқадамды әрекеттер жасай алатыны көрсетілген (huggingface.co). Репозиторийде BF16 форматындағы чекпоинт, конфигурациялық файлдар және SGLang құралдары қамтылған (huggingface.co). Сондай-ақ NVIDIA графикалық карталары мен Apple Silicon чиптері үшін квантталған арнайы нұсқалар бөлек жеткізіледі (huggingface.co).
Жасанды интеллект инфрақұрылымын ауқымды есептеу ресурстарымен қамтамасыз ету әлемдік индустрияда басты рөл атқарады. Суперкластерлер құрылымы жөнінде мына мақалада толық айтылған: Meta Prometheus суперкластерінің құрылымын ашты: алғашқы кезегі Muse үлгілерін оқытты.
Apache 2.0 лицензиясы және жергілікті жүйелер
Модель салмақтары Hugging Face платформасында ашық түрде Apache 2.0 еркін лицензиясымен жарияланды (recursive.com). Сонымен қатар Apple Silicon M4 Pro және M5 Pro/Max процессорлары үшін арнайы оңтайландырылған rec қозғалтқышы ұсынылды (recursive.com). Жергілікті қолдану деректерді құрылғы ішінде сақтап, интернетке қосылмай-ақ дербес жұмыс істеуге мүмкіндік береді (recursive.com).
README құжатында 262 144 токендік контекстік терезе көлемі көрсетілген, ал ресми блогта 512 мыңға дейінгі шекті мән аталып, 256 мың токенге дейін қолдану ұсынылады (recursive.com). Әзірлеушілер кодты орындау кезінде қателер орын алуы мүмкін екенін ескертіп, бағдарламалық жасақтаманы енгізу кезінде құқықтарды шектеуді талап етеді (huggingface.co).
Жаңа үлгілерді оқыту және оңтайландыру тәсілдері туралы бұған дейін мына материалда сөз болған: Amazon TorchNeuron бэкендін таныстырды: PyTorch кодын Trainium чиптеріне қайта жазбай көшіруге болады.
Оқырман үшін бұл нені білдіреді
Бағдарламашылар жергілікті тәжірибелер жүргізуге және дербес бағдарламалық құралдарды құрастыруға арналған ашық модельге қол жеткізді (recursive.com). Дегенмен жабдық мүмкіндігіне сәйкес квантталған нұсқаларды дұрыс таңдау маңызды (huggingface.co).
