Иллюстрация: ЖИ
«Қазақ тілі» қоғамы мен OpenAI қазақ тілінде 14 млрд токеннен тұратын мәтін корпусын құрып, 12 000 сағат аудиожазба жинады. Бірлескен жоба туралы қоғам басшысы Рауан Кенжеханұлы президент Қасым-Жомарт Тоқаевқа айтып берді. Бұл деректер ЖИ-дің қазақ тілін жақсырақ түсініп, қазақша сөйлеуі үшін қажет (tengrinews.kz).
Не болды
Тоқаев 2023 жылдан бері қоғамды басқарып келе жатқан Кенжеханұлын қабылдады. Кездесуде қазақ тілін оқыту, қазақша контентті көбейту және тілді жаңа технологияларда қолдану мәселелері талқыланды.
OpenAI-мен ынтымақтастықтың бір нәтижесі — жиналған мәтіндер мен аудиожазбалар. Мәтін көлемі токенмен өлшенді: модель мәтінді өңдегенде оны шағын бөліктерге бөледі, сол бөліктер токен деп аталады.
Бұл нені білдіреді
Корпус — тілмен жұмыс істеуге арналған мәтіндер жинағы. Модельдерді үйрету кезінде мұндай материалдар жазба тілдің қалай құрылғанын көрсететін мысал ретінде қолданылады. Токен тұтас сөз де, сөздің бір бөлігі де болуы мүмкін. Сондықтан 14 млрд токенді 14 млрд сөз деп түсінуге болмайды.
Аудиожазбалардың міндеті басқа: олар қазақша ауызша сөйлеудің үлгілерін береді. Мұндай деректер модельдерге айтылған сөзді түсіну және дыбыстаумен жұмыс істеу үшін қажет. Мәтін мен дыбыс ортақ міндетті шешуге — қазақ тілімен жақсырақ жұмыс істеуге көмектеседі.
Тоқаев ЖИ-ді қайда қолдануды ұсынды
Президент мемлекеттік тілді оқыту мен ғылыми әдебиетті аударуда жасанды интеллект мүмкіндіктерін толық пайдалану қажет екенін айтты. Кездесуде ол осы екі бағытты атап өтті.
«Қазақ тілі» қоғамы 1989 жылғы 22 қыркүйекте құрылған. Қазір оның жұмыс бағыттарының қатарында оқыту әдістемелері мен қазақ тілін жаңа технологияларда қолдану бар.
