Иллюстрация: ИИ
Общество «Қазақ тілі» и OpenAI сформировали текстовый корпус казахского языка на 14 млрд токенов и собрали 12 000 часов аудиозаписей. О совместном проекте президенту Касым-Жомарту Токаеву рассказал руководитель общества Рауан Кенжеханулы. Такие данные нужны, чтобы ИИ лучше понимал казахский язык и говорил на нём (tengrinews.kz).
Что произошло
Токаев принял Кенжеханулы, который возглавляет общество с 2023 года. На встрече обсуждали преподавание казахского языка, расширение контента на нём и применение языка в новых технологиях.
Один из результатов сотрудничества с OpenAI — собранные тексты и аудиозаписи. Объём текстовой части измерили в токенах: так называют небольшие фрагменты, на которые модель делит текст при обработке.
Что это значит
Корпус — это собрание текстов для работы с языком. Для обучения моделей такие материалы служат примерами того, как устроена письменная речь. Токен может быть словом или его частью, поэтому 14 млрд токенов нельзя читать как 14 млрд слов.
У аудиозаписей другая задача: они дают примеры звучащей казахской речи. Такие данные нужны моделям для понимания речи и работы с произношением. Тексты и звук помогают решать общую задачу — лучше работать с казахским языком.
Где Токаев предложил использовать ИИ
Президент отметил необходимость полностью использовать возможности искусственного интеллекта в обучении государственному языку и переводе научной литературы. Это два направления, которые он выделил на встрече.
Общество «Қазақ тілі» основано 22 сентября 1989 года. Сейчас среди его направлений — методики преподавания и применение казахского языка в новых технологиях.
