16 июля пекинская научно-техническая компания с ограниченной ответственностью Moonshot AI представила модель нового поколения Kimi K3, которая содержит 2,8 трлн параметров, что делает ее крупнейшей в мире по числу параметров моделью ИИ с открытым исходным кодом.

Kimi K3 изначально поддерживает визуальное понимание, обладает контекстным окном размером 1 млн токенов и оптимизирована для сложных сценариев задач, включая разработку программного обеспечения, интеллектуальную работу, углубленные исследования, мультимодальное понимание и др., что дополнительно повышает способность больших языковых моделей обрабатывать сложные задачи. По результатам тестирования общий уровень интеллектуальных возможностей Kimi K3 приблизился к ведущим в мире моделям с закрытым исходным кодом.

Визуальный образ бренда Kimi K3

В процессе обучения базовой модели нового поколения Kimi K3 компания использовала самостоятельно разработанную архитектуру базовой модели, накопила и сформировала целостный набор научных методов обучения моделей. Благодаря оптимизации структуры модели, методов обучения и состава данных общая эффективность масштабирования Kimi K3 по сравнению с предыдущим поколением модели выросла примерно в 2,5 раза, что способствует дальнейшему повышению эффективности преобразования вычислительных ресурсов в способности модели.

Компания Moonshot AI заявила, что полные веса модели будут опубликованы в ближайшее время, а детали архитектуры модели, обучения и тестирования будут постепенно публиковаться вместе с техническим отчетом модели.

(СИНЬХУА Новости)