Согласно официальному блогу Moonshot AI, компания представила Kimi K3 — крупнейшую open-weight модель в истории: 2,8 трлн параметров, sparse Mixture-of-Experts с активацией 16 из 896 экспертов, 1 млн токенов контекстного окна и нативная поддержка vision. Полные веса будут опубликованы до 27 июля 2026 года.
Архитектура: Kimi Delta Attention и Attention Residuals
Kimi K3 построена на двух архитектурных нововведениях: Kimi Delta Attention (KDA) — эффективный механизм внимания для масштабирования, и Attention Residuals (AttnRes) — выборочное извлечение представлений по глубине сети, а не их равномерное накопление. В сочетании с Stable LatentMoE это даёт примерно 2,5-кратное улучшение эффективности масштабирования по сравнению с Kimi K2.
Модель применяет обучение с учётом квантизации (quantization-aware training) с MXFP4 весами и MXFP8 активациями для широкой аппаратной совместимости. Для инференса рекомендована конфигурация супернода с 64+ ускорителями.
Производительность: конкурентный уровень
По заявлению Moonshot AI, Kimi K3 демонстрирует производительность на уровне frontier, хотя всё ещё уступает Claude Fable 5 и GPT-5.6 Sol по отдельным метрикам. В тестах оптимизации GPU-ядер K3 показала результаты, сопоставимые с Fable 5, и существенно превзошла Opus 4.8, GPT-5.6 Sol и GPT-5.5.
В автономном режиме K3 за 48 часов спроектировала чип на архитектуре собственной nano-модели, используя open-source EDA-инструменты на 45-нм библиотеке Nangate — 1,46 млн стандартных ячеек, 0,277 МБ SRAM, частота 100 МГц, пропускная способность более 8700 токенов/с.
Применение: от GPU-компиляторов до астрофизики
Moonshot AI приводит несколько кейсов, демонстрирующих возможности K3:
- MiniTriton — K3 с нуля разработала компактный Triton-совместимый компилятор с собственным tile-level IR, оптимизационными проходами и генерацией PTX-кода, который на отдельных нагрузках превосходит Triton и torch.compile.
- Астрофизика — за два часа K3 воспроизвела сложные вычислительные сценарии (I-Love-Q relations), проанализировав 20+ научных статей, реализовав полный численный пайплайн и сгенерировав 3000+ строк Python-кода.
- Game Dev — модель создала процедурно генерируемый 3D-мир на Three.js WebGPU с лесами, горами и динамической погодой.
Доступность и цены
Kimi K3 доступна сегодня на Kimi.com, в Kimi Work, Kimi Code и через Kimi API. Цены: $3 за миллион входных токенов и $15 за миллион выходных. По умолчанию модель работает с максимальным reasoning effort, в будущих обновлениях появятся режимы низкого и высокого усилия. Open-source веса обещаны до 27 июля.
Lisa AI — оптовый поставщик корпоративного API-доступа к нейросетям в РФ — предоставляет прямой доступ к 100+ LLM для юридических лиц. Оплата по счёту с НДС, закрывающие документы, запуск за 1–3 дня. Оставьте заявку на lisa-ai.ru.
