🌟 Ripple-65B Preview: модель для агентного кодинга Ricursive Intelligence выпустила в открытое превью модель агентного программирования на 65 млрд параметров, ориентированную на скорость ответов. Компания основана Анной Голди и Азалией Мирхосейни, бывшими исследователи Google DeepMind, где они вели проект AlphaChip - системы, которая сама подбирала компоновку блоков на кристаллах Google TPU. Ricursive Intelligence делает платформу для проектирования чипов, и Ripple-65B Preview - вариант той модели, что работает внутри этой платформы. 🟡 Архитектура Внутри плотный трансформер без смеси экспертов, 80 слоёв при размерности 5120. К этому добавлены избыточное число голов внимания, повышенная доля слоёв со скользящим окном, ограничение активаций в полносвязных блоках, gated attention и глобальный отказ от позиционного кодирования. Предобучение прошло на 12 трлн токенов, контекст заявлен до 1 млн токенов. В претрейне сильно подняли долю кода, данные для постобучения не покупали, их собрали своими конвейерами синтетики с фильтрацией по качеству и метриками покрытия. В RL-фазе применили усечённую выборку по значимости, центрирование оценок и линейный штраф за длину. Архитектуру подбирали лестницей от Olmo 3, отбрасывая варианты, которые не давали прироста уже на 4 млрд параметров. Суммарно на этом масштабе вычислительная эффективность на коде выросла до 16 раз по перекрёстной энтропии на наборе dolma_stack. 🟡Тесты На Terminal-Bench 2.1 модель выбила 80,5 против 80,1 у Reflection Beam на 501 млрд параметров, 76,4 у Muse Spark на 816 млрд и 63,8 у Inkling от Thinking Machines на 975 млрд. На SWE-bench Pro v2.0 Hard - 79,1 против 76,5 у Reflection Beam, зато на SWE-bench Verified Ripple отстаёт - 76,5 против 81,6, а на GPQA Diamond 85,2 против 90,6. Разработку компания оценила 32 млн долларов и называет это десятой частью того, во что обошлась прежняя лучшая модель с открытыми весами на агентном программировании. В эту стоимость вошли подбор архитектуры, тесты, отладка, генерация синтетики, разработку рецепта посттрейна и сами финальные запуски обучения. Модель подняли Together AI, GMI Cloud и Fireworks по стоимости в 20 центов за млн входных и 60 центов за млн выходных токенов. 📌Лицензирование: Apache 2.0 🟡Блогпост 🟡Веса @ai_machinelearning_big_data #AI #ML #LLM #RipplePreview #RicursiveIntelligence
- 50
- 40
- 13
- 12
- 6
- 4
- 2
- 1
- 1
- 1