📌 Fern 0.16: анонс модели с контекстом 10 млн токенов Стартап Mirendil, который основали ушедшие из Anthropic исследователи Бехнам Нейшабур и Харш Мехта, рассказал о своей первой модели Fern 0.1, которая умещает в контекст до 10 млн токенов, то есть примерно 23 МБ кода или около полумиллиона строк. Разработка рассчитана на тех, кто сам обучает ИИ. Компания предлагает скармливать ей целиком логи обучения, записи работы агентов за несколько дней и куски обучающих данных для проверки на мусор и дубликаты. В предсказании следующего фрагмента кода Fern улучшается по мере чтения репозитория, и из всех моделей, с которыми её сравнивали в Mirendil, только она дотягивает до 10 млн токенов, остальные измерены примерно до 1 млн. При этом на одинаковой длине в 1 млн токенов Kimi-K3 и Beam предсказывают точнее неё, хотя обе уже дообучены, а Mirendil сравнивает с ними свою базовую модель и сама отмечает, что дообучение этот показатель обычно слегка ухудшает. 🟡Тесты В агентных задачах всё ещё печальнее – на Terminal Bench 4.0 Fern 0.1 набрала 6,1% (у Claude Opus 5.5 там 66,4%, у GPT-6 Astra 57,9%, у GLM-5.3 - 41,9%). На DeepSWE v1.1 и SWE-bench Verified картина та же, от передовых моделей Fern отстаёт вдвое и на четверть соответственно, хотя кое-кого из открытых обходит. Лучший её показатель, 76,5% на SWE-Bench Pro v2-Hard, повторяет результат Beam и остаётся ниже передовых. Mirendil объясняет это тем, что Fern 0.1 это базовая модель после короткого цикла обучения, а новые версии будут выходить часто. Про количество параметров у Fern 0.1 размыто заявлено от 100 до 500 млрд. Ещё две модели Mirendil уже обучает, одна на 500 млрд – 2 трлн параметров, другая на 2–10 трлн. Доступ к ранней версии Fern можно запросить через контакт со стартапом. @ai_machinelearning_big_data #news #ai #ml
- 98
- 45
- 23
- 19
- 16
- 14
- 13
- 11
- 10