Инженеры «Яндекса» и студенты ШАД разработали и выложили в открытый доступ MTGBench — набор тестов, который проверяет, насколько хорошо нейросети рассуждают при решении многоэтапных задач, узнал Forbes. В основе — семь текстовых игр вроде «Поля чудес», «Данеток» и Wordle, где каждый шаг зависит от предыдущего, а оценивается не только ответ, но и число шагов до него. На тестах проверили 16 моделей, от компактной Qwen до Gemini и GPT: польза режима рассуждений сильно зависит от типа задачи, а высокий балл в одном испытании не гарантирует успеха в другом. Для бизнеса вопрос выбора модели не праздный. Режим рассуждений повышает качество ответов, но может многократно увеличить стоимость задачи, а по данным Microsoft Research Asia, в 21,8% случаев более дешевая по тарифу нейросеть в итоге обходилась дороже из-за токенов, потраченных на рассуждения. Gartner при этом прогнозирует, что более 40% проектов агентного ИИ закроют к концу 2027 года — в том числе из-за растущих затрат 📸: Фото Getty Images
- 11
- 4
- 2
- 1