Новые разработки и релизы мультимодальных моделей и инструментов для работы с языковыми моделями

Hard To Be Crypto@h2becryptoФинансы и криптовалюты9 ноября 2026, 18:27

more_horiz

Для работы LLM с базой документов исследователи придумали память Memorilla 🧑‍💻 Всю базу один раз превращают в эмбеддинги с помощью Qwen3-Embedding-4B. Затем модуль на 194 млн параметров выбирает информацию для запроса и упаковывает её в 16 векторов, которые получает на вход Qwen3–8B. Авторы сравнили метод с вариантами RAG, Mem0, MemoRAG и подачей полного контекста. На 5 из 8 бенчмарков Memorilla заняла первое место. Например, на FactKG точность достигла 84,33% против 80,43% у полного контекста, хотя документы на входе занимали в 108 раз меньше места. Но на PubMedQA результат оказался ниже: 59% против 67–69% у лучших методов. А на NarrativeQA по ROUGE и на PersonalizationV4 победила MemoRAG. Есть и ограничения: обучающие части всех 8 бенчмарков использовали при дообучении модуля, а сжатие может выбросить мелкие детали. Ещё к входным эмбеддингам нужен прямой доступ, поэтому обычный текстовый API для такого способа не подойдёт. Код проекта и инструкции для запуска уже выложили.