✔️ Loom: превращение записей носимой камеры в долговременную память Looki, китайский производитель носимой камеры Looki L1, представил Loom, систему мультимодальных моделей, которые превращают снятое камерой и микрофонами за день в память с привязкой ко времени и исходным записям. Loom состоит из двух моделей, Sense и Moment, и системы памяти Memory. Sense определяет, что происходит сейчас: модель получает фрагмент видео и звука, вопрос о событии и варианты ответа и оценивает их без генерации текстового описания. Moment сводит изображение и звук на общую шкалу времени и одновременно размечает границы событий и описывает их. Каждое событие получает время начала и конца, описание и подтверждения с пометкой, что увидено, что услышано, а что выведено из контекста. Memory собирает события в сводки за день, неделю и месяц и в общий снимок представлений о пользователе, а отвечая на вопрос, спускается от месячных сводок к конкретным событиям и при необходимости к исходным кадрам. 🟡Тесты Sense на внутреннем наборе из почти 20 типов событий набирает F1 88,6 при среднем времени распознавания 0,51 секунды. Moment определяет границы событий точнее Qwen Omni и Gemini Flash. Memory на собственном бенчмарке, собранном из реальных записей пользователей с их согласия, набирает 79 баллов. Это на 18 больше, чем у системы памяти для агентов mem0, и на 15 больше, чем у A-Mem. Дальше Looki хочет свести эту систему в одну мультимодальную модель, которая сама будет решать, когда предложить помощь. Попробовать Loom можно в веб-демо, API и планов по публикации системы в открытом доступе у компании нет. @ai_machinelearning_big_data #news #ai #ml
- 79
- 38
- 19
- 14
- 6
- 4
- 1