🌟 Яндекс выложил в опенсорс технологию, которую уже используют Маркет, Реклама и антифрод YTsaurus Flow рассчитан на непрерывные потоки данных большого объёма: события в интернете обрабатываются в реальном времени, без ожидания, пока данные накопятся в партии. За счёт этого алгоритмы быстрее замечают смену интересов пользователей и точнее подбирают рекламу, товары, книги и фильмы. Flow работает в режиме exactly-once: каждое событие учитывается однократно, без потерь и дублей. Сбои не останавливают работу: нагрузка перераспределяется между доступными серверами. Технология встроена в YTsaurus, открытую платформу Яндекса для работы с большими данными, ориентированную на крупный бизнес. Благодаря Flow компании смогут работать с данными не только партиями, но и по мере поступления, а накопленная и свежая информация будет учитываться в одной системе. 🟡В продакшене В Яндекс Рекламе нагрузка на Flow — свыше 100 ГБ данных и миллионы событий ежесекундно. Там же технология сократила время подготовки данных для дообучения части рекламных моделей: раньше процесс занимал более 10 часов, теперь задержка почти полностью устранена. Маркет применяет Flow для оперативной статистики и реакции на изменения спроса, антифрод-системы — для обнаружения действий злоумышленников. 🟡Где ещё применять Обучающие выборки для ML, актуальные данные для сайтов и приложений, счётчики просмотров, кликов и заказов — самые разные проекты, где важна актуальность данных. 📌 Лицензирование: Apache 2.0 🟡Статья 🟡GitHub @ai_machinelearning_big_data #news #ai #ml
- 49
- 29
- 22
- 17
- 11
- 10
- 8
- 6
- 5