Яндекс открыл исходный код технологии обработки данных в реальном времени

Яндекс@yandexТехнологии и IT6 октября 2026, 11:50

❤️ Интересы людей меняются, а вместе с ними — и рекомендации сервисов. Быстро подстраиваться под потребности пользователей им помогает YTsaurus Flow. Выкладываем технологию в опенсорс и рассказываем о ней в посте. 🔴 Что это такое? YTsaurus Flow непрерывно обрабатывает большие потоки данных в интернет-сервисах. Например, считает, сколько просмотров на видео или кликов по ссылке. На этих данных дообучаются рекомендательные и рекламные системы. 🔴 Зачем нужна технология? Потребности пользователей меняются за минуты: сначала они ищут товары для ремонта, а затем — для путешествия. Прежде чем данные станут частью рекомендаций, их нужно собрать и подготовить — это занимает много времени. 🔴 Зачем обрабатывать данные непрерывно? Например, вы заказываете еду из фудкорта или ресторана. Сервис мог бы дать скидку на доставку, если ваш заказ будет курьеру по пути. Эта ситуация актуальна только сейчас. Если вы сделаете аналогичный заказ завтра или даже через несколько часов, обстоятельства будут уже другими. 🔴 Как YTsaurus Flow используют в Яндексе? Например, в одном из процессов Яндекс Рекламы технология анализирует миллионы сообщений о действиях пользователей в секунду. До внедрения техническая задержка при подготовке данных могла составлять более десяти часов. С помощью YTsaurus Flow удалось сократить это время практически полностью. ↘️ YTsaurus Flow разработали инженеры Yandex Infrastructure и Яндекс Рекламы. Подробнее о технологии читайте на «Хабре». Она входит в экосистему YTsaurus — открытой платформы Яндекса для хранения и обработки больших объёмов данных. Подписывайтесь 〰️ @yandex

  • 42
  • 21
  • 2
  • 1

Похожие посты

Эксплойт@exploitexТехнологии и IT6 октября 2026
Яндекс открыл исходный код технологии обработки данных в реальном времени
  • Фото поста канала Эксплойт

Обработка более 100 ГБ/с в реальном ВРЕМЕНИ — Яндекс поделился собственной технологией непрерывной работы с данными, которая помогает быстрее учитывать смену интересов пользователей. Flow анализирует информацию прямо по мере её поступления, без необходимости что-либо накапливать. Клики, лайки, заказы и другие события проходят через систему практически мгновенно, благодаря чему свежая информация быстрее попадает в статистику, рекомендации и ML-модели. В Яндекс Рекламе Flow уже пропускает через с...

  • 159
  • 62
  • 46
  • 25
  • 12
  • 7
ZERGULIO@sergeykolyasnikovАрмия и СВОвчера
Яндекс открыл исходный код технологии обработки данных в реальном времени
  • Фото поста канала ZERGULIO

Свои технологии особенно нужны там, где от программ зависит работа производства. У «Транснефти» есть «ЭВОСКАДА» для управления технологическими процессами. Она уже работает на производстве и обрабатывает 1,2 млн изменений в секунду. Причём использовать её могут и другие промышленные компании: строить свои решения, подключать собственных разработчиков и сторонних интеграторов. Об этом подробно рассказал ИнфоТэк заместитель вице-президента «Транснефти» Иван Шальков. Хороший пример того, как собс...

  • 712
  • 67
  • 59
  • 36
  • 8
  • 6
IF News@if_market_newsПолитика и власть6 октября 2026
Яндекс открыл исходный код технологии обработки данных в реальном времени

✍ Яндекс выложил в открытый доступ собственную технологию обработки данных в реальном времени, — ТАСС YTsaurus Flow позволяет практически полностью убрать задержку между действием пользователя и реакцией системы. Теперь клики, лайки и другие события обрабатываются в реальном времени: алгоритмы быстрее замечают, как изменились интересы человека, чтобы точнее подбирать рекламу, рекомендовать товары, книги или фильмы. Эффективность обработки данных улучшает экономику ИИ: за счёт исключения лишних...

  • 56
  • 28
  • 12
  • 11
  • 6
  • 3
Код Дурова@d_codeТехнологии и IT6 октября 2026
Яндекс открыл исходный код технологии обработки данных в реальном времени

🐈 Яндекс открыл ещё один кусок своей инфраструктуры Компания выложила в опенсорс YTsaurus Flow — движок, который обрабатывает клики, показы и заказы по мере поступления, а не копит их пакетами. Код доступен под лицензией Apache 2.0, его можно использовать и в коммерческих проектах. Как устроен движок и где он уже работает: ↖️ https://kod.ru/yandex-ytsaurus-flow-open-source

  • 62
  • 16
  • 4
Срочно, Сейчас@srochnowАрмия и СВО6 октября 2026
Яндекс открыл исходный код технологии обработки данных в реальном времени
  • Фото поста канала  Срочно, Сейчас

💻 Яндекс открыл исходный код технологии для обработки данных в реальном времени. Она разработана с нуля в контуре компании YTsaurus Flow позволяет практически сразу обрабатывать клики, покупки, лайки и другие события не дожидаясь, пока накопится большой объем данных. Это помогает быстрее замечать изменения интересов пользователей и обновлять рекомендации. Технология уже работает под высокой нагрузкой в сервисах Яндекса: в Рекламе через нее каждую секунду проходит более 100 ГБ данных и миллионы...

  • 127
  • 19
  • 10
  • 8
  • 4
  • 3
TechGPT [🅽 🅴 🆆 🆂] 🤖@TechGPTNewsТехнологии и IT6 октября 2026
Яндекс открыл исходный код технологии обработки данных в реальном времени
  • Фото поста канала TechGPT [🅽 🅴 🆆 🆂] 🤖

🔍 Обработка свыше 100 ГБ/с в реальном времени Яндекс представил собственную технологию для непрерывной обработки данных, ускоряющую учёт изменений интересов пользователей. Flow обрабатывает информацию сразу по её поступлению, минуя этап накопления. Клики, лайки, заказы и другие действия мгновенно проходят систему, что позволяет быстрее обновлять статистику, рекомендации и ML-модели. Flow в Яндекс Рекламе уже способен обрабатывать свыше 100 ГБ данных в секунду и миллионы событий. Узнать о раз...

  • 154
  • 52
  • 32
  • 20
Труба под Неглинной@trubapodneglinnoyФинансы и криптовалюты6 октября 2026
Яндекс открыл исходный код технологии обработки данных в реальном времени

Яндекс открыл доступ к собственной технологии, которая помогает быстрее замечать изменения в поведении пользователей Пользователь утром ищет билеты в Сочи, днём смотрит новые фильмы, а вечером выбирает товары для дома — для алгоритмов это несколько разных событий, по которым нужно быстро понять, что интересы человека изменились. Но если данные обрабатываются с задержкой в несколько часов, система продолжает ориентироваться на устаревшую информацию. YTsaurus Flow позволяет сервисам работать с д...

Machinelearning@ai_machinelearning_big_dataТехнологии и IT6 октября 2026
Яндекс открыл исходный код технологии обработки данных в реальном времени
  • Фото поста канала Machinelearning

🌟 Яндекс выложил в опенсорс технологию, которую уже используют Маркет, Реклама и антифрод YTsaurus Flow рассчитан на непрерывные потоки данных большого объёма: события в интернете обрабатываются в реальном времени, без ожидания, пока данные накопятся в партии. За счёт этого алгоритмы быстрее замечают смену интересов пользователей и точнее подбирают рекламу, товары, книги и фильмы. Flow работает в режиме exactly-once: каждое событие учитывается однократно, без потерь и дублей. Сбои не останав...

  • 49
  • 29
  • 22
  • 17
  • 11
  • 10
Пул N3@dimsmirnov175Новости и СМИ6 октября 2026
Яндекс открыл исходный код технологии обработки данных в реальном времени

Яндекс открыл исходный код YTsaurus Flow - технологии, которая помогает обрабатывать данные сразу по мере их поступления. Она разработана в компании с нуля и может заменить зарубежные аналоги: это позволит российскому бизнесу развивать работу с данными независимо от западных поставщиков. YTsaurus Flow уже используют в сервисах Яндекса. Например, в Рекламе технология помогает быстрее готовить данные для дообучения моделей: раньше этот процесс мог занимать больше 10 часов, теперь задержка практич...

  • 47
  • 12
  • 10
  • 4
  • 4
  • 3
Нейродвиж@neuraldvigТехнологии и IT6 октября 2026
Яндекс открыл исходный код технологии обработки данных в реальном времени
  • Фото поста канала Нейродвиж

Рекомендации успевают за сменой интересов пользователей — Яндекс выложил в опенсорс YTsaurus Flow, технологию для непрерывной обработки больших потоков данных 😮 Человек уже выбирает товары для дома, а алгоритм ещё несколько часов уверен, что ему нужны билеты на самолёт. Flow сокращает этот разрыв: учитывает клики, лайки и заказы в момент появления, ничего не теряя и не дублируя. Особенно это заметно в ML: в Рекламе Яндекса подготовка данных для дообучения некоторых моделей раньше занимала бол...

  • 49
  • 11
  • 8
  • 5
  • 1