🖥️ Google представила TPU 8i Max и 8tx: новые ускорители для ИИ-агентов Google расширила линейку TPU восьмого поколения до четырёх систем. TPU 8i Max рассчитан на огромные контекстные окна и сложные агентные задачи: - Два объединённых TPU 8i. - В 2 раза больше вычислительной мощности. - В 2 раза больше SRAM и пропускной способности HBM. TPU 8tx предназначен для конфиденциальных ИИ-вычислений: - Аппаратная защита данных во время обработки. - Защищённый инференс и дообучение моделей. - Работа с чувствительными данными. Другие обновления: - Agent Compute Engine переносит состояние простаивающих агентных сессий, освобождая ускорители. - TPU Sync снижает задержку передачи KV-cache более чем на 90% по данным Google. - XLA Serving Engine получил открытый C++-движок для обслуживания моделей на TPU, GPU и CPU. Ещё одна интересная деталь: Google использует Gemini для разработки собственных чипов. По заявлению компании, ИИ помогает создавать схемы расположения компонентов (chip layouts) за часы вместо недель. Для этого используются вычислительные мощности TPU и сервисы на базе Gemini. Также Google представила GKE Dynamic Slicing: запуск заданий ускоряется до 5 раз, восстановление после сбоев - до 4,5 раза. https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/ @ai_machinelearning_big_data #Google #tpu
- 71
- 15
- 15
- 10
- 8
- 5
- 1