✔️ AMD предлагает использовать NVMe в паре с DRAM на ИИ-серверах AMD обещает до 99% производительности сервера при вдвое меньшей оперативной памяти, если к серверу на Epyc докупить лицензию Mext. Механика технологии состоит в том, что специальная модель ИИ перекладывает страницы памяти между DRAM и более дешёвой флеш-памятью NVMe, раньше, чем их запросят система или приложения. AMD купила Mext в июне, а бывший гендиректор стартапа Гэри Смердон теперь отвечает в AMD за развитие бизнеса. По его словам, в больших системах на память приходится 60-90% стоимости, и замена модулей памяти на флеш способна удешевить корпоративный сервер до 83%. На 145 работающих системах клиенты, по оценке Смердона, сэкономили на DRAM 5 млн долларов. Идея опирается на работу о многоуровневой памяти TPP, где показано, что в любом двухминутном окне простаивает 55-80% выделенной приложению памяти. Флеш примерно в 50 раз дешевле за бит и в 30 раз экономнее по питанию, зато медленнее в несколько сотен раз. Поэтому страница должна вернуться в DRAM заранее и угадывать нужную страницу Mext поручает модели на базе трансформера, только вместо следующего токена она предсказывает следующую страницу памяти. Заранее её не обучают, она учится прямо на месте на одном ядре Epyc, без видеокарты. Правда, при виртуализации каждой виртуальной машине понадобится своё ядро, так что накладные расходы растут вместе с их числом. По замерам самой AMD, в Synopsys PrimeTime с вынесенной половиной памяти сохраняется 95% производительности, а с четвертью DRAM - 80%, в Apache Spark при замене половины DRAM - 99%. Mext будет работать только на железе AMD и продаваться через производителей серверов, которые сначала сертифицируют системы пометкой Mext ready. Сроков поставок технологии AMD не называет, как и стоимость, но до покупки техгигантом стартапа он продавал её по подписке в 4 доллара за гигабайт в год. @ai_machinelearning_big_data #news #ai #ml
- 114
- 46
- 22
- 15
- 9
- 9
- 7
- 1
- 1