🌟 Anthropic выложила систему криптографической верификации инференса моделей Команда Frontier Red Team опубликовала открытый прототип FlashProve, доказуемого вывода на zkSNARK. Claude участвовал в разработке - он подобрал способы применить свежие методы из криптографической литературы и написал спецификацию протокола. Эту технику знают по криптовалютам, где она подтверждает правильность транзакции, не раскрывая её содержимого. Здесь её используют когда пользователь платит по API за конкретную модель и не может быть полностью уверен, что отвечала именно она. Например, маршрутизатор способен подставить модель подешевле, а злоумышленник - вмешаться в поток токенов. 🟡 Механика Поставщик один раз публикует отпечаток весов, который фиксирует их набор, не раскрывая сами веса, и дальше на запросы выдаёт файл с доказательством, что эти самые веса дали такие токены. Проверяющему нужны отпечаток, запрос и ответ, веса не нужны, заново запускать модель тоже не надо. 🟡 Тесты Опыт проводили на открытых четырёхбитных весах Llama 4 Maverick объёмом 232 ГБ. Подготовительная фаза на одном H100 и 24 ядрах CPU заняла около 39 минут, выпущенного отпечатка хватает примерно на 16 млн запросов. Дальше та же H100 выдаёт доказательства со скоростью около 110 токенов в секунду, одно весит примерно 19 МБ на запрос с окном в 1024 токена. Проверка обходится без GPU - 17 секунд на 24 потоках процессора, 21 секунда на одном, плюс скачать отпечаток на 6,5 МБ. Профит по сравнению с существующими открытыми системами получился заметный - VerInf на той же модели выдавал около 0,02 токена в секунду при доказательстве на 93,6 ГБ. 🟡Нюансы На пакете из 24 запросов доказательства съедают примерно в 72 раза больше времени GPU, чем обычный вывод той же модели на vLLM, а на самой высокой из проверенных нагрузок - до 94 раз. Одно доказательство подтверждает один выходной токен, окно контекста ограничено 1024 токенами, и до полных контекстов топовых моделей технологию ещё предстоит попилить. Гарантия относится к целочисленной версии и к режиму greedy decoding, когда модель каждый раз берёт самый вероятный следующий токен, так что ответы с плавающей точкой или с семплированием могут расходиться. Сами веса доказательство скрывает, а устройство модели нет - проверяющему видно, что перед ним смесь экспертов, и как она устроена. Кроме кода, в репозитории FlashProve выложено всё, чтобы разобраться в концепте: вводные руководства с разбором устройства системы, инструкция по самостоятельной проверке доказательства, отдельные тексты о том, что именно доказывается и как прячутся веса, спецификация протокола и формата, словарь терминов, замеры и списки известных ограничений и ошибок. В примерах лежат принятое доказательство, доказательство полного размера и отклонённые, с разбором причин. 📌Лицензирование: Apache 2.0 🟡Статья 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #FlashProve #Anthropic
- 34
- 30
- 15
- 8
- 5
- 4
- 1
- 1