⚡️️️️️️️ В весах DeepSeek нашли отпечаток NVIDIA Blackwell. 445 строк совпали бит в бит Бывший исследователь OpenAI Уилл Депью проанализировал публичные веса шести моделей DeepSeek, Moonshot AI, MiniMax и Ant Group. Во всех шести он обнаружил следы инициализации на GPU поколения Blackwell, поставки которых в Китай ограничены США. У более ранних моделей тех же компаний анализ указал на Hopper. Как GPU оставляет след? При инициализации PyTorch распределяет псевдослучайные числа по тензору, и раскладка зависит от конфигурации GPU. В опубликованных весах DeepSeek-V4-Flash сохранились строки с исходными значениями. На реальной NVIDIA B300 Депью воспроизвёл 445 из 469 отобранных строк бит в бит. На H100 точных совпадений для этих строк не было. Результат касается этапа инициализации. Какие GPU использовались на остальных этапах обучения, где они находились и кому принадлежали, по этому анализу установить нельзя. https://unemploymentlabs.com/checkpoint-forensics @ai_machinelearning_big_data #NVIDIA #DeepSeek
- 112
- 54
- 19
- 14
- 13
- 10
- 8
- 3
- 1
- 1