Российские исследователи разработали алгоритм HARP, позволяющий сильно сжимать большие языковые модели, сохраняя значительную часть их возможностей. В испытаниях 2-битная версия нейросети Llama 2 с 7 миллиардами параметров генерировала 128 токенов в секунду против 61 токена у исходной 16-битной модели. Таким образом, скорость генерации текста выросла примерно в 2,1 раза без изменения архитектуры нейросети.
Алгоритм HARP для сжатия нейросетей и ускорения работы ИИ
Похожие посты
- 👍 64
- 👏 57
- 🙏 47
- 🤔 1
- 🔥 1
- ❤ 81