🌟 Liquid AI выложила речевой кодек своих аудиомоделей LFM3 LiquidCodec - компактный потоковый аудиокодек на 74 млн параметров, который переводит речь в дискретные токены для языковой модели и собирает звук обратно из токенов, предсказанных моделью. На нём построены вышедшие в конце октября LFM3-Audio-2B и LFM3-Omni-2B, а главный упор сделан на скорость для работы на устройстве - на одном потоке процессора MacBook Pro с M4 Max кодирование идёт в 361 раз быстрее реального времени, декодирование в 87 раз. 🟡Архитектура LiquidCodec выдаёт 12,5 кадра в секунду при частоте звука 24 кГц, кодер у него полностью причинный, т. е смотрит только в прошлое и подходит для потоковой работы. Вместо остаточного векторного квантования, как в кодеке Mimi, на котором работала прошлая LFM2-Audio, здесь групповое конечное скалярное квантование и двенадцать кодовых книг языковая модель может предсказывать параллельно. Декодер сразу выдаёт спектральные коэффициенты, без затратного обучаемого повышения частоты дискретизации. 🟡Тесты Декодирование у LiquidCodec заметно быстрее, чем у соперников - на секунду звука уходит 0,0115 секунды против 0,0329 у Mimi, 0,0379 у X-Codec 2 и 0,2543 у NanoCodec. Качество восстановленной речи по метрике ViSQOL на LibriSpeech составило 4,319 против 4,219 у NanoCodec, 4,119 у X-Codec 2 и 4,031 у Mimi. По ViSQOL и расстоянию между мел-спектрограммами кодек лучший на всех восьми наборах на английском, китайском, немецком, французском, японском и корейском. Модели синтеза речи, обученные на токенах LiquidCodec, получили лучшую естественность звучания на всех восьми наборах и лучшую разборчивость на четырёх. Декодер с четырёхбитным квантованием весит в 3,5 раза меньше и почти не теряет в качестве - ViSQOL 4,292. 📌Лицензирование: LFM Open v1.0 🟡Блогпост 🟡Веса @ai_machinelearning_big_data #AI #ML #Audio #LiquidCodec #LiquidAI
- 31
- 25
- 11
- 4
- 4
- 3
- 3