Laguna-S-2.1 работает на моём 6-летнем игровом ПК!

Пользователь успешно запустил модель Laguna-S-2.1 на ПК с RTX 3080 10GB и Ryzen 9 3950X. Модель использует квантование IQ4_XS с контекстом 128k, потребляет 8.3 GB VRAM и 52.2 GB RAM, выдавая 10 токенов/сек на декодирование. Планируется переход на kvarn для снижения нагрузки на видеопамять.