Эксперимент: запуск Bonsai 27B (2-бит и 1-бит) на Terminal-Bench 2.0 с ограничением в 8 ГБ VRAM

Автор протестировал модели Bonsai 27B в экстремальном квантовании (2-бит и 1-бит) на бенчмарке Terminal-Bench 2.0, используя видеокарту с 8 ГБ VRAM. 2-битная версия показала результат 7.9%, уступив более мелкой модели Qwen 3.5-9B, а 1-битная модель оказалась непригодной для агентных задач из-за проблем с остановкой генерации. Вывод: агрессивное сжатие моделей приводит к потере точности, которую не оправдывает экономия видеопамяти.