Я тестировал дообучение тернарной модели Bonsai 8b на железе

Компания PrismML представила линейку суб-2-битных LLM Bonsai с тернарными весами, которые конвертируются из существующих моделей. Автор проверил возможность кастомного дообучения такой модели, выяснив, что стандартные методы квантования не работают и требуется обучение с учетом квантования. Статья описывает технические нюансы запуска и специфические ограничения ранних версий моделей.