Локальный запуск Bonsai 27b в 1-битном квантовании

Пользователь тестирует 1-битную квантованную версию модели Bonsai 27b от PrismML на Macbook Air с 16 ГБ памяти. Он использует её для чата, обучения программированию и анализа текстов, отмечая сохранение 90% интеллекта при малом весе. Автор считает, что такой подход — будущее локального инференса на устройствах среднего и низкого уровня.