Запуск 27-миллиардной языковой модели на обычном ноутбуке благодаря тернарным весам

Разработчики представили модель класса 27B с тернарными весами (1.72 бита на вес), которая занимает всего 5.9 ГБ и работает в llama.cpp без расширения до FP16. Модель сохраняет 98.2% интеллектуальных способностей оригинала, демонстрируя высокую точность в рассуждениях и коде даже на слабом оборудовании.