Новость
Запуск Bonsai-27B на рекурсивном форке llama.cpp: полный гайд и бенчмарк на RTX 3050
Автор демонстрирует запуск 27-миллиардной языковой модели Bonsai на потребительской видеокарте через модифицированную версию llama.cpp. Рекурсивный форк улучшает качество инференса — модель решает задачи, где базовая версия заходит в тупик. Приведены практические команды для воспроизведения и замеры производительности.