Стратегии квантования Strata и Swift снижают интеллект больших моделей

Автор обсуждает компромисс между скоростью и качеством генерации при использовании специфических методов квантования Strata и Swift для моделей семейства Qwen. Тесты показывают, что эти форматы, обеспечивая высокую скорость работы, существенно уступают стандартным квантованиям (например, Q4_K_M) в способности решать сложные задачи, такие как написание кода для игр.