Редактирование весов модели Qwen 0.6B с использованием Strata IQ4 и методов MIT CSAIL

Автор экспериментирует с редактированием весов малой языковой модели Qwen 0.6B, используя подход, вдохновленный исследованиями MIT CSAIL, и инструмент Strata IQ4 Qwen Flash. Тестирование проводилось на CPU с целью проверки способности модели к обучению на длинных контекстах и изменению поведения без традиционного градиентного спуска.