Reddit
Порт TurboFieldfare на Qwen 3.6 35B: запуск модели всего в 1.4 ГБ ОЗУ
Разработчик адаптировал Mac-движок TurboFieldfare для запуска модели Qwen 3.6 35B-A3B с экстремально низким потреблением памяти. Технология стриминга экспертов MoE с SSD позволяет уместить модель в 1.4 ГБ ОЗУ, обеспечивая скорость около 20 токенов в секунду на чипе M5. Это практический пример оптимизации локального инференса больших языковых моделей на ограниченном оборудовании.
score 40r/LocalLLaMA