Flyweight: open-source движок на C++/CUDA для запуска MoE-моделей, которые больше VRAM, на одной GPU + системной RAM. Первый релиз на PyPI, ищем контрибьюторов.

Представлен нативный GGUF-инференс-рантайм с OpenAI/Anthropic-совместимыми API и чат-интерфейсом, позволяющий запускать MoE-модели, не помещающиеся в VRAM, на одной потребительской NVIDIA-карте с большим объёмом системной памяти. Движок автоматически определяет, что помещается на GPU, и использует CPU для экспертов или разделяет их с горячим набором на карте. Поддерживает Qwen 3.x, DeepSeek-V4-Flash и другие модели, а также генерацию изображений. Первый релиз на PyPI, проект ищет контрибьюторов.