С нуля предобучил LLM на 500 млн параметров и генератор изображений на 330 млн

Разработчик открыл исходный код и веса модели HobbyLM — LLM на 500 млн параметров и генератор изображений на 330 млн, обученные с нуля. В проекте использованы 40B токенов Fineweb, датасеты Midjourney/Flux/CCW3 и оркестрация обучения через Claude SDK на инфраструктуре Modal (8xH200). Доступны веса в формате GGUF и код для обучения и инференса.