Создание русскоязычной LLM на 112 млн параметров с нуля: претрейн, SFT и Telegram-бот

Автор реализовал с нуля компактную decoder-only модель для русского языка, включая архитектуру, токенизатор и пайплайн подготовки данных. Проект включает этапы претрейна и SFT, оптимизацию генерации через KV-cache, а также готовый чат-бот в Telegram и бенчмарк.