Назад к дайджесту
Reddit

Самописный HTML-LLM весом 24 КБ, генерирующий связные истории

Разработчик создал полностью автономную языковую модель, упакованную в HTML-файл размером всего 24 КБ, способную генерировать последовательные тексты прямо в браузере. Для достижения такой компактности использовались адаптивная квантование, QAT и оптимизация структуры скриптов на базе модели MacroStory. Проект демонстрирует технические возможности экстремального сжатия нейросетей для локального выполнения на мобильных устройствах.

score 40r/LocalLLaMA