Reddit
Самописный HTML-LLM весом 24 КБ, генерирующий связные истории
Разработчик создал полностью автономную языковую модель, упакованную в HTML-файл размером всего 24 КБ, способную генерировать последовательные тексты прямо в браузере. Для достижения такой компактности использовались адаптивная квантование, QAT и оптимизация структуры скриптов на базе модели MacroStory. Проект демонстрирует технические возможности экстремального сжатия нейросетей для локального выполнения на мобильных устройствах.
score 40r/LocalLLaMA