Reddit
Настоящий языковой трансформер запущен на стоковом Game Boy Color
Разработчик запустил языковую модель TinyStories-260K на Game Boy Color без ПК и интернета. Веса квантованы до INT8, а кэш KV вынесен в SRAM картриджа из-за нехватки оперативной памяти. Проект демонстрирует возможности оптимизации нейросетей для экстремально ограниченного железа, хотя вывод пока содержит много шума.
score 100r/LocalLLaMA