Reddit
Запуск модели llama2.c на iPod 2006 года: 80 МГц, 64 МБ ОЗУ и отсутствие FPU
Разработчик создал плагин для Rockbox, позволяющий запускать миниатюрную модель Karpathy's llama2.c (15 млн параметров) на классическом iPod Video 5.5G. Из-за отсутствия математического сопроцессора в процессоре ARM7TDMI код был адаптирован для работы исключительно с целочисленной арифметикой, используя таблицы поиска и целочисленный корень для нормализации.
score 55r/LocalLLaMA