Reddit
Запуск 90M языковой модели на Sony PSP (железо 2004 года): локальнее некуда
Энтузиаст запустил 90-миллионную диалоговую LLM на портативной консоли Sony PSP 2004 года. Модель работает со скоростью 0.5-0.6 токенов в секунду, что даёт ответ за 1-3 минуты, но остаётся пригодной для генерации стихов, коротких историй и простых ответов. Проект опубликован на GitHub и демонстрирует теоретический предел возможностей старого железа для запуска нейросетей.
score 40r/LocalLLaMA