Назад к дайджесту
Reddit

Запуск 90M языковой модели на Sony PSP (железо 2004 года): локальнее некуда

Энтузиаст запустил 90-миллионную диалоговую LLM на портативной консоли Sony PSP 2004 года. Модель работает со скоростью 0.5-0.6 токенов в секунду, что даёт ответ за 1-3 минуты, но остаётся пригодной для генерации стихов, коротких историй и простых ответов. Проект опубликован на GitHub и демонстрирует теоретический предел возможностей старого железа для запуска нейросетей.

score 40r/LocalLLaMA