Reddit
Нашел модель, которую мое железо тянет на полной точности: это я
Автор создал онлайн-счетчик скорости набора текста руками, измеряющий производительность в токенах в секунду (t/s). Его результат около 2 t/s считается медленнее, чем запуск 8B-модели на RTX 4090, но быстрее, чем 70B-модель на CPU ноутбука. Проект представляет собой шуточное сравнение человеческой когнитивной скорости с вычислительной мощностью нейросетей.
score 40r/LocalLLaMA