Назад к дайджесту
Reddit

Нашел модель, которую мое железо тянет на полной точности: это я

Автор создал онлайн-счетчик скорости набора текста руками, измеряющий производительность в токенах в секунду (t/s). Его результат около 2 t/s считается медленнее, чем запуск 8B-модели на RTX 4090, но быстрее, чем 70B-модель на CPU ноутбука. Проект представляет собой шуточное сравнение человеческой когнитивной скорости с вычислительной мощностью нейросетей.

score 40r/LocalLLaMA