Как на самом деле ощущается скорость генерации в токенах в секунду

Автор разработал веб-инструмент для субъективной оценки скорости генерации локальных LLM, так как сухие цифры токенов в секунду не передают реального опыта работы. Скрипт позволяет на практике оценить производительность моделей, поддерживая генерацию текста, кода и рассуждений.