Скептицизм вокруг заявления о скорости генерации в 400 токенов в секунду

Автор обсуждает технические детали своего движка sFNX, основанного на архитектуре Strata/Llama, который демонстрирует скорость до 404 токенов в секунду на старых GPU NVIDIA V100. Он объясняет, что такие показатели достигаются на специфических промптах (например, редактирование кода), так как эффективность модели зависит от типа входных данных, а не является универсальным пиковым значением.