Назад к дайджесту
Reddit

Оптимизация графов для Gemma: огромный прирост скорости обработки длинных промптов в llama.cpp

В репозиторий llama.cpp внесены изменения, оптимизирующие вычислительные графы для моделей Gemma с квантованием E2B и E4B. Это решение обеспечивает значительное ускорение этапа обработки больших входных контекстов (prompt processing).

score 55r/LocalLLaMA