Reddit
Оптимизация графов для Gemma: огромный прирост скорости обработки длинных промптов в llama.cpp
В репозиторий llama.cpp внесены изменения, оптимизирующие вычислительные графы для моделей Gemma с квантованием E2B и E4B. Это решение обеспечивает значительное ускорение этапа обработки больших входных контекстов (prompt processing).
score 55r/LocalLLaMA