Reddit
Оптимизация вычислений AVX2 в llama.cpp: объединение тайловых аккумуляторов
Разработчик trivalik предложил изменения в код llama.cpp, направленные на оптимизацию работы с инструкциями AVX2 на процессорах. Метод предполагает объединение тайловых аккумуляторов для повышения эффективности вычислений на CPU, что особенно актуально для пользователей без мощных GPU.
score 55r/LocalLLaMA