Ещё один пост-благодарность: попробуйте ExllamaV3/exl3 для Flash Next

Пользователь поделился опытом использования exl3 3bpw и exllamav3 для запуска модели Flash Next. На трёх 3090 с 128 ГБ DDR4 достигнуто 1500 prefill и 80 tps decode, на одной 5090 — 1500 prefill и 29 tps decode, при контексте 262k и с vision/spec decoding. Автор впечатлён и планирует заменить vllm/llama.cpp для этой модели.