Кто-нибудь работает над ускорением этапа префилла? (Qwen 27b, Flash)

Автор обсуждает стагнацию скорости этапа префилла (prefill) в языковых моделях на фоне значительных улучшений скорости декодирования. Он делится опытом попыток оптимизации через аппроксимацию KV-cache, что дало двукратный прирост скорости, но привело к критическому падению точности ответов.