Reddit
LFM3-1.7B: впечатляющие результаты сжатия и суммаризации текста
Пользователь тестирует модель Liquid LFM3-1.7B (квантованная версия Q8_0) для задач сжатия и суммаризации. На интегрированной графике Strix Halo модель демонстрирует скорость префилла 4.1k токенов/с и декодирования ~78 токенов/с, а при использовании связки GPU 7900 XTX + XT обеспечивает высокую связность текста на длинных контекстах до 64k токенов.
score 40r/LocalLLaMA