Назад к дайджесту
Reddit

Отчет по квантованию LFM3-1.7B: без потерь при 3.6 ГБ VRAM, умеренная деградация при 2.2 ГБ

Модель LFM3-1.7B демонстрирует высокую эффективность: по бенчмаркам LiquidAI она превосходит MiniCPM5-2B, обеспечивая вдвое больший контекст и занимая в два раза меньше видеопамяти (3.6 ГБ против 7.1 ГБ для квази-безпотерянного квантования). При снижении объема до 2.2 ГБ наблюдается лишь незначительное снижение качества.

score 55r/LocalLLaMA