Назад к дайджесту
GitHub

Engram-PEFT: неофициальная реализация архитектуры DeepSeek

Репозиторий содержит реализацию метода Engram, который внедряет ёмкую условную память в LLM через параметрически эффективное дообучение (PEFT). Решение использует разреженный поиск для обновления памяти без увеличения вычислительных затрат при инференсе.

379 forksPythonscore 65.7
sparse-retrievalengrampytorchdeepseekpeftfine-tuningllm