GitHub
Engram-PEFT: неофициальная реализация архитектуры DeepSeek
Репозиторий содержит реализацию метода Engram, который внедряет ёмкую условную память в LLM через параметрически эффективное дообучение (PEFT). Решение использует разреженный поиск для обновления памяти без увеличения вычислительных затрат при инференсе.
379 forksPythonscore 65.7
sparse-retrievalengrampytorchdeepseekpeftfine-tuningllm