Назад к дайджесту
Reddit

Веб-интерфейс llama.cpp: что работает, а что требует доработки

Автор сравнивает веб-интерфейс llama.cpp с аналогами (Jan.ai, Open WebUI), выделяя ключевое преимущество — точный подсчёт токенов в реальном времени. Обсуждаются критические недостатки: падение чата при ошибке вызова инструментов MCP, отсутствие папок/проектов и проблемы с контролем доступа к инструментам. Приведён пример фильтрации вызовов файловых инструментов для экономии контекста.

score 23r/LocalLLaMA