Назад к дайджесту
Reddit

Почему opencode так медленно обрабатывает промпт с llama-server?

Пользователь анализирует задержки при отправке запросов в локальном интерфейсе opencode при работе с llama-server, несмотря на хорошую скорость генерации токенов. Проблема, вероятно, связана с обработкой системного промпта или настройками клиента, а не с производительностью инференса модели.

score 23r/LocalLLaMA