Назад к дайджесту
Reddit

Strata: настройка параметров сэмплирования

В конфигурационном файле Strata можно задать параметры сэмплирования, такие как температура, top_p и top_k, через блок 'sampling'. Эти значения используются по умолчанию для запросов, в которых не указаны собственные параметры, при этом приоритет всегда имеют настройки самого запроса.

score 40r/LocalLLaMA