Визуализация выбора токенов языковой моделью: softmax, жадный поиск и выборка на примере Qwen2.5-0.5B

Автор создал 7-минутное видео, детально разбирающее процесс выбора следующего токена в модели Qwen2.5-0.5B на реальном примере. В материале сравниваются алгоритмы softmax, жадного поиска и выборки, а также объясняется влияние температуры, top-k и top-p на вероятность генерации конкретных слов.