Увеличение контекста LLM за счёт объединения GPU Nvidia и AMD через RPC

Автор успешно настроил распределённый запуск языковой модели, используя тензорную параллельность на двух видеокартах Nvidia RTX 4060 и выгрузку моделей-кандидатов (drafters) на AMD Strix через RPC. Это позволило увеличить размер контекстного окна с 150k до 195k токенов без потери производительности, используя модифицированную версию llama.cpp.