Мульти-нод инференс LLM без дорогих сетей: 30 ток/с на трёх RTX 4060 через USB-ethernet

Автор демонстрирует запуск 39.7-гигабайтной квантованной модели Laguna Q2_K_XL на трёх видеокартах RTX 4060 через обычное Ethernet-соединение с USB-адаптером за $20. Бенчмарки показывают скорость генерации около 30 токенов в секунду, доказывая, что для распределённого инференса на потребительском железе не обязательно использовать дорогую сеть.