Эксперимент с RPC в llama.cpp: стоит ли оно того и нужен ли 10Gb Ethernet

Автор тестирует распределённый запуск LLM через RPC в llama.cpp на нескольких ПК с разными GPU и сетевыми интерфейсами. Результаты показывают влияние скорости сети (1Gbe vs 2.5Gbe) на производительность и отмечают, что Flash Attention в данном случае замедлил работу. Тесты включают комбинации потребительских видеокарт на Linux и WSL.