Обновление по проекту «Монстр»: кластер из 6 плат BC-250

Автор делится конфигурацией домашнего сервера для локального запуска LLM, собранного на базе 6 бывших майнинговых плат BC-250 в корпусе ASRock. В системе одновременно работают модели Qwen Next Flash и 3.6 35b с использованием llama.cpp, Vulkan и RPC через 1Gb Ethernet, демонстрируя производительность до 100 токенов в секунду.