Купил RTX 5090, чтобы избежать платы за API. В итоге построил мини-датацентр. Знакомо?

Пользователь делится опытом локального запуска LLM: от покупки RTX 5090 для 27B моделей до попыток масштабирования на RTX 6000 Pro. В итоге выяснилось, что для большинства задач одной карты достаточно, а лишние мощности можно отдавать коллегам. Обсуждение актуальных моделей для ежедневного использования.