Назад к дайджесту
GitHub

RigSpark: инструмент для подбора локальных LLM с учетом железа

Утилита на Rust анализирует возможности локального оборудования (GPU VRAM, RAM) и определяет, какие языковые модели можно запустить на компьютере. Предоставляет вердикты по производительности (yes/slow/no) и скорости генерации токенов, а также проверяет установку через Ollama, llama.cpp, MLX и LM Studio.

200 forksRustscore 63
local-airustllmslocal-llmhardwareclituillmlm-studioquantization