Бенчмарк CPU-only инференса LLM на бюджетном SBC с Celeron N5095: 6 моделей от 0.6B до 8B

Автор протестировал запуск локальных LLM через Ollama на бюджетном SBC с процессором Celeron N5095. Модели от 0.6B до 8B показали разную производительность: 0.6B работает интерактивно (6.8 токенов/сек), а 8B упирается в пропускную способность памяти (0.9 токенов/сек). В планах сравнение с использованием iGPU через Vulkan.