Новость
MicroLLM Lab: запуск мини-LLM в формате Q4 прямо в браузере
Проект MicroLLM Lab позволяет выполнять инференс компактных языковых моделей, квантованных до 4-битного формата, непосредственно в веб-браузере пользователя. Это решение демонстрирует возможности локального запуска ИИ без необходимости использования серверной инфраструктуры или мощных GPU.