Reddit
LLM внутри LLM: запуск stories260k на NPU, скомпилированном в весах Qwen 3.5-4B
Разработчик divagr18 создал QwenPU — нейронный процессор (NPU), реализующий операции matmul, softmax и attention, который встроен непосредственно в веса модели Qwen 3.5-4B. На этом встроенном NPU успешно запущена модель stories260k (C-программа), при этом все веса находятся в памяти самой модели без использования внешних инструментов.
score 40r/LocalLLaMA