Попытка написать свой движок инференса: от шутки до боли

Разработчик делится опытом создания собственного движка для инференса LLM, который запускает модели GGUF через WebGL2 в браузере. Автор предупреждает, что самостоятельная реализация обходит проблемы с токенизацией и отладкой, и настоятельно рекомендует использовать готовые решения вроде llama.cpp.