GitHub
sectorllm: инференс Llama2 менее чем на 1500 байт x86-ассемблера
Проект sectorllm демонстрирует выполнение инференса модели Llama2, используя менее 1500 байт кода на ассемблере x86. Это технический эксперимент, показывающий возможности экстремальной оптимизации и глубокое понимание архитектуры нейросетей на низком уровне.