Движок вывода для Gemma-2B на чистом x86-64 ассемблере весом 5 КБ

Разработчик представил проект PULSAR-ASM — минималистичный движок для запуска языковой модели Gemma-2B, написанный исключительно на чистом x86-64 ассемблере без использования C/C++ рантаймов или фреймворков. Проект демонстрирует возможность выполнения инференса на старом процессоре i5 со скоростью около 4.6 токенов в секунду, используя оптимизации AVX2 и F16C, что служит референсом для развертывания микро-LLM на ресурсоограниченных устройствах.