Reddit
Gemma.c: Инференс моделей Gemma 1/2/3 (включая мультимодальные) в одном C-файле на CPU
Разработчик представил проект Gemma.c — легковесный движок инференса для семейств моделей Gemma, реализованный в одном файле на C без внешних зависимостей. Проект поддерживает работу с текстом и изображениями, использует квантование INT8 для ускорения и работает исключительно на процессоре, предлагая альтернативу тяжеловесным фреймворкам вроде llama.cpp.
score 40r/LocalLLaMA