Открытый гибридный автодополнение на базе Gemma 4: скорость ~50 мс на M4 Max с контекстом из личных заметок

Разработчик создал десктопное приложение LokalBot, использующее локальную модель Gemma 4 E2B (6-bit) для автодополнения текста и диктовки на основе личных заметок и текущего экрана. Тестирование показало, что решение сопоставимо по качеству с платным аналогом CoTaby, предлагая идентичные результаты при одинаковых входных данных, но с задержкой около 50 миллисекунд на чипе Apple M4 Max.