Назад к дайджесту
Reddit

Голосовые диалоги между Gemma4 12B и E2B на GPU и Jetson Orin

Проект демонстрирует голосовое взаимодействие между моделями Gemma 4 12B (на RTX PRO 4500 Blackwell) и Gemma 4 E2B (на Jetson Orin NX 16GB) с использованием речевого конвейера на базе reSpeaker Flex и динамика 3W. Инференс выполняется движком Cortexist Little Gemma на C для CUDA, который на Jetson Orin работает быстрее llama.cpp и не деградирует при длинных голосовых запросах. Поддерживаются синхронизация губ, мимика и жесты, весь код открыт.

score 40r/LocalLLaMA