Reddit
Полностью автономный робот-чемодан на Jetson Orin NX с Gemma 4 E4B без интернета
Инженер реализовал полностью автономного робота на базе Jetson Orin NX, работающего без сети с использованием модели Gemma 4 E4B через llama.cpp. Ключевым достижением стала оптимизация структуры промптов для снижения задержки TTFT до ~200 мс при интеграции 30+ сенсоров и мультимодальных задач. Автор делится опытом развертывания LLM на edge-железе и ищет сравнения производительности с другими энтузиастами.
score 100r/LocalLLaMA