Архитектура важнее размера: эксперименты с удвоением слоев и обучением моделей Gemma и Qwen

Автор делится опытом кастомизации архитектуры нейросетей через дублирование слоев (RYS layer duplication) и оптимизацию геометрии моделей, а не только весов. В работе сравниваются модели Gemma и Qwen, а также тестируется Liquid AI LFM3, показавшая высокую эффективность обучения на одном GPU благодаря компактной архитектуре.