«Вторые мысли»: Эксперимент с петлей обратной связи для улучшения генерации кода

Автор тестирует архитектуру с петлей обратной связи: небольшой трансформер анализирует завершение генерации и корректирует начало вывода. На модели 1.7B это дало значительный прирост качества в задачах программирования. Планируется масштабирование до 9B и полный тест на HumanEval.