За пределами запоминания: Большие модели знают больше или просто лучше?

В теме обсуждаются две новые работы: «Densing Law of LLMs» о сокращении параметров при сохранении качества и «Incompressible Knowledge Probes» о природе знаний в моделях. Автор сомневается, действительно ли увеличение размера модели улучшает фактические знания, или достаточно внешних источников. Обсуждение касается фундаментальных вопросов архитектуры и масштабируемости нейросетей.