Taco: кроссплатформенное сжатие LLM, устойчивое к смене GPU или CPU

Представлен инструмент Taco для сжатия больших языковых моделей, решающий проблему расхождения вероятностей при декодировании на разном оборудовании. Метод использует целочисленные веса (int8), фиксированное округление и конформные векторы для обеспечения точного соответствия результатов на Mac, Linux и Windows с различными бэкендами.