SubQ — прорыв в LLM: первая модель на базе субквадратичной архитектуры редкого внимания (SSA)

Представлена модель SubQ, заявленная как первая архитектура LLM с полностью субквадратичным редким вниманием (SSA). Технология обещает снизить вычислительную сложность и ускорить работу больших языковых моделей по сравнению с традиционными трансформерами. Это может стать значимым шагом в оптимизации ресурсов при обучении и инференсе.