Я обучил с нуля рекурсивную модель BitNet-v2 на 102M параметров: контекст 64K и менее 5B токенов

Автор представил экспериментальную модель Recursive BitNet N-Gram объемом 102 миллиона параметров, обученную с нуля на 4,7 миллиарда токенов. Архитектура объединяет тернарные веса, общие трансформерные слои и хэшированные n-граммные эмбеддинги, обеспечивая поддержку контекста до 64 тысяч токенов при минимальном бюджете.