Reddit
Обновление #3: Постобучение модели Yandex AliceAI-80B-A3B с нуля
Автор сообщает о перезапуске процесса постобучения модели Yandex AliceAI-80B-A3B после обнаружения критической ошибки в предыдущих экспериментах. Проблема заключалась в нулевых градиентах из-за NaN-ошибок в пользовательских ядрах для GPU V100, что сделало предыдущие результаты невалидными. Текущий процесс обучения проходит успешно, автор планирует выпустить GGUF-модели и патч для llama.cpp.
score 40r/LocalLLaMA