Kyojin: движок инференса для AMD Strix Halo на базе ExLlamaV3

Проект Kyojin от Yamz-Labs представляет собой движок инференса для AMD Strix Halo (ROCm, gfx1151), построенный на базе ExLlamaV3. Он позволяет запускать модели класса 300B (MoE) на одном мини-ПК с 128 ГБ памяти.