Взломанная PlayStation 5 получила неожиданную возможность — локальный запуск нейросетей с использованием графического процессора. Разработчик под ником u/AdIllustrious7246 представил модифицированную версию PS5LM, основанную на популярном движке llama.cpp.
Ранее другой энтузиаст, cobanov, уже портировал llama.cpp на PS5, однако его реализация использовала только центральный процессор и могла задействовать около 6 ГБ оперативной памяти. Попытки загрузить более крупные модели приводили к зависанию системы.
Новая версия использует PS5_Vulkan — проект на основе драйвера AMD RADV, позволяющий обращаться к графическому процессору консоли. Благодаря этому разработчику удалось увеличить доступный объем памяти до 11,4 ГБ и значительно ускорить генерацию текста.
По опубликованным результатам, 27-миллиардная модель Qwen работает со скоростью около 20 токенов в секунду. Более компактные Gemma 4 E4B и Llama 3.2 3B достигают 61 и 124 токенов в секунду соответственно. Это позволяет использовать PS5 для общения с нейросетями без отправки запросов на удаленные серверы.
Разработчик также добавил панель мониторинга, отображающую загрузку процессора и видеочипа, температуру, энергопотребление, скорость генерации и использование памяти. Через веб-интерфейс llama.cpp к нейросети можно обращаться с других устройств в локальной сети.
Пока технология доступна только на модифицированных консолях и остается экспериментальной. Тем не менее проект показывает, что аппаратные возможности PS5 позволяют использовать ее не только для игр, но и для задач искусственного интеллекта.
