Riffusion

Riffusion є відкритою моделлю штучного інтелекту, яка компонує музику, візуалізуючи її за допомогою спектрограм. Вона використовує стабільну модель дифузії v1.5 для створення музики штучного інтелекту зі спектрограмами, які поєднуються з текстом.

Додаток побудований з використанням Next.js, React, Typescript, three.js, Tailwind і Vercel.

Додаток спілкується через API для виконання викликів інференції на сервері з графічним процесором. Ми використовували Truss для упакування моделі та тестування її локально перед розгортанням на Baseten, який забезпечує інференс з підтримкою графічного процесора, автоматичне масштабування та спостереження. В продакшні ми використовували NVIDIA A10Gs.

Якщо у вас є достатньо потужний графічний процесор, щоб генерувати стабільні результати дифузії менше ніж за п'ять секунд, ви можете запустити цей досвід локально, використовуючи наш тестовий flask-сервер.

Джерело: https://www.riffusion.com/about