DreamFusion

DreamFusion - це система текст-в-3D, що використовує модель генерації зображень з тексту на основі штучного інтелекту, відому як Imagen. Вона використовує метод, що називається Відбором Зразків з Дифузії (Score Distillation Sampling, SDS), для створення 3D сцен з текстових вхідних даних. Цей метод дозволяє їм створювати зразки з моделі дифузії, оптимізуючи функцію втрат, що дозволяє будувати сцени в будь-якому просторі параметрів. Вони використали параметризацію 3D сцени, подібну до Neural Radiance Fields (NeRF), для генерації диференційованого відображення. SDS створює досить реалістичні сцени, проте DreamFusion використовує додаткові регуляризатори та тактики оптимізації для вдосконалення геометрії. Навчені NeRF-и володіють геометрією поверхні високої якості, картами глибини та нормалей, і можуть бути переосвітлені за допомогою моделі тіней Ламберта.

Джерело: https://dreamfusion3d.github.io/