ControlNet

ControlNet дозволяє керувати передварних моделями дифузії для підтримки додаткових умов введення. ControlNet вчить умови завдання від початку до кінця, і навчання є стійким навіть при невеликому наборі тренувальних даних ( <50k). Крім того, навчання ControlNet є таким же швидким, як налаштування передварної моделі, і модель може бути навчена на персональних пристроях. Альтернативно, якщо є потужні обчислювальні кластери, модель може масштабуватися до великих обсягів (мільйони до мільярдів) даних. Ми повідомляємо, що передварні моделі, такі як Stable Diffusion, можуть бути доповнені ControlNets, щоб забезпечити умови введення, такі як картки контуру, карти сегментації, ключові точки і т. д. Це може збагатити методи керування передварними моделями дифузії та подальшу сприяння пов'язаним застосункам.