CLIPSeg

CLIPSeg - це модель, яка була створена для сегментації об'єктів на зображеннях за допомогою тексту. Вона працює, додаючи невеликий декодер до замороженої моделі CLIP, щоб здійснювати сегментацію зображень з нульовим та одношотовим навчанням. Цю модель було запропоновано Тімо Люддеке та Александром Екером у статті під назвою "Сегментація зображень за допомогою текстових та зображеннями підказок".

Джерело: https://huggingface.co/docs/transformers/model_doc/clipseg