Enmascara cualquier cosa escribiendo su nombre: máscaras e inpainting con Florence 2 en ComfyUI

Escribe «t-shirt» y obtienes una máscara de la camiseta. Escribe «face», «bookshelf» o «wall» y obtienes esas. Florence 2 es un modelo de visión de Microsoft que puede encontrar objetos a partir de una descripción de texto, y en ComfyUI lo convierte en una máscara a la que puedes aplicar inpainting. Es bastante increíble lo que puede hacer, pero tiene salvedades, y también las explicaré.

Florence 2 se describe en el artículo Florence-2: Advancing a Unified Representation for a Variety of Vision Tasks (Xiao et al., 2023). Es un modelo de investigación para muchas tareas (descripción de imágenes, detección de objetos, segmentación y más); aquí solo lo uso para máscaras.

¿Nuevo en ComfyUI? Empieza por fundamentos de nodos de ComfyUI y texto a imagen y instalar el ComfyUI Manager. El flujo terminado es gratuito en mi Patreon: arrastra el JSON e instala los nodos que falten desde el Manager.

Instala los nodos

En Manager → Custom Nodes Manager, instala:

1. ComfyUI Essentials, una colección básica de nodos que de verdad necesitas (Mask Preview, Image Resize y más).
2. ComfyUI Universal Styler, que ayuda a sacar texto (su nodo Get Text muestra los pies de foto de Florence).
3. Florence 2. Hay dos paquetes, el de Kijai y el de spacepxl. El de Kijai tiene más estrellas y se actualiza más recientemente. Los dos son muy parecidos, pero yo tuve que reescribir parte del código de spacepxl para ejecutarlo en el ComfyUI más reciente. Quédate con el de Kijai.

Reinicia ComfyUI después de instalar.

Construye la parte de Florence 2

1. Añade DownloadAndLoadFlorence2Model. Descarga el modelo automáticamente la primera vez que se ejecuta, así que no hay que hacer git clone ni buscar carpetas de modelos.
2. Añade Florence2Run y conecta el modelo.
3. Añade Load Image con tu imagen, a la entrada de imagen de Florence2Run.
4. Conecta todas las salidas: un Preview Image para la imagen, un Mask Preview (de Essentials) para la máscara y un nodo Get Text para el pie de foto. Si una salida no está conectada, la red no se ejecutará, y el modelo no se descargará.

Haz clic en Queue. La primera ejecución descarga el modelo, lo que puede tardar unos minutos o más según tu conexión; puedes verlo en la ventana de comandos. La tarea por defecto encuentra los objetos de la imagen y dibuja un recuadro alrededor de cada uno (aquí: una corona y una calavera). Para esto los recuadros no son muy útiles; las máscaras de verdad sí.

Elige el modelo

• Florence-2-base: el modelo por defecto.
• Florence-2-base-ft / large-ft: «ft» significa afinado (fine-tuned) para fines concretos. No los recomiendo; dieron peores resultados que base.
• Florence-2-large: muy recomendado. Tarda bastante más por imagen, pero hace máscaras mucho mejores.

Elige la tarea

La lista de task es el ajuste más importante. Ponla en caption y describe la imagen; en esta máquina, el texto no aparecía en el nodo Get Text, aunque sí salía en la ventana de comandos y funcionó en otra máquina. De todos modos, los pies de foto no son el objetivo.

La tarea que usarás casi siempre es referring_expression_segmentation. Escribe lo que quieres en el campo de texto, ejecuta y obtienes una máscara.

«Skull» dio una buena máscara enseguida. «Crown» no, al principio: los modelos de IA no son perfectos y esto pasará de vez en cuando. Cuando pasé de large de vuelta a base y ejecuté el mismo prompt, obtuve una buena máscara de la corona. Cambiar de modelo de vez en cuando es parte del proceso.

Aplica inpainting a la zona enmascarada

1. Añade InpaintModelConditioning. Conecta la máscara de Florence2Run y la imagen desde tu Load Image original, no desde Florence2Run: la salida de imagen de Florence lleva pintada encima la máscara de color.
2. Construye una cadena estándar de texto a imagen: Load Checkpoint (yo uso epiCPhotoGasm), un CLIP Text Encode positivo y otro negativo (los coloreo de verde y rojo), un KSampler, VAE Decode y Save Image.
3. Haz pasar los prompts por InpaintModelConditioning primero, y luego al KSampler. Conecta el VAE a InpaintModelConditioning, y su salida latent a la entrada latente del KSampler.
4. Escribe el cambio que quieres («silver» para la corona) y fija el denoise en torno a 0,62. El denoise controla la mezcla entre el prompt y la imagen original, y es el valor más importante aquí.

Si se queja de que falta una conexión de VAE, arrastra una. El resultado:

Para comparar, añade un Image Comparer de rgthree, con la imagen nueva como A y la original como B. Tendrás que volver a ejecutar para activarlo, lo que da un resultado distinto.

Combina dos máscaras: el tigre entero

En una foto de un tigre de Fotoref (el banco de fotos que cofundé), «tiger» enmascaró la parte delantera del cuerpo pero se dejó la pata trasera. Desactiva los nodos de inpainting (selecciónalos y pulsa Ctrl+B) mientras pruebas máscaras.

1. Copia la rama de Florence con Ctrl+C, Ctrl+Shift+V, que conserva las conexiones. Dale los mismos nodos de salida (vista previa, vista previa de máscara, Get Text); sin ellos no se ejecutará, aunque no los uses.
2. Prueba prompts para la parte que falta. «Tiger back leg» no funcionó. Con el modelo large y un prompt más creativo, «tiger black stripes front and back», obtuve la pata trasera. Probé unos diez prompts hasta llegar ahí.
3. Añade Mask Composite: una máscara en destination, la otra en source (en realidad deberían llamarse simplemente A y B), operación add, porque sumas blanco con blanco. Multiply lo eliminaría todo.
4. Mira la vista previa de la máscara combinada: el tigre entero.

Vuelve a activar los nodos de inpainting y conecta la máscara combinada a InpaintModelConditioning. Olvidé cambiar el prompt y obtuve un tigre plateado. Con «cat» hizo un gato, y se integró bien: sustituyó la parte inferior del cuerpo por la vegetación cercana y puso una roca bajo una pata. No está lejos de ser una gran generación; hacen falta más ejecuciones.

Rostros

En una de mis esculturas 3D, «face» dio una máscara del rostro. Con el prompt «male» hizo inpainting con el rostro de otra persona. Con denoise 0,25 el resultado se parecía más al original, aunque tuvo problemas con la anatomía rara que había esculpido (cuernos, un piercing en la parte inferior) y la sustituyó por una barba, lo cual es de esperar.

Consejo: Florence2Run tiene una seed. Cambia control_after_generate de randomize a fixed, para que la máscara no se regenere cada vez que pruebes un prompt nuevo.

Convierte una máscara en un borde

En un selfie, «glasses» dio una máscara bastante decente. Pero yo quería cambiar solo la montura, y es demasiado fina para que Florence la enmascare a partir de un prompt. En su lugar, los nodos clásicos de enmascarado pueden hacerlo:

1. Invert Mask (un nodo del núcleo) sobre la máscara de las gafas.
2. Grow Mask en 10 píxeles. En la máscara invertida, el blanco crece y el negro se encoge.
3. Mask Composite con la máscara ampliada como destination y la máscara original como source, operación multiply. Eso resta una de otra y deja el borde de la montura.
4. Añade nodos Mask Preview por el camino para ver cada paso.

Conecté ese borde a InpaintModelConditioning con «silver» como prompt y denoise 0,5. Sinceramente, aquí no obtuve un resultado realmente bueno, pese a probar distintos valores de denoise y prompts. Lo importante es la técnica: obtener una máscara a partir de un prompt y luego aplicar los mismos trucos de ampliar y restar que usarías en cualquier app de VFX o composición.

Siguientes pasos

Para un inpainting más pesado con un modelo más potente, mira inpainting con Flux. Para arreglar rostros y manos sin dibujar máscaras en absoluto, mira arreglar automáticamente rostros y manos de IA. Las máscaras también ayudan a que la transferencia de estilo con IPAdapter se centre en un solo sujeto.

Anton Tenitsky es artista 3D con más de 15 años en gráficos por ordenador, que ha trabajado con Nickelodeon, Gameloft, Marvel Rivals y muchos otros clientes. Más sobre mí