El punto clave de esta actualización es la introducción de un mecanismo de agente inteligente en Muse Image. Esto cambia el enfoque tradicional de convertir simplemente texto en píxeles y, en su lugar, permite que el modelo funcione más como un agente de inteligencia artificial.

Un modelo de procesamiento de imágenes que puede buscar información y escribir código

Muse Image ofrece diversas herramientas para generar imágenes.

La primera es la escritura de código. Durante el entrenamiento, el modelo aprendió a generar gráficos y códigos QR precisos mediante la escritura de código.

También puede combinar imágenes generadas con código de programación para crear GIF animados y páginas web con imágenes incrustadas.

Incluso puede ejecutar pequeños juegos interactivos. Por ejemplo, puede crear un juego interactivo completo en HTML y JS a partir de la foto de una mascota del usuario.

La segunda capacidad es la búsqueda web. Muse Image puede recopilar información en tiempo real e imágenes de referencia mediante búsquedas en la web. Esto le permite mejorar significativamente la precisión de las imágenes al trabajar con prompts relacionados con noticias o conocimientos generales.

Detecta errores y los corrige automáticamente

Durante el entrenamiento con aprendizaje por refuerzo, Muse Image demostró capacidades de autocorrección. Cuando detecta inconsistencias en los detalles de una imagen durante el procesamiento, realiza correcciones locales de forma activa. Si detecta que la dirección general de la imagen es incorrecta, vuelve a generar la imagen o llama a herramientas de apoyo. Este comportamiento de autocorrección no fue programado manualmente; surgió del proceso de aprendizaje autónomo del modelo en su búsqueda de una mayor calidad en la generación de imágenes.

Cuanto más piensa, mejor dibuja

Al igual que los grandes modelos de lenguaje, Muse Image también permite escalar el cómputo durante la inferencia. En otras palabras, darle más tiempo al modelo para “pensar” le permite realizar más pasos de razonamiento, usar más herramientas y pasar por más rondas de autocorrección, lo que da como resultado imágenes de mayor calidad. Los experimentos muestran que esta entrada de inferencia mantiene una relación aproximadamente logarítmico-lineal con la calidad de la imagen.

Edición precisa en múltiples rondas y composición de imágenes

En cuanto a las capacidades de edición de imágenes, Muse Image demuestra un fuerte valor práctico. Admite edición conversacional de múltiples pasos, lo que permite a los usuarios proporcionar comentarios de forma continua. Por ejemplo, un usuario puede transformar una foto de una sala de estar en un estilo que combine la estética escandinava y japonesa, luego pedir al modelo que conserve las lámparas de la primera imagen y, finalmente, solicitar una imagen comparativa del antes y después.

Además, admite síntesis de imágenes con múltiples referencias. Los usuarios pueden introducir texto y varias imágenes de referencia al mismo tiempo en el cuadro de prompt, lo que permite al modelo combinar personajes, ropa, bicicletas y estilos de fondo específicos en una sola obra visual.

En los principales benchmarks de generación y edición de imágenes, Muse Image ocupa actualmente el segundo lugar en preferencia de usuarios en Arena.

Muse Video se presenta al mismo tiempo

Además del modelo de imagen, Meta también presentó una vista previa técnica de Muse Video. El modelo funciona bien en coincidencia de palabras clave, detalle visual y consistencia temporal, aunque todavía tiene margen de mejora en la sincronización audiovisual y en la representación de las leyes físicas que rigen el movimiento rápido. En el campo de la generación de video, Muse Video ocupa actualmente el tercer lugar.

Integración con productos de Meta

Muse Image está profundamente integrado en el ecosistema de Meta. Combinado con las funciones sociales de Meta AI, los usuarios pueden crear imágenes junto con amigos o recrear imágenes desde sus cuentas de Instagram. Entre los ejemplos se incluyen la creación de materiales de marketing para pequeñas empresas, la generación de imágenes en Meta AI mencionando cuentas públicas de Instagram mediante @mentions y el uso de efectos preestablecidos personalizados directamente dentro de Instagram.