Haces una foto a una factura arrugada o a un tablero de ajedrez y le preguntas a la IA qué hay en ella. Con la factura tiene a su favor que leer y resumir documentos es uno de sus usos básicos. Con el tablero, la propia OpenAI avisa en su documentación de que sus modelos tienen problemas con la localización espacial precisa y pone ese ejemplo exacto: identificar la posición de las piezas.
En resumen: un modelo multimodal es una IA que acepta como entrada algo más que texto (imágenes, audio, vídeo o documentos) y responde sobre ese contenido. Esta guía es para quien ya usa ChatGPT, Gemini o Claude y quiere saber qué puede pedirles con una foto o una grabación, y sobre todo dónde no fiarse. Los límites salen de la documentación técnica de las propias empresas, que es bastante más honesta que su publicidad.
¿Qué significa exactamente que una IA sea multimodal?
Significa que el mismo modelo procesa varios tipos de información y los combina en una respuesta. Google lo describe en su documentación de comprensión de imágenes como modelos multimodales desde su diseño, capaces de describir imágenes, clasificarlas o responder preguntas sobre ellas sin entrenar un sistema especializado para cada tarea.
