Microsoft lanza el modelo multimodal phi 4 reasoning vision 15b
Microsoft lanzó el modelo multimodal de pesos abiertos phi 4 reasoning vision 15b el 4 de marzo de 2026 bajo una licencia MIT. Basado en la arquitectura Phi-4-Reasoning y el codificador de visión SigLIP-2, este modelo de 15 mil millones de parámetros procesa texto e imágenes con una longitud de contexto de 16,384 tokens. Entrenado en 240 GPU NVIDIA B200 en cuatro días, el sistema permite a las empresas ejecutar automatización de IA flexible en entornos locales con memoria limitada.
Cómo procesa los datos visuales la arquitectura de fusión intermedia
El modelo integra el codificador de visión SigLIP-2 con la base del modelo de lenguaje Phi-4-Reasoning mediante un diseño de fusión intermedia. En esta arquitectura, el codificador de visión convierte las imágenes de entrada en tokens visuales, que se proyectan directamente en el espacio de embedding del modelo de lenguaje y se inyectan en el modelo preentrenado. El codificador de visión de resolución dinámica admite hasta 3,600 tokens visuales por imagen, lo que permite un análisis detallado de documentos y el posicionamiento en interfaces gráficas de usuario. Se aplica atención bidireccional intraimagen para mejorar el razonamiento espacial evitando el sobreajuste. Esta configuración procesa entradas combinadas de texto e imagen dentro de un contexto de 16,384 tokens.
Por qué las etiquetas explícitas alternan entre el razonamiento y las respuestas rápidas
Los tokens de modo explícito le indican al modelo que alterne entre la inferencia directa y el razonamiento extendido de varios pasos. Al operar como un solo sistema, el modelo adapta su modo de funcionamiento según la complejidad de la tarea. Para tareas visuales de baja complejidad como la descripción de imágenes, reconocimiento óptico de caracteres, localización de objetos y respuesta directa a preguntas visuales, el prompt añade un token nothink para generar una sección de solución concisa y lógica. Para tareas de varios pasos que involucran demostraciones matemáticas, diagramas científicos o planificación compleja, el sistema añade un token think. En este modo, la respuesta incluye una sección de pensamiento dedicada donde el modelo analiza preguntas, resume hallazgos, genera ideas, verifica la precisión y corrige errores antes de presentar la solución final.
Cómo el filtrado de datos redujo los requerimientos de cómputo
El filtrado sistemático de datos y la corrección rigurosa de errores permitieron a Microsoft lograr un alto rendimiento con un cómputo de entrenamiento moderado. El conjunto de datos de entrenamiento consta de conjuntos de datos de visión y lenguaje de código abierto seleccionados, datos específicos de dominio de equipos internos de Microsoft y adquisiciones de datos dirigidas. La alineación se logró mediante ajuste fino supervisado utilizando ejemplos de utilidad e inocuidad junto con muestras orientadas a la seguridad para rechazar discursos de odio, violencia, autolesiones y contenido sexual explícito. Microsoft realizó pruebas automatizadas de red teaming en Azure para evaluar la fundamentación, la susceptibilidad a jailbreaks, la generación de contenido dañino y la protección de derechos de autor. El entrenamiento se ejecutó en 240 GPU NVIDIA B200 durante 4 días entre el 3 de febrero de 2025 y el 21 de febrero de 2026.
Qué cambia para los agentes de uso de computadora
El modelo resuelve tareas de navegación en pantalla visual y razonamiento de documentos de varios pasos para agentes automatizados de uso de computadora. Las organizaciones pueden desplegar el sistema para interpretar pantallas de computadora, localizar elementos interactivos en interfaces gráficas de usuario y ejecutar acciones en la interfaz. También extrae información cuantitativa de ecuaciones manuscritas, gráficos y tablas financieras o técnicas. La arquitectura híbrida maneja tanto verificaciones visuales rápidas como razonamiento complejo en entornos con restricciones de cómputo, lo que permite a las empresas evitar el despliegue de modelos separados para percepción y lógica. Microsoft señala que el modelo está entrenado principalmente en inglés y no está destinado a diagnósticos médicos, asesoramiento legal, planificación financiera o decisiones consecuentes de asignación de recursos, como el empleo o el crédito.
Requisitos para ejecutar el modelo en hardware local
Los desarrolladores pueden acceder a los pesos abiertos bajo la licencia mit de phi 4 reasoning vision 15b a través de varios canales de distribución. Microsoft ofrece descargas públicas en el repositorio de phi 4 reasoning vision hugging face y GitHub, así como acceso empresarial a través de Microsoft Azure AI Foundry. La documentación oficial del modelo enumera a Microsoft Corporation como el desarrollador y a Microsoft Ireland Operations Limited como el representante autorizado. Para la integración técnica, el modelo requiere torch 2.7.1 o superior, transformers 4.57.1 o superior y vllm 0.15.2 o superior. Los equipos de infraestructura empresarial pueden configurar phi 4 reasoning vision run locally en GPU NVIDIA A6000, A100 y H100.
Preguntas y respuestas
¿Qué es Microsoft Phi-4-reasoning-vision-15B?
Microsoft Phi-4-reasoning-vision-15B es un modelo de razonamiento multimodal de pesos abiertos de 15 mil millones de parámetros basado en Phi-4-Reasoning y el codificador de visión SigLIP-2. Lanzado el 4 de marzo de 2026, procesa entradas de texto e imagen en una longitud de contexto de 16,384 tokens mediante modos de ejecución directa y cadena de pensamiento.
¿Phi-4-reasoning-vision-15B es de código abierto bajo la licencia MIT?
Sí, Microsoft lanzó Phi-4-reasoning-vision-15B bajo la licencia MIT. La licencia otorga acceso abierto para que desarrolladores y empresas descarguen, ejecuten, adapten y creen aplicaciones comerciales utilizando los pesos del modelo publicados.
¿Se puede ejecutar Phi-4-reasoning-vision-15B en GPU locales?
Sí, el modelo está diseñado para su despliegue en entornos con limitaciones de cómputo y se puede ejecutar en hardware local. Microsoft probó el modelo en GPU NVIDIA A6000, A100 y H100 utilizando los frameworks PyTorch, Hugging Face Transformers y vLLM.
La visión de MOZGII
Cómo lo construiríamos
Si construyéramos un agente automatizado de documentos e interfaces utilizando este modelo de visión de quince mil millones de parámetros, comenzaríamos por establecer reglas estrictas de enrutamiento para las entradas visuales. Enrutaríamos las tareas sencillas, como la identificación de botones en pantalla o la extracción de caracteres visuales, directamente a la ruta de inferencia rápida mediante el token de modo de indicación. Para flujos de trabajo complejos de varios pasos, como el análisis de tablas científicas manuscritas o la navegación por interfaces de software dinámicas, enrutaríamos las entradas al modo de razonamiento extendido. Mantendríamos el codificador de visión y el modelo de lenguaje integrados en unidades de procesamiento local de alta memoria para evitar la latencia de la nube y mantener el control local sobre los datos del usuario.
Colocaríamos operadores humanos en el proceso para inspeccionar casos límite donde falle la ruta de razonamiento visual. El sistema se interrumpe cuando los diseños de interfaz de usuario cambian de forma inesperada o cuando la caligrafía en tablas financieras escaneadas es demasiado ambigua para que la atención espacial la resuelva con precisión. Revisores humanos manejarían estos errores detectados e integrarían máscaras de imagen corregidas a nuestro conjunto de evaluación local. La métrica principal que rastrearíamos es la tasa de finalización de tareas para flujos de trabajo visuales de varios pasos sin intervención humana.
Luego, construiríamos un planificador de tareas automatizado que convierta las salidas de razonamiento directamente en comandos de automatización de escritorio. Esta extensión permitiría que nuestro agente de software realice una navegación completa de extremo a extremo por interfaces en software de escritorio.
Fuentes
De dónde salen los datos de esta nota.