Microsoft lance le modèle multimodal Phi-4-reasoning-vision-15B
Microsoft a publié le modèle multimodal à poids ouverts Phi-4-reasoning-vision-15B le 4 mars 2026 sous licence MIT. Basé sur l'architecture Phi-4-Reasoning et l'encodeur visuel SigLIP-2, ce modèle de 15 milliards de paramètres traite le texte et les images avec une fenêtre de contexte de 16 384 jetons. Entraîné sur 240 GPU NVIDIA B200 en quatre jours, le système permet aux entreprises de déployer des automatisations d'intelligence artificielle flexibles dans des environnements locaux à mémoire restreinte.
Comment l'architecture d'intégration intermédiaire traite les données visuelles
Le modèle intègre l'encodeur visuel SigLIP-2 au cœur du modèle linguistique Phi-4-Reasoning grâce à une conception d'intégration intermédiaire (mid-fusion). Dans cette architecture, l'encodeur visuel transforme les images d'entrée en jetons visuels, lesquels sont projetés directement dans l'espace de vectorisation du modèle linguistique et injectés dans le modèle linguistique préentraîné. L'encodeur visuel à résolution dynamique prend en charge jusqu'à 3 600 jetons visuels par image, ce qui permet une analyse détaillée de documents et l'ancrage dans des interfaces utilisateur graphiques. Une attention bidirectionnelle intra-image est appliquée pour améliorer le raisonnement spatial tout en évitant le surajustement. Cette configuration traite des entrées combinant texte et image dans une fenêtre de contexte de 16 384 jetons.
Pourquoi des balises explicites basculent entre réflexion et réponses rapides
Des jetons de mode explicite ordonnent au modèle de basculer entre l'inférence directe et un raisonnement étendu en plusieurs étapes. Fonctionnant comme un système unique, le modèle adapte son mode opératoire selon la complexité de la tâche. Pour les tâches visuelles peu complexes telles que le légendage d'images, la reconnaissance optique de caractères, la localisation d'objets et la réponse directe à des questions visuelles, l'invite ajoute un jeton nothink afin de générer une section de solution concise et logique. Pour les tâches en plusieurs étapes impliquant des démonstrations mathématiques, des schémas scientifiques ou une planification complexe, le système ajoute un jeton think. Dans ce mode, la réponse inclut une section de pensée dédiée où le modèle analyse les questions, résume les constatations, explore des idées, vérifie l'exactitude et corrige les erreurs avant de présenter la solution finale.
Comment le filtrage des données a réduit les besoins en calcul
Un filtrage systématique des données et une correction rigoureuse des erreurs ont permis à Microsoft d'atteindre des performances élevées avec des ressources de calcul d'entraînement modérées. Le jeu de données d'entraînement se compose de jeux de données vision-langage open source sélectionnés, de données sectorielles fournies par des équipes internes de Microsoft et d'acquisitions de données ciblées. L'alignement a été réalisé par un ajustement fin supervisé à l'aide d'exemples d'utilité et d'inocuité, accompagnés d'échantillons axés sur la sécurité pour refuser les discours de haine, la violence, l'automutilation et le contenu explicitement sexuel. Microsoft a effectué un test d'intrusion automatisé sur Azure afin d'évaluer la factualité, la vulnérabilité au piratage psychologique, la génération de contenus nocifs et la protection du droit d'auteur. L'entraînement a été exécuté sur 240 GPU NVIDIA B200 pendant 4 jours entre le 3 février 2025 et le 21 février 2026.
Ce que cela change pour les agents d'utilisation d'ordinateurs
Le modèle résout des tâches de navigation visuelle à l'écran et de raisonnement documentaire en plusieurs étapes pour les agents automatisés d'utilisation d'ordinateurs. Les organisations peuvent déployer le système pour interpréter des écrans d'ordinateur, localiser des éléments d'interface utilisateur graphique interactifs et exécuter des actions d'interface utilisateur. Il extrait également des informations quantitatives à partir d'équations manuscrites, de graphiques et de tableaux financiers ou techniques. L'architecture hybride gère aussi bien les vérifications visuelles rapides que le raisonnement complexe dans des environnements à ressources de calcul limitées, évitant ainsi aux entreprises de déployer des modèles distincts pour la perception et la logique. Microsoft précise que le modèle est principalement entraîné en anglais et n'est pas destiné aux diagnostics médicaux, aux conseils juridiques, à la planification financière ou aux décisions d'attribution de ressources majeures comme l'emploi ou le crédit.
Configuration requise pour exécuter le modèle sur du matériel local
Les développeurs peuvent accéder aux poids ouverts sous la licence MIT de phi 4 reasoning vision 15b à travers plusieurs canaux de distribution. Microsoft propose des téléchargements publics sur le dépôt Hugging Face de phi 4 reasoning vision et GitHub, ainsi qu'un accès entreprise via Microsoft Azure AI Foundry. La documentation officielle du modèle désigne Microsoft Corporation comme développeur et Microsoft Ireland Operations Limited comme représentant autorisé. Pour l'intégration technique, le modèle nécessite torch 2.7.1 ou supérieur, transformers 4.57.1 ou supérieur et vllm 0.15.2 ou supérieur. Les équipes d'infrastructure informatique peuvent configurer l'exécution locale de phi 4 reasoning vision sur des GPU NVIDIA A6000, A100 et H100.
Questions et réponses
What is Microsoft Phi-4-reasoning-vision-15B?
Microsoft Phi-4-reasoning-vision-15B est un modèle de raisonnement multimodal à poids ouverts de 15 milliards de paramètres, conçu sur l'architecture Phi-4-Reasoning et l'encodeur visuel SigLIP-2. Publié le 4 mars 2026, il traite des entrées de texte et d'image sur une fenêtre de contexte de 16 384 jetons en utilisant deux modes d'exécution : direct et chaîne de pensée.
Is Phi-4-reasoning-vision-15B open source under the MIT license?
Oui, Microsoft a publié Phi-4-reasoning-vision-15B sous la licence MIT. Cette licence accorde un accès libre aux développeurs et aux entreprises pour télécharger, exécuter, adapter et concevoir des applications commerciales à partir des poids du modèle publiés.
Can you run Phi-4-reasoning-vision-15B on local GPUs?
Oui, le modèle est conçu pour être déployé dans des environnements à ressources limitées et peut fonctionner sur du matériel local. Microsoft a testé le modèle sur des GPU NVIDIA A6000, A100 et H100 à l'aide des frameworks PyTorch, Hugging Face Transformers et vLLM.
Le regard de MOZGII
Comment nous le construirions
Si nous concevions un agent automatisé de traitement de documents et d'interfaces à l'aide de ce modèle visuel de quinze milliards de paramètres, nous commencerions par établir des règles d'aiguillage strictes pour les entrées visuelles. Nous orienterions les tâches simples, comme l'identification des boutons à l'écran ou l'extraction visuelle de caractères, directement vers la voie d'inférence rapide en utilisant le jeton de mode d'invite. Pour les processus complexes à plusieurs étapes, comme l'analyse de tableaux scientifiques manuscrits ou la navigation dans des interfaces logicielles dynamiques, nous acheminerions les données vers le mode de raisonnement étendu. Nous conserverions l'encodeur visuel et le modèle linguistique intégrés sur des unités de traitement locales à haute mémoire afin d'éviter la latence du nuage et de maintenir le contrôle local sur les données des utilisateurs.
Nous placerions des opérateurs humains dans la boucle pour inspecter les cas limites où le parcours de raisonnement visuel échouerait. Le système flanche lorsque la disposition des interfaces utilisateur varie de manière imprévue ou quand l'écriture manuscrite dans des tableaux financiers numérisés est trop ambiguë pour être résolue avec précision par l'attention spatiale. Des réviseurs humains traiteraient ces erreurs signalées et réinjecteraient les masques d'images corrigés dans notre ensemble d'évaluation local. Le principal indicateur que nous suivrions serait le taux d'accomplissement des tâches visuelles à plusieurs étapes sans intervention humaine.
Ensuite, nous construirions un planificateur de tâches automatisé qui convertirait directement les résultats du raisonnement en commandes d'automatisation bureautique. Cette extension permettrait à notre agent logiciel d'exécuter une navigation complète de bout en bout à travers les logiciels de bureau.
Sources
D’où viennent les faits de cet article.