Microsoft veröffentlicht multimodales Modell Phi-4-reasoning-vision-15B
Microsoft hat am 4. März 2026 das multimodale Open-Weight-Modell Phi-4-reasoning-vision-15B unter der MIT-Lizenz veröffentlicht. Das Modell mit 15 Milliarden Parametern basiert auf dem Phi-4-Reasoning-Backbone sowie dem SigLIP-2-Visuencoder und verarbeitet Text sowie Bilder mit einer Kontextlänge von 16384 Tokens. Das auf 240 NVIDIA B200 GPUs in 4 Tagen trainierte System ermöglicht Unternehmen flexible KI-Automatisierungen in speicherbeschränkten lokalen Umgebungen.
Wie die Mid-Fusion-Architektur visuelle Daten verarbeitet
Das Modell kombiniert den Visuencoder SigLIP-2 mit dem Sprachmodell-Backbone Phi-4-Reasoning über ein Mid-Fusion-Design. In dieser Architektur wandelt der Visuencoder Eingabebilder in visuelle Tokens um, die direkt in den Einbettungsraum des Sprachmodells projiziert und in das vortrainierte Sprachmodell eingebracht werden. Der Visuencoder mit dynamischer Auflösung unterstützt bis zu 3600 visuelle Tokens pro Bild, was eine detaillierte Dokumentenanalyse und die Erfassung grafischer Benutzeroberflächen ermöglicht. Um räumliches Denken zu verbessern und Overfitting zu vermeiden, wird bildinterne bidirektionale Attention angewendet. Dieser Aufbau verarbeitet kombinierte Text- und Bildeingaben innerhalb einer Kontextlänge von 16384 Tokens.
Warum explizite Tags zwischen Denkmodus und schnellen Antworten wechseln
Explizite Modus-Tokens weisen das Modell an, zwischen direkter Inferenz und erweiterter mehrstufiger logischer Schlussfolgerung zu wechseln. Das Modell funktioniert als einzelnes System und passt seinen Betriebsmodus an die Komplexität der Aufgabe an. Für visuelle Aufgaben mit geringer Komplexität wie Bildbeschriftung, optische Zeichenerkennung (OCR), Objektlokalisierung und direkte visuelle Fragenbeantwortung fügt der Prompt ein nothink-Token an, um einen prägnanten, logischen Lösungsabschnitt zu erzeugen. Für mehrstufige Aufgaben mit mathematischen Beweisen, wissenschaftlichen Diagrammen oder komplexer Planung fügt das System ein think-Token an. In diesem Modus enthält die Ausgabe einen eigenen Denkabschnitt, in dem das Modell Fragen analysiert, Ergebnisse zusammenfasst, Ideen sammelt, die Genauigkeit überprüft und Fehler korrigiert, bevor die finale Lösung präsentiert wird.
Wie Datenfilterung den Rechenaufwand reduzierte
Systematische Datenfilterung und strenge Fehlerkorrektur ermöglichten es Microsoft, hohe Leistung mit moderat trainiertem Rechenaufwand zu erreichen. Der Trainingsdatensatz besteht aus kuratierten Open-Source-Vision-Language-Datensätzen, domänenspezifischen Daten interner Microsoft-Teams und gezielten Datenakquisitionen. Die Ausrichtung wurde durch überwachtes Feintuning mit Beispielen für Hilfsbereitschaft und Harmlosigkeit sowie sicherheitsorientierten Stichproben zur Ablehnung von Hassrede, Gewalt, Selbstverletzung und expliziten sexuellen Inhalten erreicht. Microsoft führte automatisiertes Red Teaming auf Azure durch, um Verankerung, Anfälligkeit für Jailbreaks, Generierung schädlicher Inhalte und Urheberrechtsschutz zu bewerten. Das Training lief zwischen dem 3. Februar 2025 und dem 21. Februar 2026 für 4 Tage auf 240 NVIDIA B200 GPUs.
Was sich für Computer-Use-Agenten ändert
Das Modell löst visuelle Bildschirmnavigations- und mehrstufige Dokumentenanalysen für automatisierte Computer-Use-Agenten. Unternehmen können das System einsetzen, um Computerbildschirme zu interpretieren, interaktive Elemente grafischer Benutzeroberflächen zu lokalisieren und Benutzeroberflächenaktionen auszuführen. Es extrahiert zudem quantitative Informationen aus handschriftlichen Gleichungen, Diagrammen sowie Finanz- oder technischen Tabellen. Die Hybridarchitektur bewältigt sowohl schnelle visuelle Prüfungen als auch komplexes logisches Denken in ressourcenbeschränkten Umgebungen, wodurch Unternehmen auf den Einsatz separater Modelle für Wahrnehmung und Logik verzichten können. Microsoft weist darauf hin, dass das Modell primär auf Englisch trainiert wurde und nicht für medizinische Diagnosen, Rechtsberatung, Finanzplanung oder folgenschwere Ressourcenallokationsentscheidungen wie Beschäftigung oder Kreditvergabe vorgesehen ist.
Voraussetzungen für den lokalen Betrieb des Modells
Entwickler können über mehrere Vertriebskanäle unter der MIT-Lizenz auf die Open Weights von phi 4 reasoning vision 15b zugreifen. Microsoft bietet öffentliche Downloads auf dem Hugging-Face-Repository und GitHub sowie Unternehmenszugriff über Microsoft Azure AI Foundry an. Die offizielle Modelldokumentation führt Microsoft Corporation als Entwickler und Microsoft Ireland Operations Limited als bevollmächtigten Vertreter auf. Für die technische Integration erfordert das Modell torch 2.7.1 oder höher, transformers 4.57.1 oder höher und vllm 0.15.2 oder höher. IT-Infrastrukturteams in Unternehmen können phi 4 reasoning vision lokal auf NVIDIA A6000, A100 und H100 GPUs einrichten.
Fragen und Antworten
Was ist Microsoft Phi-4-reasoning-vision-15B?
Microsoft Phi-4-reasoning-vision-15B ist ein multimodales Open-Weight-Schlussfolgerungsmodell mit 15 Milliarden Parametern, das auf dem Phi-4-Reasoning-Backbone und dem SigLIP-2-Visuencoder basiert. Es wurde am 4. März 2026 veröffentlicht und verarbeitet Text- und Bildeingaben über eine Kontextlänge von 16384 Tokens hinweg mit dualen Ausführungsmodi für direkte Antworten und Chain-of-Thought.
Ist Phi-4-reasoning-vision-15B Open Source unter der MIT-Lizenz?
Ja, Microsoft hat Phi-4-reasoning-vision-15B unter der MIT-Lizenz veröffentlicht. Die Lizenz gewährt Entwicklern und Unternehmen freien Zugriff zum Herunterladen, Ausführen, Anpassen und Entwickeln kommerzieller Anwendungen mit den veröffentlichten Modellgewichten.
Kann Phi-4-reasoning-vision-15B auf lokalen GPUs ausgeführt werden?
Ja, das Modell ist für den Einsatz in rechenbeschränkten Umgebungen konzipiert und kann auf lokaler Hardware ausgeführt werden. Microsoft hat das Modell auf NVIDIA A6000, A100 und H100 GPUs unter Verwendung der Frameworks PyTorch, Hugging Face Transformers und vLLM getestet.
Die Sicht von MOZGII
Wie wir es bauen würden
Wenn wir einen automatisierten Dokumenten- und Schnittstellen-Agenten mit diesem Vision-Modell mit fünfzehn Milliarden Parametern aufbauen würden, würden wir zunächst strikte Routing-Regeln für visuelle Eingaben festlegen. Einfache Aufgaben wie die Identifizierung von Bildschirm-Schaltflächen oder die visuelle Zeichenextraktion würden wir über das Prompt-Modus-Token direkt auf den schnellen Inferenzpfad leiten. Für komplexe, mehrstufige Arbeitsabläufe wie das Parsen handschriftlicher wissenschaftlicher Tabellen oder das Navigieren in dynamischen Software-Schnittstellen würden wir die Eingaben in den erweiterten Denkmodus leiten. Wir würden den Vision-Encoder und das Sprachmodell auf lokalen speicherstarken Verarbeitungseinheiten integriert halten, um Cloud-Latenzen zu vermeiden und die lokale Kontrolle über Benutzerdaten zu wahren.
Wir würden menschliche Bediener einbinden, um Grenzfälle zu prüfen, in denen der visuelle Denkpfad fehlschlägt. Das System stößt an Grenzen, wenn sich Layouts von Benutzeroberflächen unerwartet verschieben oder wenn Handschriften in gescannten Finanztabellen zu zweideutig sind, als dass die räumliche Aufmerksamkeitssteuerung sie präzise auflösen könnte. Menschliche Prüfer würden diese markierten Fehler bearbeiten und korrigierte Bildmasken wieder in unseren lokalen Evaluierungsdatensatz einspeisen. Die wichtigste Kennzahl, die wir verfolgen würden, ist die Aufgabenabschlussrate für mehrstufige visuelle Arbeitsabläufe ohne menschliches Eingreifen.
Als Nächstes würden wir einen automatisierten Aufgabenplaner entwickeln, der die Denkergebnisse direkt in Befehle zur Desktop-Automatisierung umwandelt. Diese Erweiterung würde es unserem Software-Agenten ermöglichen, eine vollständige End-to-End-Schnittstellennavigation über Desktop-Software hinweg auszuführen.
Quellen
Woher die Fakten dieser Meldung stammen.