Microsoft выпустила мультимодальную модель phi 4 reasoning vision 15b
Microsoft выпустила открытую мультимодальную модель phi 4 reasoning vision 15b 4 марта 2026 года под лицензией MIT. Построенная на основе языковой модели Phi-4-Reasoning и визуального кодировщика SigLIP-2, модель с 15 миллиардами параметров обрабатывает текст и изображения в контекстном окне на 16384 токена. Обученная на 240 GPU NVIDIA B200 за четыре дня, система позволяет компаниям запускать гибкую ИИ-автоматизацию в локальных средах с ограниченной памятью.
Как архитектура промежуточного слияния обрабатывает визуальные данные
Модель объединяет визуальный кодировщик SigLIP-2 с базовой языковой моделью Phi-4-Reasoning через архитектуру промежуточного слияния (mid-fusion). В этой архитектуре визуальный кодировщик преобразует входные изображения в визуальные токены, которые проецируются напрямую в пространство эмбеддингов языковой модели и внедряются в предобученную языковую модель. Визуальный кодировщик с динамическим разрешением поддерживает до 3600 визуальных токенов на изображение, что обеспечивает подробный анализ документов и привязку к графическому интерфейсу пользователя. Внутрикадровое двунаправленное внимание применяется для улучшения пространственного мышления и предотвращения переобучения. Такая конфигурация обрабатывает комбинированный текстовый и визуальный ввод в пределах контекстного окна объемом 16384 токена.
Почему явные теги переключают модель между рассуждениями и быстрыми ответами
Явные токены режима указывают модели на необходимость переключения между прямым выводом и расширенным многошаговым рассуждением. Работая как единая система, модель адаптирует свой режим работы в зависимости от сложности задачи. Для визуальных задач низкой сложности, таких как создание подписей к изображениям, оптическое распознавание символов, локализация объектов и прямые ответы на визуальные вопросы, в промпт добавляется токен nothink для генерации краткого и логичного раздела с решением. Для многошаговых задач, включающих математические доказательства, научные диаграммы или сложное планирование, система добавляет токен think. В этом режиме итоговый вывод содержит отдельный раздел мыслей, где модель анализирует вопросы, обобщает результаты, генерирует идеи, проверяет точность и исправляет ошибки перед представлением финального решения.
Как фильтрация данных сократила требования к вычислительным ресурсам
Систематическая фильтрация данных и строгое исправление ошибок позволили Microsoft добиться высокой производительности при умеренных вычислительных затратах на обучение. Набор данных для обучения состоит из отобранных открытых датасетов для зрения и языка, специализированных данных от внутренних команд Microsoft и целевых приобретений данных. Выравнивание было достигнуто с помощью тонкой настройки под наблюдением (SFT) с использованием примеров полезности и безвредности, а также ориентированных на безопасность образцов для отказа от сгенерированного языка ненависти, насилия, самоповреждения и материалов сексуального характера. Microsoft провела автоматический ред-тиминг в Azure для оценки обоснованности ответов, устойчивости к джейлбрейкам, генерации вредоносного контента и защиты авторских прав. Обучение проходило на 240 GPU NVIDIA B200 в течение 4 дней в период с 3 февраля 2025 года по 21 февраля 2026 года.
Что это меняет для ИИ-агентов, управляющих компьютером
Модель решает задачи визуальной навигации по экрану и многошагового анализа документов для автоматизированных ИИ-агентов, использующих компьютер. Организации могут развертывать систему для интерпретации экранов компьютеров, поиска интерактивных элементов графического интерфейса и выполнения действий в пользовательском интерфейсе. Она также извлекает количественную информацию из рукописных уравнений, диаграмм, а также финансовых или технических таблиц. Гибридная архитектура справляется как с быстрыми визуальными проверками, так и со сложными рассуждениями в условиях ограниченных вычислительных ресурсов, позволяя компаниям отказаться от развертывания отдельных моделей для восприятия и логики. Microsoft отмечает, что модель обучена преимущественно на английском языке и не предназначена для постановки медицинских диагнозов, юридических консультаций, финансового планирования или принятия важных решений по распределению ресурсов, таких как найм или выдача кредитов.
Требования для запуска модели на локальном оборудовании
Разработчики могут получить доступ к открытым весам по лицензии phi 4 reasoning vision 15b mit через несколько каналов распространения. Microsoft предлагает публичные скачивания в репозитории phi 4 reasoning vision hugging face и GitHub, а также корпоративный доступ через Microsoft Azure AI Foundry. Официальная документация модели указывает Microsoft Corporation в качестве разработчика и Microsoft Ireland Operations Limited в качестве уполномоченного представителя. Для технической интеграции модели требуются torch 2.7.1 или выше, transformers 4.57.1 или выше и vllm 0.15.2 или выше. Команды корпоративной инфраструктуры могут настроить локальный запуск phi 4 reasoning vision run locally на GPU NVIDIA A6000, A100 и H100.
Вопросы и ответы
Что такое Microsoft Phi-4-reasoning-vision-15B?
Microsoft Phi-4-reasoning-vision-15B: это мультимодальная модель рассуждений с открытыми весами на 15 миллиардов параметров, созданная на базе Phi-4-Reasoning и визуального кодировщика SigLIP-2. Выпущенная 4 марта 2026 года, она обрабатывает текстовый и визуальный ввод в контекстном окне на 16384 токена, используя два режима выполнения: прямой и цепочку рассуждений.
Является ли Phi-4-reasoning-vision-15B открытой моделью под лицензией MIT?
Да, Microsoft выпустила Phi-4-reasoning-vision-15B под лицензией MIT. Лицензия предоставляет открытый доступ разработчикам и предприятиям для скачивания, запуска, адаптации и создания коммерческих приложений с использованием опубликованных весов модели.
Можно ли запустить Phi-4-reasoning-vision-15B на локальных GPU?
Да, модель создана для развертывания в средах с ограниченными вычислительными ресурсами и может работать на локальном оборудовании. Microsoft протестировала модель на GPU NVIDIA A6000, A100 и H100 с использованием фреймворков PyTorch, Hugging Face Transformers и vLLM.
Взгляд MOZGII
Как бы мы это построили
Если бы мы создавали агент автоматизации документов и интерфейсов на базе этой визуальной модели с пятнадцатимиллиардным числом параметров, мы бы начали с настройки строгих правил маршрутизации визуальных данных. Мы бы направляли простые задачи, такие как распознавание кнопок на экране или извлечение визуальных символов, напрямую в быстрый поток обработки с помощью токена режима промпта. Для сложных многошаговых процессов, таких как разбор рукописных научных таблиц или навигация по динамическим интерфейсам программ, мы бы направляли данные в режим расширенного рассуждения. Мы бы сохраняли визуальный кодировщик и языковую модель объединенными на локальных вычислительных блоках с большим объемом памяти, чтобы избежать задержек облака и сохранить локальный контроль над пользовательскими данными.
Мы бы привлекли операторов для проверки крайних случаев, когда путь визуального рассуждения сбоит. Система дает сбой, когда макеты пользовательского интерфейса неожиданно меняются или когда почерк в отсканированных финансовых таблицах слишком неразборчив для точной работы пространственного внимания. Рецензенты обрабатывали бы эти отмеченные ошибки и передавали исправленные маски изображений обратно в наш локальный тестовый набор. Главным показателем, который мы бы отслеживали, стала бы доля успешного выполнения многошаговых визуальных процессов без участия человека.
Затем мы бы разработали автоматизированный планировщик задач, который преобразует результаты рассуждений напрямую в команды автоматизации рабочего стола. Это расширение позволило бы нашему программному агенту выполнять полную навигацию по интерфейсу в настольных программах.
Источники
Откуда взяты факты этой новости.