Microsoft lança o modelo multimodal phi 4 reasoning vision 15b
A Microsoft lançou o modelo multimodal de pesos abertos phi 4 reasoning vision 15b em 4 de março de 2026, sob a licença MIT. Baseado na estrutura Phi-4-Reasoning e no codificador de visão SigLIP-2, o modelo de 15 bilhões de parâmetros processa texto e imagens com uma janela de contexto de 16.384 tokens. Treinado em 240 GPUs NVIDIA B200 durante quatro dias, o sistema permite que empresas executem automação flexível de IA em ambientes locais com limitação de memória.
Como a arquitetura de fusão intermediária processa dados visuais
O modelo integra o codificador de visão SigLIP-2 com a base do modelo de linguagem Phi-4-Reasoning por meio de uma arquitetura de fusão intermediária. Nessa estrutura, o codificador de visão converte imagens de entrada em tokens visuais, que são projetados diretamente no espaço de incorporação do modelo de linguagem e injetados no modelo pré-treinado. O codificador de visão com resolução dinâmica suporta até 3.600 tokens visuais por imagem, permitindo a análise detalhada de documentos e o mapeamento de interfaces gráficas de usuário. A atenção bidirecional intra-imagem é aplicada para melhorar o raciocínio espacial e evitar o sobreajuste. Essa configuração processa entradas combinadas de texto e imagem dentro de um contexto de 16.384 tokens.
Por que tags explícitas alternam entre raciocínio e respostas rápidas
Tokens de modo explícito instruem o modelo a alternar entre inferência direta e raciocínio estendido em várias etapas. Operando como um sistema único, o modelo adapta seu modo de operação com base na complexidade da tarefa. Para tarefas visuais de baixa complexidade, como legenda de imagens, reconhecimento óptico de caracteres, localização de objetos e perguntas e respostas visuais diretas, o prompt adiciona um token nothink para gerar uma seção de solução concisa e lógica. Para tarefas de várias etapas envolvendo demonstrações matemáticas, diagramas científicos ou planejamento complexo, o sistema adiciona um token think. Nesse modo, a resposta inclui uma seção dedicada ao pensamento, na qual o modelo analisa perguntas, resume descobertas, gera ideias, verifica a precisão e corrige erros antes de apresentar a solução final.
Como a filtragem de dados reduziu os requisitos de computação
A filtragem sistemática de dados e a correção rigorosa de erros permitiram que a Microsoft atingisse alto desempenho com computação de treinamento moderada. O conjunto de dados de treinamento consiste em bases de dados abertas de visão e linguagem, dados específicos de equipes internas da Microsoft e aquisições direcionadas. O alinhamento foi alcançado por meio de ajuste fino supervisionado com exemplos de utilidade e inofensividade, além de amostras focadas em segurança para recusar discurso de ódio, violência, automutilação e conteúdo sexual explícito. A Microsoft realizou testes automatizados de red teaming no Azure para avaliar fundamentação, vulnerabilidade a jailbreaks, geração de conteúdo prejudicial e proteção de direitos autorais. O treinamento rodou em 240 GPUs NVIDIA B200 por 4 dias, entre 3 de fevereiro de 2025 e 21 de fevereiro de 2026.
O que muda para agentes de uso de computador
O modelo resolve tarefas de navegação visual na tela e raciocínio em documentos de várias etapas para agentes automatizados de computador. As organizações podem implantar o sistema para interpretar telas de computador, localizar elementos interativos de interface gráfica e executar ações de interface. Ele também extrai informações quantitativas de equações manuscritas, gráficos e tabelas financeiras ou técnicas. A arquitetura híbrida lida tanto com verificações visuais rápidas quanto com raciocínio complexo em ambientes com restrição de computação, permitindo que as empresas evitem implantar modelos separados para percepção e lógica. A Microsoft destaca que o modelo foi treinado principalmente em inglês e não se destina a diagnósticos médicos, conselhos jurídicos, planejamento financeiro ou decisões de alocação de recursos de alto impacto, como emprego ou crédito.
Requisitos para executar o modelo em hardware local
Os desenvolvedores podem acessar os pesos abertos sob a licença MIT do phi 4 reasoning vision 15b em diversos canais de distribuição. A Microsoft oferece downloads públicos no repositório phi 4 reasoning vision no Hugging Face e no GitHub, além de acesso corporativo pelo Microsoft Azure AI Foundry. A documentação oficial do modelo lista a Microsoft Corporation como desenvolvedora e a Microsoft Ireland Operations Limited como representante autorizada. Para integração técnica, o modelo exige torch 2.7.1 ou superior, transformers 4.57.1 ou superior e vllm 0.15.2 ou superior. Equipes de infraestrutura corporativa podem configurar o phi 4 reasoning vision para rodar localmente em GPUs NVIDIA A6000, A100 e H100.
Perguntas e respostas
O que é o Microsoft Phi-4-reasoning-vision-15B?
O Microsoft Phi-4-reasoning-vision-15B é um modelo multimodal de raciocínio com pesos abertos de 15 bilhões de parâmetros, construído sobre a base do Phi-4-Reasoning e o codificador de visão SigLIP-2. Lançado em 4 de março de 2026, ele processa texto e imagem em um contexto de 16.384 tokens com dois modos de execução: direto e cadeia de pensamento.
O Phi-4-reasoning-vision-15B é de código aberto sob a licença MIT?
Sim, a Microsoft lançou o Phi-4-reasoning-vision-15B sob a licença MIT. A licença concede acesso livre para desenvolvedores e empresas baixarem, executarem, adaptarem e criarem aplicações comerciais usando os pesos do modelo publicado.
É possível executar o Phi-4-reasoning-vision-15B em GPUs locais?
Sim, o modelo foi projetado para implantação em ambientes com restrição de computação e pode rodar em hardware local. A Microsoft testou o modelo em GPUs NVIDIA A6000, A100 e H100 usando as ferramentas PyTorch, Hugging Face Transformers e vLLM.
A visão da MOZGII
Como nós construiríamos
Se estivéssemos construindo um agente automatizado de documentos e interfaces usando este modelo de visão de quinze bilhões de parâmetros, começaríamos definindo regras rígidas de roteamento para entradas visuais. Rotearíamos tarefas simples, como a identificação de botões na tela ou a extração visual de caracteres, diretamente para o caminho de inferência rápida usando o token de modo de prompt. Para fluxos de trabalho complexos de várias etapas, como a análise de tabelas científicas manuscritas ou a navegação em interfaces dinâmicas de software, rotearíamos as entradas para o modo de raciocínio estendido. Manteríamos o codificador de visão e o modelo de linguagem integrados em unidades de processamento local de alta memória para evitar a latência da nuvem e manter o controle local sobre os dados do usuário.
Colocaríamos operadores humanos no processo para inspecionar casos limite em que o caminho de raciocínio visual falha. O sistema quebra quando os layouts de interface do usuário mudam inesperadamente ou quando a caligrafia em tabelas financeiras digitalizadas é ambígua demais para a atenção espacial resolver com precisão. Revisores humanos lidariam com esses erros sinalizados e enviariam máscaras de imagem corrigidas de volta ao nosso conjunto de avaliação local. A principal métrica que acompanharíamos seria a taxa de conclusão de tarefas para fluxos de trabalho visuais de várias etapas sem intervenção humana.
Em seguida, criaríamos um planejador de tarefas automatizado que converteria as saídas de raciocínio diretamente em comandos de automação de desktop. Essa extensão permitiria que nosso agente de software realizasse a navegação completa de interface de ponta a ponta em softwares de desktop.
Fontes
De onde vêm os fatos desta matéria.