마이크로소프트, phi 4 reasoning vision 15b 모델 공개
마이크로소프트가 2026년 3월 4일 오픈 웨이트 멀티모달 모델인 phi 4 reasoning vision 15b를 MIT 라이선스로 공개했습니다. Phi-4-Reasoning 백본과 SigLIP-2 비전 인코더를 기반으로 구축된 이 15B 파라미터 모델은 16,384 토큰의 컨텍스트 길이로 텍스트와 이미지를 처리합니다. 240개의 NVIDIA B200 GPU에서 4일 만에 학습된 이 시스템을 통해 기업은 메모리가 제한된 로컬 환경에서 유연한 AI 자동화를 실행할 수 있습니다.
미드퓨전 아키텍처가 시각 데이터를 처리하는 방식
이 모델은 미드퓨전 디자인을 통해 SigLIP-2 비전 인코더를 Phi-4-Reasoning 언어 모델 백본과 통합합니다. 이 아키텍처에서 비전 인코더는 입력 이미지를 시각적 토큰으로 변환하고, 이 토큰은 언어 모델 임베딩 공간으로 직접 투영되어 사전 학습된 언어 모델에 주입됩니다. 동적 해상도 비전 인코더는 이미지당 최대 3,600개의 시각적 토큰을 지원하여 상세한 문서 분석과 그래픽 사용자 인터페이스 그라운딩을 가능하게 합니다. 과적합을 방지하면서 공간적 추론을 향상하기 위해 이미지 내 양방향 어텐션이 적용됩니다. 이러한 설정을 통해 16,384 토큰 컨텍스트 길이 내에서 결합된 텍스트 및 이미지 입력을 처리합니다.
명시적 태그가 사고와 빠른 응답 간을 전환하는 이유
명시적 모드 토큰은 모델이 직접 추론과 확장된 다단계 추론 사이를 전환하도록 지시합니다. 단일 시스템으로 작동하는 이 모델은 작업 복잡성에 따라 작동 모드를 조정합니다. 이미지 캡셔닝, 광학 문자 인식, 개체 위치 지정, 직접적 시각 질문 답변과 같이 복잡도가 낮은 시각적 작업의 경우 프롬프트에 nothink 토큰을 추가하여 간결하고 논리적인 솔루션 섹션을 생성합니다. 수학적 증명, 과학 다이어그램 또는 복잡한 계획이 포함된 다단계 작업의 경우 시스템은 think 토큰을 추가합니다. 이 모드에서 출력에는 최종 솔루션을 제시하기 전에 모델이 질문을 분석하고, 결과를 요약하고, 아이디어를 도출하고, 정확성을 검증하며, 오류를 수정하는 전용 사고 섹션이 포함됩니다.
데이터 필터링으로 연산 요구사항을 줄인 방법
체계적인 데이터 필터링과 엄격한 오류 정정을 통해 마이크로소프트는 적절한 학습 연산으로 높은 성능을 달성했습니다. 학습 데이터셋은 엄선된 오픈소스 비전-언어 데이터셋, 마이크로소프트 내부 팀의 도메인 특화 데이터, 타겟 데이터 수집으로 구성됩니다. 증오 발언, 폭력, 자해, 성적으로 노골적인 콘텐츠를 거부하는 안전 지향 샘플과 함께 유용성 및 무해성 예시를 사용한 지도 미세 조정을 통해 정렬을 달성했습니다. 마이크로소프트는 Azure에서 자동화된 레드팀 평가를 수행하여 접지성, 제일브레이크 취약성, 유해 콘텐츠 생성 및 저작권 보호를 평가했습니다. 학습은 2025년 2월 3일부터 2026년 2월 21일 사이에 240개의 NVIDIA B200 GPU에서 4일간 진행되었습니다.
컴퓨터 사용 에이전트에 미치는 영향
이 모델은 자동화된 컴퓨터 사용 에이전트를 위한 시각적 화면 탐색 및 다단계 문서 추론 과제를 해결합니다. 기업은 이 시스템을 배포하여 컴퓨터 화면을 해석하고, 대화형 그래픽 사용자 인터페이스 요소를 찾고, 사용자 인터페이스 작업을 실행할 수 있습니다. 또한 손으로 쓴 수식, 차트, 재무 또는 기술 표에서 정량적 정보를 추출합니다. 하이브리드 아키텍처는 연산이 제한된 환경에서 빠른 시각적 확인과 복잡한 추론을 모두 처리하므로 기업이 지각과 논리를 위한 별도의 모델을 배포하지 않아도 됩니다. 마이크로소프트는 이 모델이 주로 영어로 학습되었으며 의학적 진단, 법률 자문, 재무 계획 또는 고용이나 신용과 같은 중요한 자원 배분 결정에 사용하기 위한 것이 아니라고 설명합니다.
로컬 하드웨어에서 모델을 실행하기 위한 요구사항
개발자는 여러 배포 채널을 통해 phi 4 reasoning vision 15b mit license 하에 공개 웨이트에 액세스할 수 있습니다. 마이크로소프트는 phi 4 reasoning vision hugging face 저장소와 GitHub에서 공개 다운로드를 제공하며, Microsoft Azure AI Foundry를 통해 기업용 액세스도 제공합니다. 공식 모델 문서에는 개발자로 Microsoft Corporation이, 공인 대리인으로 Microsoft Ireland Operations Limited가 기재되어 있습니다. 기술 통합을 위해 이 모델은 torch 2.7.1 이상, transformers 4.57.1 이상, vllm 0.15.2 이상을 요구합니다. 기업 인프라 팀은 NVIDIA A6000, A100, H100 GPU에서 phi 4 reasoning vision run locally 환경을 구축할 수 있습니다.
자주 묻는 질문
마이크로소프트 Phi-4-reasoning-vision-15B란 무엇인가요?
마이크로소프트 Phi-4-reasoning-vision-15B는 Phi-4-Reasoning 백본과 SigLIP-2 비전 인코더를 기반으로 구축된 15B 파라미터 오픈 웨이트 멀티모달 추론 모델입니다. 2026년 3월 4일에 공개되었으며, 이중 직접 실행 및 생각의 사슬 실행 모드를 사용하여 16,384 토큰 컨텍스트 길이에 걸쳐 텍스트와 이미지 입력을 처리합니다.
Phi-4-reasoning-vision-15B는 MIT 라이선스 기반의 오픈소스인가요?
예, 마이크로소프트는 Phi-4-reasoning-vision-15B를 MIT 라이선스로 공개했습니다. 이 라이선스는 개발자와 기업이 공개된 모델 웨이트를 사용하여 상용 애플리케이션을 다운로드, 실행, 수정 및 구축할 수 있는 오픈 액세스를 부여합니다.
Phi-4-reasoning-vision-15B를 로컬 GPU에서 실행할 수 있나요?
예, 이 모델은 연산이 제한된 환경에서 배포할 수 있도록 제작되었으며 로컬 하드웨어에서 실행할 수 있습니다. 마이크로소프트는 PyTorch, Hugging Face Transformers, vLLM 프레임워크를 사용하여 NVIDIA A6000, A100, H100 GPU에서 모델을 테스트했습니다.
MOZGII의 시각
우리라면 이렇게 만듭니다
저희가 이 백오십억 개의 매개변수 비전 모델을 사용하여 자동화된 문서 및 인터페이스 에이전트를 구축한다면, 시각적 입력에 대한 엄격한 라우팅 규칙을 설정하는 것부터 시작할 것입니다. 화면 버튼 식별이나 시각적 문자 추출과 같은 간단한 작업은 프롬프트 모드 토큰을 사용해 빠른 추론 경로로 직접 라우팅할 것입니다. 손으로 쓴 과학 표를 분석하거나 동적 소프트웨어 인터페이스를 탐색하는 것과 같은 복잡한 다단계 워크플로의 경우, 입력을 확장 추론 모드로 라우팅할 것입니다. 클라우드 지연 시간을 피하고 사용자 데이터에 대한 로컬 제어권을 유지하기 위해 비전 인코더와 언어 모델을 로컬 고메모리 처리 장치에 통합된 상태로 유지할 것입니다.
저희는 시각적 추론 경로가 실패하는 예외 상황을 점검하기 위해 인간 작업자를 프로세스에 배치할 것입니다. 사용자 인터페이스 레이아웃이 예상치 않게 바뀌거나 스캔된 재무 표의 손글씨가 너무 모호하여 공간 어텐션으로 정확히 해결할 수 없을 때 시스템이 중단됩니다. 인간 검토자는 플래그가 지정된 이러한 오류를 처리하고 수정된 이미지 마스크를 로컬 평가 세트에 다시 반영할 것입니다. 저희가 추적할 주요 지표는 인간의 개입 없는 다단계 시각적 워크플로의 작업 완료율일 것입니다.
다음으로 저희는 추론 출력을 데스크톱 자동화 명령어로 직접 변환하는 자동화된 작업 플래너를 구축할 것입니다. 이러한 확장을 통해 저희의 소프트웨어 에이전트는 데스크톱 소프트웨어 전반에서 엔드 투 엔드로 완전한 인터페이스 탐색을 수행할 수 있을 것입니다.
출처
이 기사의 사실은 다음 출처에서 가져왔습니다.