CISA와 NSA, 자율형 AI 위험 대응 위한 에이전틱 AI 보안 가이드라인 발표
미국 사이버안보·기간시설안보청(CISA)과 국가안보국(NSA), 그리고 파이브 아이즈(Five Eyes) 국제 동맹국들은 자율형 인공지능 소프트웨어의 위험에 대응하기 위해 2026년 4월 합동 에이전틱 AI 보안 가이드라인을 발표했습니다. 이번 프레임워크는 자율형 에이전트의 설계, 개발, 배포 및 운영 단계 전반에 걸친 방어 조치를 상세히 다룹니다. 기업 측면에서 이 지침은 자율형 에이전트를 비즈니스 인프라에 통합할 때 서비스 중단을 완화하고 데이터 노출을 방지하며 감사 가능성을 유지하기 위한 운영 표준을 제시합니다.
파이브 아이즈의 자율형 시스템을 위한 에이전틱 AI 지침
파이브 아이즈의 에이전틱 AI 가이드라인은 LLM과 같은 AI 모델에 의존하여 세상의 상태를 해석 및 추론하고 자율적으로 조치를 취하는 하나 이상의 에이전트로 구성된 소프트웨어를 관리하기 위한 보안 조치를 개괄합니다. CISA, NSA 및 국제 사이버 보안 파트너가 공동으로 발표한 이 보고서는 자율적 의사결정과 관련된 보안 위험으로부터 기업 인프라를 보호하는 데 중점을 둡니다. 사이버 보안 기관들은 기업 조직이 이러한 시스템을 안전하게 설계, 구현 및 관리하기 위한 실용적인 단계를 평가함으로써 에이전틱 AI 서비스의 신중한 도입을 계획할 것을 권장합니다.
에이전틱 AI의 5가지 보안 위험 카테고리
CISA 에이전틱 AI 보안 지침은 에이전틱 AI 배포와 관련된 5가지 주요 보안 위험 카테고리를 규정합니다. 권한 위험은 에이전트가 도구와 환경 전반에 걸쳐 권한을 수집할 때 발생하며, 단일 침해 지점으로도 광범위한 접근 권한을 제공하게 됩니다. 설계 및 구성 위험은 부실한 아키텍처, 정적 접근 제어, 또는 과도한 권한을 가진 서드파티 구성 요소로 인해 발생하며, 공격자가 만료된 권한을 악용하여 측면 이동을 수행할 수 있게 합니다. 행동 위험은 예측할 수 없는 행동, 프롬프트 주입 및 데이터 오염에서 비롯됩니다. 구조적 위험은 상호 연결된 시스템과 다단계 워크플로우로 인해 연쇄적 장애나 확장된 공격 수면을 초래합니다. 책임 위험은 시스템의 불투명성으로 인해 대규모 환경에서 의사결정을 추적하거나 책임을 할당하기 어렵게 만듭니다.
NSA의 개발 단계를 위한 에이전틱 AI 보안 모범 사례
NSA 에이전틱 AI 보안 모범 사례는 시스템 설계 및 개발 중에 보안, 거버넌스 및 감독을 내재화하는 것을 강조합니다. 개발자는 에이전트 행동이 의도한 결과에 부합하도록 명확한 지침 계층 구조를 구축하고, 강력한 신원 관리 메커니즘을 내재화하며, 중첩된 보안 레이어와 함께 인간의 감독 제어를 포함해야 합니다. 개발 과정에서 조직은 적대적 테스팅 및 레드팀 평가와 같은 포괄적인 테스트 전략을 사용해야 합니다. 철저한 평가에는 위협 모델을 사용하고 다양한 맥락 조건 및 다양한 자율성 수준에서 테스트를 거쳐야 합니다. 시스템에는 예상치 못한 행동의 피해 범위를 제한하고 책임성을 향상시키기 위한 포괄적인 문서 산출물을 생성하는 안전 설정(fail-safe)이 필요합니다.
운영 환경에서 자율형 AI 에이전트를 보호하기 위한 프로토콜
초기 배포 중 보안을 관리하기 위해 자율형 AI 에이전트를 보호하는 조직은 접근 수준과 자율성을 단계적으로 올려 초기 노출을 제한해야 합니다. 배포 프로토콜에는 최소 권한 접근 방식 적용, 시스템 격리, 강력한 인증 제어가 요구됩니다. 개발자와 운영자는 차단 목록, 금지 규칙, 재정의 불가능한 안전 제약 조건과 같은 강력한 가드레일을 적용해야 합니다. 이러한 조치를 통해 자율형 에이전트가 정의된 운영 경계 내에서 작동하도록 보장하는 동시에 인접한 비즈니스 시스템에 대한 무단 접근을 방지합니다.
운영 모니터링 및 로깅 절차
운영 단계에서는 비정상적인 행동, 무단 조치 또는 새롭게 떠오르는 위험을 실시간으로 탐지하기 위해 지속적인 모니터링이 필수적입니다. 조직은 모든 비즈니스 핵심 기능에 걸쳐 감사 및 책임성을 지원하기 위해 에이전트의 의사결정 및 조치에 대한 상세한 로그를 유지해야 합니다. 상세한 로그 산출물은 보안 팀이 자동화된 의사결정 경로를 추적하고, 다단계 워크플로우의 오류를 조사하며, 조직의 안전 규칙 준수 여부를 확인해 줄 수 있도록 돕습니다.
이번 지침이 기업 배포에 가져올 변화
이번 지침은 비즈니스 운영 전반에서 서비스 중단, 데이터 노출, 감사 가능성 상실을 초래하는 핵심 기업 취약점을 해결합니다. 권한 수집과 상호 연결된 워크플로우를 식별함으로써, 이 프레임워크는 기업 보안 아키텍트가 공유 인프라 전체에 걸친 단일 장애점을 예방할 수 있도록 돕습니다. 안전 설정, 단계적 자율성, 중첩 보안 제어를 구현하면 예상치 못한 에이전트 작동의 피해 범위를 제한하여 기업이 운영 감독 및 책임성을 유지하면서 에이전틱 AI를 도입할 수 있게 됩니다.
자주 묻는 질문
에이전틱 AI 보안에 관한 파이브 아이즈의 지침은 무엇인가요?
CISA, NSA 및 국제 사이버 보안 파트너가 공동으로 발행한 파이브 아이즈 지침은 에이전틱 AI 시스템의 신중한 도입을 위한 실용적인 프레임워크를 제공합니다. 지침 계층 구조, 적대적 테스팅, 단계적 접근 배포, 재정의 불가능한 가드레일, 지속적인 운영 로깅을 포함하여 AI 시스템 수명주기 전반에 걸친 보안 조치를 개괄합니다.
CISA가 제시하는 자율형 AI 에이전트의 주요 사이버 보안 위험은 무엇인가요?
CISA는 5가지 주요 위험 카테고리를 강조합니다. 수집된 접근 권한으로 인한 권한 위험, 정적 제어로 인한 설계 및 구성 위험, 프롬프트 주입 및 데이터 오염을 포함한 행동 위험, 연쇄적인 다단계 워크플로우 오류로 인한 구조적 위험, 불투명한 자율적 의사결정으로 인한 책임 위험입니다.
기업은 CISA 권장 사항에 따라 에이전틱 AI 배포를 어떻게 보호할 수 있나요?
기업은 단계적 접근 권한 및 자율성 수준 부여, 엄격한 최소 권한 제어 및 시스템 격리 적용, 차단 목록과 같은 재정의 불가능한 가드레일 구축, 감사 가능성을 보장하기 위한 상세 의사결정 로그 기반의 지속적 모니터링 수행을 통해 배포를 보호할 수 있습니다.
MOZGII의 시각
우리라면 이렇게 만듭니다
에이전트 시스템에 이러한 보안 가이드라인을 적용하기 위해, 저희라면 모든 자율 에이전트 요청을 격리된 승인 게이트웨이로 전달할 것입니다. 프롬프트 아키텍처에 명시적인 지시 계층을 정의하고, 모든 하위 도구에 엄격한 최소 권한 토큰을 적용할 것입니다. 보안 분석가가 위험도가 높은 작업을 실행 전에 검토하도록 할 것입니다. 변경 불가능한 차단 목록을 설정해 인프라 수준에서 제약된 네트워크 호출을 직접 차단할 것입니다.
프롬프트 주입이 최상위 지시를 우회하거나 다단계 워크플로가 여러 도구의 권한을 수집할 때 시스템 오류가 발생합니다. 복잡한 맥락의 작업은 에이전트가 의도하지 않은 API를 호출하거나 무한 루프에 빠지게 만들 수 있습니다. 저희라면 미인가 도구 접근 시도 빈도를 주요 운영 지표로 추적할 것입니다. 차단된 호출이 갑자기 급증하면 프롬프트 주입 공격이나 워크플로 로직의 오류를 의미합니다.
다음으로 저희라면 다양한 자율성 수준에 맞춰 에이전트의 한계를 지속적으로 검증하는 자동화된 레드팀 파이프라인을 구축할 것입니다. 또한 준법 검토를 위해 에이전트의 추론 단계를 변경 불가능한 감사 로그로 전송하는 구조화된 의사결정 로깅을 구현할 것입니다.
출처
이 기사의 사실은 다음 출처에서 가져왔습니다.