유용한 AI에서 통제된 행동으로: 기업 에이전트에 실제로 집행되는 경계가 필요한 이유

데이터를 읽고 서비스를 호출하며 기업을 위해 행동하는 AI의 실용적인 검증 기준: 지시문에서만이 아니라 행동이 일어나는 지점에서 권한을 확인해야 한다. — Original editorial illustration

Introduction: AI 에이전트가 할 수 있는 일을 누가 결정하는가?

AI 도우미는 대화 밖의 어떤 것도 바꾸지 않고 유용한 답변을 만들 수 있다. 업무 시스템에 연결된 에이전트는 다른 검증을 받아야 한다. 고객 파일을 읽거나 서비스를 호출하거나 결제를 제안할 수 있기 때문이다. 중요한 질문은 더 이상 답변이 그럴듯하게 들리는지에만 있지 않다. 이 사람을 위해, 이 기록에 대해, 이 시점에 각 행동이 허용되는지가 중요하다. 최근 오픈소스 정책 엔진 연구는 이 차이를 분명히 보여 준다. 기업이 얻을 교훈은 개별 프로젝트보다 넓다. 지시는 시스템을 안내하지만, 실제로 할 수 있는 일은 접근 통제로 제한해야 한다.

1. 프롬프트는 접근 통제가 아니다

기밀 정보를 보내지 말라고 쓰는 것은 유용한 지침이다. 하지만 광범위한 권한의 자격 증명을 없애거나 불필요한 내보내기 기능을 끄지는 않는다. 과도한 행위 권한에 대한 지침은 사용 가능한 기능을 제한하고, 연결된 시스템의 권한을 줄이며, 요청을 실행하는 시스템에서 인가를 집행할 것을 권한다. 같은 커넥터가 삭제 기능을 제공한다는 이유만으로 문서를 읽는 작업에 삭제 권한까지 주어서는 안 된다. 유용한 행동의 최소 집합으로 시작한 다음 모든 요청을 의도한 범위와 대조해야 한다.

[4] [5]

2. 신원과 권한은 서로 다른 질문이다

확인된 신원은 누가 요청하는지를 알려 준다. 그것만으로 해당 요청을 할 권한까지 입증되지는 않는다. 제로 트러스트 아키텍처는 인증과 인가를 구분한다. 기업 에이전트의 판단은 요청한 사람, 소프트웨어 신원, 구체적인 자원, 제안된 행동을 연결해야 한다. 공유 관리자 계정은 이런 구분을 더 어렵게 한다. 모든 업무 흐름에 똑같이 광범위한 권한을 주기보다 관련 사용자의 맥락을 유지하는 제한된 접근을 택하는 편이 낫다.

[4] [6]

3. 행동이 일어나는 곳에 검사를 배치한다

정책 서비스는 도구 요청이 목적지에 도달하기 전에 허용하거나 거부하거나 승인을 요구할 수 있다. 그러나 배치 위치가 중요하다. 게이트웨이는 그곳을 지나는 트래픽을 보호하며, 우회하는 다른 경로까지 통제한다고 가정할 수 없다. 호스트 격리와 네트워크 통제는 서로 다른 경로를 다룬다. 보호 범위를 주장하기 전에 로컬 파일, 하위 프로세스, 네트워크 서비스, 위임된 호출을 파악해야 한다. 평소 시연 경로뿐 아니라 가능한 모든 경로를 통해 금지된 행동을 시험해야 한다.

[1] [5]

4. 감사 기록은 증거이지 자동적인 입증이 아니다

최근 정책 엔진 연구는 이후 변경을 탐지하도록 선택적인 서명과 해시 연결을 사용할 수 있는 결정 기록을 설명한다. 이런 기능은 조사를 강화할 수 있다. 하지만 정책이 옳았는지, 모든 경로가 통제되었는지, 허용된 행동이 좋은 경영 판단이었는지를 입증하지는 않는다. 신원, 자원, 요청된 행동, 결정, 승인 참조를 기록해야 한다. 기록에 불필요한 민감 정보가 들어가지 않게 보호하고, 검토자가 실제 사건을 재구성할 수 있는지 시험해야 한다.

[1] [2]

5. 작지만 의도적으로 어려운 시범 운영을 한다

책임자가 명확하고 결과를 측정할 수 있는 업무 흐름 하나를 고른다. 필요한 기록과 행동만 제공한다. 만료된 승인, 무관한 고객 기록, 문서에 삽입된 지시, 다른 목적지를 사용하라는 요청을 시험한다. 무엇을 거부해야 하며 무엇을 사람의 판단까지 기다리게 해야 하는지 정의한다. 정책 서비스를 이용할 수 없을 때의 실패 동작도 확인한다. 성공적인 시범 운영은 성공적인 실행만큼 명확하게 통제된 거부를 보여 주어야 한다.

[1] [2] [5]

Conclusion: 자율성보다 먼저 권한을 측정한다

초기 단계의 오픈소스 작업은 유용한 기술 참고 자료이지 운영 환경의 보증이 아니다. 기업 책임자는 접근을 넓히기 전에 범위 제한의 실제 집행, 우회 시험, 활용 가능한 사고 기록의 증거를 요구해야 한다. 목적은 모든 행동을 느리게 만드는 데 있지 않다. 허용된 업무는 믿을 수 있게, 금지된 업무는 수행하기 어렵게 만드는 데 있다. 더 나은 추론은 에이전트가 행동을 고르는 데 도움을 준다. 실제로 집행되는 권한은 기업이 그 행동을 허용해야 하는지를 결정한다.

By Keshavan Thiagaraja

AI 컨설턴트. 엔터프라이즈 IT 설계자.

Private AI Model Developer & AI Security Consultant - Helping SMEs and Enterprises Build Secure AI Solutions, Sydney, Australia
B.Sc. (Computer Science, Mathematics and Statistics)
M.Sc. (Information Technology)
E-Commerce Professional