자율성은 경계 하나씩 추가하세요
- 1 · 관찰
읽기 전용 작업부터 시작
효과적인 에이전트 시스템은 개방형 자율 시스템보다 단순하고 조합 가능한 업무 흐름에서 출발하는 경우가 많습니다. 실제 상태를 바꾸지 않는 검색, 분류 또는 행동 제안으로 먼저 판단 과정을 확인합니다.[1]
- 2 · 승인
영향이 큰 지점에 사람을 배치
생성형 AI 위험 관리는 명시적인 거버넌스, 측정과 관리가 필요합니다. 결제, 접근권한, 사람, 게시, 삭제와 Production 변경은 책임 있는 사람이 승인하게 합니다.[2]
- 3 · 복구
시도를 기록하고 롤백을 보존
도구가 늘어나면 모델 답변뿐 아니라 전체 경로를 평가해야 합니다. 입력, 도구 호출, 승인과 결과를 기록하고 작업을 멈추거나 되돌리는 방법을 시험합니다.[1][2]
에이전트는 권한 설계입니다
모델은 시스템의 한 부분일 뿐입니다. 실제 경계는 어떤 데이터를 읽고, 어떤 도구를 호출하며, 각 도구가 무엇을 바꿀 수 있는지입니다.[1][2]
먼저 하나의 좁은 결과를 적으세요. 그 결과에 필요한 데이터와 행동만 허용합니다. 일반 규칙이나 대기열이 안정적으로 처리할 수 있는 단계라면 모델을 넣지 않습니다.[1][2]
쓰기 전에 읽기
첫 버전은 실행보다 준비에 집중할 수 있습니다. 근거를 모으고, 변경을 초안하거나 다음 행동을 제안하면 사람은 정리 작업 없이 출처와 비교해 거절할 수 있습니다.[1][2]
측정 결과가 쓰기 권한의 가치를 보여준 뒤 하나의 제한된 행동을 추가합니다. Production 자격 증명은 프롬프트에 넣지 말고 도구마다 검증된 입력 계약을 둡니다.[1][2]
승인은 부작용 전에 있어야 합니다
이메일 전송이나 레코드 삭제 뒤의 확인은 통제가 아니라 감사 메시지입니다. 되돌리기 어려운 단계 전에 멈추고 대상, 근거와 정확한 변경안을 검토자에게 보여주세요.[2]
에이전트를 신뢰하는지만 묻는 승인 화면은 피합니다. 바쁜 검토자도 무슨 일이 일어나는지 이해할 만큼 구체적이어야 합니다.[2]
실패와 복구를 측정하세요
성공률만 보면 비용이 큰 사례가 가려집니다. 거절된 제안, 도구 오류, 권한 거부, 수동 수정, 롤백 시간과 안전하게 중단된 사고를 기록합니다.[2]
호주 조직이라면 업무 책임자와 기술 책임자를 정하고, 데이터 경계를 그린 뒤 대표적인 예외와 중단 절차를 시험한 후 권한을 넓히세요.[2]
- 하나의 결과와 한 명의 책임자
- 도구별 최소 권한
- 중요한 쓰기 전 사람의 승인
- 변조하기 어려운 행동 기록
- 시험한 중단·롤백 경로