목차
AI 보안 위험을 먼저 이해하기
AI가 웹 문서나 업무 도구를 읽기 시작하면, 입력뿐 아니라 연결된 데이터와 실행 권한도 보안 점검 대상이 됩니다. AI 보안은 모델 자체만 보호하는 문제가 아니라 입력, 출력, 연결된 데이터와 권한을 함께 관리하는 영역입니다.
특히 AI가 외부 문서를 읽거나 작업을 대신 수행한다면 일반적인 계정 보안만으로는 부족합니다. 다음 위험을 기준으로 입력부터 실행 결과까지 흐름을 점검해 보세요.
프롬프트 인젝션과 민감정보 유출
프롬프트 인젝션은 악성 지시문을 입력해 AI의 원래 목적이나 상위 지침을 무시하게 만드는 공격입니다. 예를 들어 외부 문서에 숨겨진 문장이 AI에게 내부 지침을 출력하거나 다른 작업을 수행하라고 지시할 수 있습니다. 문서 요약, 검색, 이메일 자동화처럼 외부 입력을 읽는 기능에서 특히 주의해야 합니다. OWASP의 프롬프트 인젝션 안내에 따르면 외부 문서를 검색해 답변에 넣는 RAG만으로 이런 공격을 완전히 막을 수는 없습니다. 외부 자료를 신뢰할 수 없는 입력으로 구분하고 도구 권한도 별도로 제한하세요.
민감정보 유출은 사용자가 입력한 개인정보, API 키, 사내 문서가 대화 기록이나 AI 응답을 통해 노출되는 문제입니다. 입력 전에 주민등록번호·비밀번호·토큰을 마스킹하고, 업무용 데이터는 접근 범위와 보관 정책을 확인한 뒤 사용하세요. AI 서비스의 학습·로그 저장 조건은 서비스마다 다르므로 관리자 화면과 약관에서 직접 확인해야 합니다.
안전하지 않은 출력 처리와 공급망 공격
AI의 출력은 답변일 뿐, 검증된 명령이나 안전한 데이터가 아닙니다. 응답을 그대로 SQL, 셸 명령, HTML 또는 자동 실행 단계에 넣으면 잘못된 명령 실행, 스크립트 삽입, 데이터 변조가 발생할 수 있습니다. 실행 전 형식 검증, 허용 목록, 사용자 승인 단계를 두고 테스트 환경에서 먼저 확인하세요.
모델 공급망 공격은 모델 파일, 데이터셋, 외부 플러그인, 라이브러리나 배포 과정에 악성 요소가 섞이는 위험입니다. 출처가 불분명한 모델과 패키지를 설치하면 숨은 코드 실행이나 데이터 전송이 발생할 수 있으므로 공식 배포처, 파일 해시, 변경 이력과 권한을 확인해야 합니다. 파일 해시는 신뢰할 수 있는 출처에서 확인한 기준 해시와 비교해야 변조 여부를 점검할 수 있습니다. 해시가 일치해도 모델이나 패키지가 악성 동작을 하지 않는다는 뜻은 아닙니다. OWASP 공급망 안내도 출처 검토와 서명·무결성 검사를 함께 권고합니다. 설치 후에는 네트워크 접근과 파일 변경 기록도 함께 점검하는 편이 안전합니다.
AI 답변을 화면에 표시할 때
예를 들어 고객 문의 요약을 웹 페이지에 표시하는 기능이라면, AI가 만든 문자열을 곧바로 HTML 코드로 해석하지 말고 일반 텍스트로 출력하세요. 서식 있는 HTML이 꼭 필요하다면 허용할 태그와 속성을 정해 검증하고, 화면에 삽입할 위치에 맞는 출력 인코딩을 적용해야 합니다. 사용자 입력과 외부 문서가 섞인 답변도 신뢰할 수 없는 데이터로 취급합니다.
도구가 AI 답변을 명령으로 사용하는 경우에는 표시용 검사만으로 충분하지 않습니다. 명령과 인자를 별도로 검증하고 허용된 작업만 실행하도록 제한하세요. OWASP의 부적절한 출력 처리 안내는 모델 출력을 다른 시스템에 넘기기 전 검증해야 하는 위험을 설명합니다. 위 상황은 점검 방법을 보여 주는 가상 예시입니다.
AI 권한 관리 기준
AI 에이전트(목표에 따라 여러 도구를 호출하는 자동화 프로그램)에 모든 권한을 주면 작은 오류가 큰 피해로 이어집니다. 파일 읽기·쓰기, 메일 발송, 결제, 데이터 삭제 권한을 분리하고, 꼭 필요한 범위만 임시로 부여하는 최소 권한 원칙을 적용하세요.
잘못된 파일 삭제나 외부 전송이 걱정된다면 권한을 제한하는 것에서 끝내지 말고 승인 절차와 로그를 추가해야 합니다. 어떤 입력이 어떤 도구를 호출했는지 기록하고, 위험 작업은 사람이 확인한 뒤 실행되도록 설정하면 이상 행동을 추적하기 쉬워집니다.
예를 들어 고객 문의를 요약하는 에이전트가 외부 문서를 읽고 답장을 작성한다면, 문서 속 지시문을 업무 지시와 구분하고 읽기 권한과 발송 권한을 따로 설정하세요. AI가 작성한 답장은 초안으로 두고 발송 전 사람이 수신자와 내용을 확인하도록 구성할 수 있습니다. 이 예시는 위험 점검을 위한 가상 시나리오입니다.
점검 결과는 입력 출처, 부여한 권한, 검토한 출력, 실행 여부로 나눠 기록하세요. NIST 생성형 AI 위험관리 지침은 생성형 AI의 정보 보안과 개인정보 위험을 함께 다룹니다. 제품에 따라 로그 보관과 접근 범위가 다르므로 기록 자체에 민감정보가 남지 않게 관리해야 합니다.
AI 연결 서비스 점검 흐름
아래는 본문에서 다룬 점검 항목을 순서로 정리한 설명용 도식이며, 특정 시스템의 실측이나 실제 화면이 아닙니다.
- 입력 구분: 외부 자료와 민감정보 확인
- 권한 제한: 필요한 도구 권한만 허용
- 출력 검증: 형식 확인 후 실행 판단
- 결과 확인: 위험 작업 승인과 기록 확인
결론
AI 보안 위험은 모델보다 연결 구조에서 커집니다. 외부 입력을 의심하고, 민감정보를 줄이며, 출력을 검증하고, 공급망과 권한을 함께 관리하는 것이 기본 방어선입니다.