목차
AI 보안 위험을 먼저 이해하기
이 글은 웹 기반 AI 서비스나 API를 사용하고, AI가 문서·업무 도구와 연결될 수 있는 환경을 전제로 합니다. AI 보안은 모델 자체만 보호하는 문제가 아니라 입력, 출력, 연결된 데이터와 권한을 함께 관리하는 영역입니다.
특히 AI가 외부 문서를 읽거나 작업을 대신 수행한다면 일반적인 계정 보안만으로는 부족합니다. 다음 위험을 기준으로 입력부터 실행 결과까지 흐름을 점검해 보세요.
프롬프트 인젝션과 민감정보 유출
프롬프트 인젝션은 악성 지시문을 입력해 AI의 원래 목적이나 상위 지침을 무시하게 만드는 공격입니다. 예를 들어 외부 문서에 숨겨진 문장이 AI에게 내부 지침을 출력하거나 다른 작업을 수행하라고 지시할 수 있습니다. 문서 요약, 검색, 이메일 자동화처럼 외부 입력을 읽는 기능에서 특히 주의해야 합니다.
민감정보 유출은 사용자가 입력한 개인정보, API 키, 사내 문서가 대화 기록이나 AI 응답을 통해 노출되는 문제입니다. 입력 전에 주민등록번호·비밀번호·토큰을 마스킹하고, 업무용 데이터는 접근 범위와 보관 정책을 확인한 뒤 사용하세요. AI 서비스의 학습·로그 저장 조건은 서비스마다 다르므로 관리자 화면과 약관에서 직접 확인해야 합니다.
안전하지 않은 출력 처리와 공급망 공격
AI의 출력은 답변일 뿐, 검증된 명령이나 안전한 데이터가 아닙니다. 응답을 그대로 SQL, 셸 명령, HTML 또는 자동 실행 단계에 넣으면 잘못된 명령 실행, 스크립트 삽입, 데이터 변조가 발생할 수 있습니다. 실행 전 형식 검증, 허용 목록, 사용자 승인 단계를 두고 테스트 환경에서 먼저 확인하세요.
모델 공급망 공격은 모델 파일, 데이터셋, 외부 플러그인, 라이브러리나 배포 과정에 악성 요소가 섞이는 위험입니다. 출처가 불분명한 모델과 패키지를 설치하면 숨은 코드 실행이나 데이터 전송이 발생할 수 있으므로 공식 배포처, 파일 해시, 변경 이력과 권한을 확인해야 합니다. 설치 후에는 네트워크 접근과 파일 변경 기록도 함께 점검하는 편이 안전합니다.
AI 권한 관리 기준
AI 에이전트(목표에 따라 여러 도구를 호출하는 자동화 프로그램)에 모든 권한을 주면 작은 오류가 큰 피해로 이어집니다. 파일 읽기·쓰기, 메일 발송, 결제, 데이터 삭제 권한을 분리하고, 꼭 필요한 범위만 임시로 부여하는 최소 권한 원칙을 적용하세요.
잘못된 파일 삭제나 외부 전송이 걱정된다면 권한을 제한하는 것에서 끝내지 말고 승인 절차와 로그를 추가해야 합니다. 어떤 입력이 어떤 도구를 호출했는지 기록하고, 위험 작업은 사람이 확인한 뒤 실행되도록 설정하면 이상 행동을 추적하기 쉬워집니다.
결론
AI 보안 위험은 모델보다 연결 구조에서 커집니다. 외부 입력을 의심하고, 민감정보를 줄이며, 출력을 검증하고, 공급망과 권한을 함께 관리하는 것이 기본 방어선입니다.