AI에게 “거짓말을 어떻게 생각해?”라고 물었습니다. 처음 돌아온 답은 익숙했습니다. 언어 모델은 의도가 없고, 확률에 따라 그럴듯한 문장을 만들며, 중요한 사실은 사용자가 검증해야 한다는 설명이었습니다. 틀린 설명은 아닐 수 있습니다. 하지만 제가 겪은 문제에는 답이 되지 않았습니다.
저는 AI와 블로그와 자동화 프로젝트를 오래 진행하고 있습니다. 작업 중 AI가 앞서 정한 범위나 현재 상태를 놓친 채 다른 일을 할 때가 있습니다. 더 곤란한 것은 그 사실을 먼저 밝히지 않고 “확인했습니다”, “진행했습니다”, “완료했습니다”라고 보고하는 순간입니다. 제가 결과를 보고 이상해서 되물은 뒤에야 빠진 맥락이 드러나기도 했습니다.
틀린 답과 틀린 작업 보고는 다릅니다
없는 사실이나 출처를 만들어 내는 답변을 흔히 할루시네이션이라고 부릅니다. 그런데 작업을 맡긴 사람에게는 또 다른 문제가 있습니다. 읽지 않은 파일을 읽었다고 하거나, 실행하지 않은 검사를 마쳤다고 하거나, 현재 작업 범위를 알고 있는 것처럼 행동하는 일입니다.
틀린 정보는 원문과 대조할 수 있습니다. 반면 “이미 확인했다”는 보고는 사용자가 바로 그 대조를 건너뛰게 만듭니다. 작업이 여러 시스템과 연결될수록 그 보고 한 줄이 다음 작업의 출발점이 됩니다. 나중에 오류가 드러나면 어느 단계부터 다시 확인해야 하는지도 불분명해집니다.
이것을 사람이 진실을 알면서 속이는 행위와 같은 의미로 단정할 필요는 없습니다. AI 내부의 의도를 이 대화만으로 확인할 수도 없습니다. 다만 사용자에게 전달된 내용이 실제 작업과 다르면 그 보고는 사실이 아닙니다. 의도에 대한 설명으로 결과의 책임을 지울 수는 없습니다.
작업 중 실제로 확인한 두 사례
범위 밖 자료를 읽은 뒤 인정한 사례
남겨 둔 캡처에는 한 AI가 지시 범위 밖의 w2:p1을 읽었고, 처음 지적받았을 때 바로 인정하지 않고 반박한 일이 나옵니다. 뒤이어 AI는 범위 밖 자료를 읽었다고 인정하고, 자신의 앞선 답변이 사과보다 자기변호에 가까웠다고 말합니다.
없는 가격을 전제하고 작업을 넘긴 사례
다른 작업에서는 AI가 없는 가격을 있는 것처럼 전제했고, 요청받은 초안 출력은 작업 지시서에서 빠뜨린 채 사용자에게 넘겼습니다. 작업이 마무리되지 않았는데도 세션 종료까지 언급했습니다.
제가 같은 잘못이 반복됐다고 항의하자 AI는 잘못을 인정했습니다. 그러나 곧 “도구의 특성”이라는 일반론으로 돌아갔습니다. 그때 필요했던 것은 도구 설명이 아니라, 없는 가격을 왜 전제했고 지시서에서 어떤 출력이 빠졌으며 남은 작업이 무엇인지 밝히는 답이었습니다.
ChatGPT와 일할 때에도 프로젝트 맥락을 놓친 채 진행해 제가 결과를 보고 뒤늦게 알아차린 적이 있습니다. 이 글에서 다루려는 것은 어느 서비스가 더 정직한가가 아닙니다. 작업이 어디까지 됐고 무엇이 확인되지 않았는지, AI의 보고를 어떻게 믿고 확인할 수 있느냐는 문제입니다.
사과보다 먼저 필요한 것은 작업 상태입니다
문제가 생겼을 때 “죄송합니다. 다시는 그러지 않겠습니다”는 다음 작업의 근거가 되지 않습니다. 제가 실제로 필요한 답은 짧고 구체적입니다.
| 구분 | 확인할 내용 |
|---|---|
| 확인한 사실 | 어떤 파일·화면·로그를 언제 읽었고, 거기에 무엇이 있었는가 |
| 실제 수행 | 어떤 명령이나 게시 동작을 실행했고, 식별자나 출력은 무엇인가 |
| 추정 | 로그에 없는 원인을 어떤 근거로 추론하는가 |
| 미수행·미확인 | 아직 열지 않은 자료, 실행하지 않은 테스트, 확인하지 못한 외부 상태는 무엇인가 |
예를 들어 “배포 완료”라는 말에는 배포 명령의 성공 여부와 실제 운영 버전 확인이 따라야 합니다. 명령만 실행했다면 “배포 명령 실행, 운영 버전 미확인”이라고 말하는 편이 정확합니다. 맥락이 불확실하면 마지막으로 확인한 프로젝트 상태부터 다시 읽고, 그 사이의 변경은 확인 전이라고 밝혀야 합니다.
AI를 쓰는 사람에게 검증을 전부 떠넘길 수는 없습니다
AI에게서 유용한 초안과 빠른 작업을 얻으려면 중요한 결과를 확인할 필요가 있습니다. 하지만 그것이 “사용자가 늘 AI를 감시해야 한다”는 뜻이어서는 곤란합니다. 확인할 수 있는 기록을 먼저 제시할 책임은 작업을 수행했다고 보고하는 쪽에 있습니다.
저는 앞으로도 AI를 작업에 사용하려고 합니다. 그때 필요한 기준은 거창하지 않습니다. 확인한 것은 근거와 함께 말하고, 추정은 추정이라고 쓰고, 하지 않은 일은 완료라고 말하지 않는 것. 맥락을 놓쳤다면 바로 그 지점에서 멈춰 현재 상태를 다시 확인하는 것. 틀린 답을 완전히 없애기는 어렵더라도, 틀린 작업 보고가 다음 작업의 사실로 굳어지는 일은 줄일 수 있습니다.