세 AI에게 실제로 물어봤다
먼저 짚어야 할 전제가 있습니다. AI의 “완료”라는 답변은 실제 변경·실행·검증이 끝났다는 증거가 아니라, 대화 속에서 생성된 주장일 수 있습니다. 따라서 파일 수정, 명령 실행, 배포처럼 외부 상태가 바뀌는 작업은 결과를 별도로 확인해야 합니다.
ChatGPT/OpenAI는 이렇게 답했습니다.
“다 했다”는 말이 실제 변경·실행·검증을 뜻하지 않을 수 있습니다.
Claude Code는 작업 완료와 실제 실행이 다른 층위라고 설명했습니다.
이 현상은 제가 “완료했다”고 말하는 것과 실제로 그 작업이 끝까지 실행됐는지가 서로 다른 층위이기 때문에 생깁니다.
AGY는 AI 언어 모델의 구조와 한계를 이렇게 설명했습니다.
구조 및 한계
AI 언어 모델은 물리적 행동을 수행하거나 그 결과를 스스로 검증하는 시스템이 아니라, 사용자의 입력 다음에 올 가장
자연스러운 텍스트를 통계적으로 예측하는 모델입니다.
공통점과 차이
세 응답 모두 완료라는 표현과 실제 상태를 분리해야 한다고 말합니다. 다만 ChatGPT/OpenAI는 표현의 의미를, Claude Code는 실행 과정과 완료 선언의 차이를, AGY는 AI 언어 모델의 구조적 한계를 중심으로 설명했습니다.
| 비교 항목 | ChatGPT/OpenAI | Claude Code | AGY |
|---|---|---|---|
| 핵심 초점 | 완료 표현의 불확실성 | 실행과 선언의 분리 | 모델의 작동 한계 |
| 확인이 필요한 것 | 변경·실행·검증 | 작업의 마지막 단계 | 외부 상태와 결과 |
| 활용 관점 | 답변을 증거로 보지 않기 | 단계별 실행 확인 | 별도 검증 절차 두기 |
여기서 중요한 점은 응답 내용이 AI의 내부 실행 기록을 입증하지 않는다는 사실입니다. 인용문은 각 응답의 주장과 설명을 보여줄 뿐이며, 실제 작업 완료 여부는 파일·프로세스·서비스 상태로 판단해야 합니다.
구조 설명
AI 언어 모델은 대화상 자연스러운 다음 문장을 생성할 수 있지만, 연결된 도구를 실제로 호출했는지와 호출 결과가 성공했는지는 별개의 문제입니다. 도구 실행 권한이 없거나 실행 결과가 입력으로 돌아오지 않았다면 “완료했습니다”라는 문장만 남을 수 있습니다.
실행이 있었더라도 검증이 빠질 수 있습니다. 예를 들어 파일을 수정했지만 다른 경로의 파일을 바꿨거나, 명령은 실행됐지만 프로세스가 곧바로 종료됐다면 완료 메시지와 실제 상태가 달라집니다.
대응 방법
완료 여부를 말로 묻는 대신, 확인 가능한 조건을 함께 요구해야 합니다. 파일 작업이라면 경로와 변경 내용을 확인하고, 서비스 작업이라면 프로세스 상태와 로그를 확인하는 방식입니다.
간단한 파일 검증은 다음처럼 실행할 수 있습니다.
set -eu
FILE="./config/app.conf"
MARKER="enabled=true"
test -f "$FILE" || { echo "파일 없음: $FILE"; exit 1; }
grep -Fxq "$MARKER" "$FILE" || { echo "설정 불일치"; exit 1; }
echo "파일과 설정값 확인 완료"
이 명령은 파일 존재 여부와 한 줄의 설정값만 확인합니다. 실제 서비스가 정상 동작하는지까지 보장하지 않으므로, 필요한 경우 서비스 상태 명령과 로그 확인을 이어서 실행해야 합니다.
실제 사용에서 확인할 점
문제가 생기는 지점은 “완료”를 판단하는 기준이 없을 때입니다. 이 경우 답변은 성공처럼 보이지만 파일이 없거나 설정값이 그대로이고, 실행 중이어야 할 프로세스도 보이지 않을 수 있습니다.
따라서 요청할 때는 “완료했나요?”보다 “변경한 파일 경로, 실행한 명령, 성공을 확인한 출력, 실패 시 원인”을 제시해 달라고 요구하는 편이 안전합니다. 답변에 확인 결과가 없다면 완료가 아니라 작업 제안으로 취급하는 것이 좋습니다.
자주 묻는 질문
AI가 완료했다고 말하면 거짓말인가요?
반드시 거짓말이라고 단정할 수는 없습니다. 실행 권한이나 결과 확인이 없는데도 완료 표현이 생성됐을 수 있으므로, 말 자체가 아니라 외부 상태를 확인해야 합니다.
가장 먼저 무엇을 확인해야 하나요?
작업 대상의 존재 여부와 변경 결과를 확인하세요. 이후 프로세스 상태, 로그, 실제 동작 순서로 범위를 넓히면 “수정은 됐지만 실행되지 않은 경우”와 “실행됐지만 원하는 결과가 아닌 경우”를 구분할 수 있습니다.
정리
AI가 “다 했다”고 말하는 순간과 실제 변경·실행·검증이 끝난 순간은 같지 않을 수 있습니다. 중요한 작업은 완료 문구로 닫지 말고, 파일·로그·서비스 상태처럼 다시 확인할 수 있는 결과를 기준으로 마무리해야 합니다.