AI가 방금 확인한 조건을 다음 답에서 놓치면, 사용자는 “분명히 말했는데 왜 잊었지?”라는 느낌을 받습니다. 이번 글에서는 같은 질문을 ChatGPT/OpenAI, Claude Code, AGY에 실제로 보내 받은 답을 비교했습니다. 아래 설명은 각 제공자가 말한 내용을 정리한 것이며, 공개되지 않은 서비스 내부 구현을 제가 확인했다는 뜻은 아닙니다.
세 AI에게 실제로 물어봤다
질문은 AI가 앞에서 분명히 말한 내용이나 사용자의 지시를 잊는 것처럼 보이는 구조적 이유, 한계, 사용자가 취할 대응을 짧게 설명해 달라는 내용이었습니다. 세 응답은 같은 질문과 같은 검증 경계 안에서 수집됐습니다.
ChatGPT/OpenAI는 답을 이렇게 시작했습니다.
AI가 “잊는” 데에는 몇 가지 구조적 이유가 있습니다.
이어 문맥 창의 크기, 확률적 생성, 새 지시와 기존 조건의 충돌, 대화 사이 지속성의 한계를 구분했습니다. 핵심 조건을 짧게 반복하고 긴 작업을 단계별로 나누며, 중요한 사실은 원문이나 공식 자료로 확인하라고 제안했습니다.
Claude Code의 첫 설명은 다음과 같았습니다.
AI가 방금 확실히 말한 내용도 잊는 것처럼 보이는 이유는 크게 두 가지 구조
때문입니다.
Claude Code는 현재 대화 내용으로 매번 답을 만든다는 점과 세션이 바뀔 때 자동으로 이어지지 않는다는 점을 중심으로 설명했습니다. 요약 시점이나 보존 기준 같은 세부 내부 구현은 확실히 알지 못한다고 선을 그었습니다.
AGY는 다음 문장으로 답을 시작했습니다.
AI가 사용자의 지시를 잊는 현상은 정보를 처리하고 유지하는 설계상 구조적 한계
때문에 발생합니다.
AGY는 컨텍스트 윈도우 제한, 긴 입력에서의 정보 집중 분산, 상태를 계속 누적하지 않는 기본 동작을 들었습니다. 다만 개별 상용 서비스의 메모리나 캐시 구현은 비공개 영역이라 정확히 알 수 없다고 덧붙였습니다.
공통점과 차이
세 답의 공통점은 AI가 사람처럼 대화 전체를 무한히 간직한다고 가정하지 않았다는 것입니다. 긴 대화에서는 오래된 조건이 현재 입력에서 빠지거나 약해질 수 있고, 별도 세션은 자동으로 연결된다고 보장할 수 없다는 방향도 같았습니다. 대응 방법으로는 중요한 조건을 다시 제시하고, 작업을 나누고, 중간 상태를 확인하라는 제안이 반복됐습니다.
강조점은 달랐습니다. ChatGPT/OpenAI는 확률적 생성과 지시 사이의 충돌까지 넓게 설명했습니다. Claude Code는 컨텍스트 한계와 세션 단절이라는 두 축으로 범위를 좁혔습니다. AGY는 긴 입력 안에서 중요한 정보가 묻힐 수 있다는 설명을 별도 항목으로 강조했습니다. 이것은 세 응답의 표현과 구성이 다르다는 뜻이지, 이번 자료만으로 각 서비스의 실제 내부 구조나 기억 성능 우열을 입증한다는 뜻은 아닙니다.
구조 설명
여기서 “잊었다”는 말은 하나의 현상을 가리키지 않습니다. 첫째, 앞부분이 현재 입력 범위에서 빠질 수 있습니다. 둘째, 내용이 입력 안에 남아 있어도 새 지시나 많은 정보 사이에서 우선순위가 달라질 수 있습니다. 셋째, 대화가 끝난 뒤 다음 세션에 같은 조건이 자동 전달되지 않을 수 있습니다. 넷째, 서비스가 제공하는 별도 기억 기능이 있더라도 그 범위와 설정은 제품마다 다를 수 있습니다.
따라서 AI가 앞말과 다른 답을 했다는 결과만 보고 정확한 내부 원인을 단정하면 안 됩니다. 현재 모델에 어떤 대화와 문서가 실제로 전달됐는지, 중간 요약이 있었는지, 세션이 바뀌었는지부터 확인해야 합니다. 확인할 수 없는 내부 처리 과정은 확인되지 않은 것으로 남겨 두는 편이 정확합니다.
대응 방법
중요한 결정은 대화 속 한 문장에만 두지 말고 항상 다시 읽을 수 있는 작업 문서에 기록합니다. 긴 작업은 “현재 상태”, “이번 범위”, “하지 않을 일”, “완료 조건”을 짧게 묶어 단계가 바뀔 때마다 확인합니다. AI가 완료를 보고하면 결과물, 실행 로그, 식별자처럼 사용자가 다시 확인할 수 있는 근거를 함께 요구합니다.
서로 충돌하는 지시가 생겼다면 최신 지시만 덧붙이기보다 무엇을 폐기하고 무엇을 유지하는지 명시합니다. 새 세션을 시작할 때에는 이전 대화 전체를 기억한다고 가정하지 않고, 필요한 결정과 미완료 항목만 정리해 전달합니다. 중요한 사실이나 외부 상태는 AI의 기억이 아니라 원문, 실제 파일, 공식 화면을 기준으로 확인합니다.
실제 사용에서 확인할 점
이번 글에는 특정 사용자의 경험을 입증하는 별도 자료를 넣지 않았습니다. 실제 작업에서는 먼저 AI가 현재 읽을 수 있는 문서와 대화 범위를 확인해 볼 수 있습니다. 같은 조건을 놓쳤다면 단순히 “기억해 달라”고 반복하는 데서 끝내지 말고, 조건이 작업 문서에 남아 있는지와 다음 단계에서 다시 읽히는지를 확인하는 편이 낫습니다.
AI의 답이 달라졌을 때도 곧바로 거짓말이나 고장으로 단정하기보다 입력 범위, 세션 경계, 지시 충돌, 확인하지 않은 외부 상태를 나눠 살펴야 합니다. 반대로 원인을 정확히 모르는 상태에서 “도구 특성상 그렇다”는 일반론으로 마무리해서도 안 됩니다. 확인된 범위와 미확인 범위를 구분하는 것이 긴 작업에서 앞말을 지키는 가장 현실적인 출발점입니다.