AI와 함께 일하기 ③ — 긴 대화는 왜 나빠지는가
2026-08-29
저는 한동안 AI 창(세션) 한 개를 오랫동안 열어 두고 일했습니다. 맥락이 쌓여 있으니 설명을 덜 해도 된다고 여겼고, 실제로 처음 얼마간은 편했습니다.
그런데 어느 지점을 넘어서면 아침에 정한 것을 저녁에 다시 말해야 했고, 같은 자료를 두고도 답이 조금씩 달라졌습니다.
저는 대화가 끊기는 것만 문제라고 보았습니다. 창을 닫으면 사라지니 안 닫으면 된다고 생각한 것인데, 실제로 저를 더 힘들게 하는 것은 중간 맥락 사라짐 현상(lost in the middle)이었습니다.
창은 살아 있는데도 길어질수록 앞에서 정한 기준이 뒤의 말에 밀렸고, 저는 사흘이 지나서야 처음 정한 기준 하나가 조용히 바뀌어 있는 것을 확인했습니다.
대화가 끊기면 바로 알지만, 조용히 흐려지는 것은 알아채지 못합니다. 대화는 계속 매끄럽고 답도 계속 그럴듯하기 때문입니다.
먼저 왜 그런지를 알아 두었습니다. 언어 모델은 다음에 올 말을 고를 때 "사실에 맞는 말"이 아니라 "가장 그럴듯한 말"을 고릅니다. 정확성과 일관성이 어긋나면 일관성을 택합니다. 앞에서 흐름이 한번 기울면, 뒤의 답은 그 기울기를 따라 매끄럽게 이어집니다. 그리고 맥락이 길어지면 그 가운데 놓인 것이 특히 약해지는데, Liu 등의 연구(TACL 2024)는 같은 정보를 긴 입력의 앞과 가운데와 뒤에 각각 놓고 재어 가운데 놓였을 때 성능이 뚜렷하게 떨어지는 것을 보였고, 그 이름을 "lost in the middle"이라 붙였습니다. 마운트 시나이 연구(2025)는 임상 사례에 없는 검사 이름 하나를 끼워 넣고 여섯 모델에게 물었더니 완화 장치 없이는 열 번 가운데 예닐곱 번 그 없는 것을 사실인 양 받아 설명을 이어 갔고, 미리 한 줄로 주의를 준 것만으로 그 비율이 크게 내려갔다고 보고했습니다. 제가 겪은 것은 그 위에 하나가 더 얹힌 경우인데, 대화가 길어지면 미리 준 그 주의마저 뒤로 밀려납니다.
그래서 저는 세 가지를 했습니다.
첫째, 기준을 대화 밖에 저장합니다. 지난 두 편에서 말씀드린 인계메모와 Rule이 그것이며, 대화가 흐려져도 파일은 흐려지지 않습니다.
둘째, 창을 일부러 끊습니다. 일이 바뀌면 창을 바꾸고 한 창에 두 가지 일을 넣지 않는데, 아깝다는 느낌이 들더라도 흐려진 창에서 얻는 것보다 새 창에서 파일 한 장을 읽히는 편이 빨랐습니다.
셋째, 새 창의 첫 줄을 정해 둡니다. 창을 열면 무엇을 가장 먼저 읽을지 규칙으로 등록해 두어서, 어제 남긴 인계메모와 지금 일에 걸리는 Rule과 오늘 손댈 파일을 그 순서로 확인하게 했습니다. 이 셋이면 설명이 필요 없으므로 제가 기억하지 않아도 됩니다.
다만 한 가지는 아직 못 합니다. "지금 이 대화가 흐려졌는가"를 재는 방법이 저에게는 없어서 느낌으로 판단하고 있으며, 못 하는 것은 못 한다고 적어 두었습니다.
오늘 열어 둔 창 가운데 가장 오래된 것 하나를 골라, 그 안에서 처음 정한 것을 지금도 지키고 있는지 확인해 보십시오. 저는 이렇게 물어봅니다. "우리가 이 일에서 처음 정한 기준 세 가지를 그대로 말해 주십시오."
돌아온 답이 처음과 다르거나 없던 것이 섞여 있으면 그 창은 이미 흐려진 것이므로, 새 창을 열고 파일 한 장을 읽히는 편이 빠릅니다.
일이 바뀔 때가 창을 바꿀 때입니다. 시간이 아니라 일이 기준이며, 이 한 가지만 지켜도 같은 설명을 두 번 하는 일이 크게 줄어듭니다.
같은 방식으로 PG 북스튜디오의 집필 공간도 저자의 PC 안에 남습니다 — 대화창을 닫아도 사라지지 않습니다.
다음 편에서는 새 창을 열었을 때 처음 30분에 무엇을 알려 주는지 적겠습니다.
출처
· 마운트 시나이(Icahn) 2025 · https://pmc.ncbi.nlm.nih.gov/articles/PMC12318031/
· Liu 외, lost in the middle (TACL 2024) · https://aclanthology.org/2024.tacl-1.9/