자료를 많이 넣으면 답이 좋아질까

파일 순서를 둘러싼 오해와 진실

AI 활용 강의에서 흥미로운 논쟁이 생긴 적이 있습니다. 파일 이름 앞에 숫자나 특수기호를 붙여 목록 맨 위에 올려 두면, AI가 그 문서를 먼저 읽고 더 중요하게 다룬다는 주장이었습니다.

결론부터 말씀드리면 이 주장은 AI가 자료를 다루는 방식에 대한 오해에서 나온 것입니다. 그렇다고 자료를 넣는 방법이 답의 품질과 상관없다는 뜻은 아닙니다. 영향을 주는 자리가 파일 목록이 아니라 다른 곳에 있습니다.

AI는 파일을 차례대로 읽지 않습니다

Gemini Notebook(옛 NotebookLM)처럼 올린 자료를 근거로 답하는 도구는 파일을 1번부터 차례대로 읽지 않습니다. Google의 도움말도 노트북에 자료가 많으면 질문에 가장 관련 있는 정보를 찾아낸 뒤 그것으로 답을 만든다고 설명합니다. Lewis et al.(2020)이 검색 증강 생성(RAG)이라고 이름 붙인 방식입니다. 100번째 파일에 가장 관련 있는 내용이 있다면 AI는 1번 파일보다 그 내용을 먼저 찾아냅니다.

그런데도 번호를 붙이니 효과가 있었다고 느끼는 까닭이 있습니다. 대개 가장 중요한 문서에 1번을 붙이고, 그 문서에 질문과 관련된 내용이 많으니 AI가 자주 참고합니다. 앞에 있어서가 아니라 관련이 깊어서 자주 쓰인 것을 순서 덕분이라고 해석한 것입니다. 다만 파일 이름이 쓸모없다는 뜻은 아닙니다. 같은 도움말은 여러 자료를 선택해 두었을 때 질문 안에 자료 이름을 밝히면 찾는 범위를 좁히는 데 도움이 된다고 권합니다. 이름이 힘을 쓰는 자리는 목록의 순서가 아니라 질문 안입니다.

파일 순서보다 AI에게 넘어가는 내용의 위치와 양이 답을 바꿉니다

파일 목록에서 몇 번째에 있느냐와 달리, AI가 자료에서 찾아낸 내용이 질문과 함께 AI에게 넘어갈 때 그 안의 앞, 가운데, 뒤 가운데 어디에 놓이느냐는 답에 영향을 줍니다. Liu et al.(2024)의 「Lost in the Middle」 연구는 여러 문서 가운데 정답이 든 문서의 자리를 옮겨 가며 모델을 시험했습니다. 정답 문서가 입력의 처음이나 끝에 있을 때 성능이 가장 높았고, 가운데로 가면 크게 떨어져 결과가 U자 모양을 그렸습니다. GPT-3.5-Turbo는 정답 문서가 가운데에 있을 때 20% 넘게 떨어졌고, 가장 나쁜 경우에는 문서를 하나도 주지 않고 답하게 했을 때보다도 낮았습니다.

분량도 마찬가지입니다. 같은 연구에서 검색으로 찾아낸 문서를 20개에서 50개로 늘렸을 때 GPT-3.5-Turbo의 성능은 1.5% 정도밖에 오르지 않았습니다. 정답이 들어 있을 가능성은 계속 커지는데 모델은 늘어난 자료를 제대로 쓰지 못했습니다. 관련 없는 내용이 섞이면 오히려 흔들리기도 합니다. Shi et al.(2023)은 초등 수학 문제에 풀이와 상관없는 문장 하나를 끼워 넣었더니 여러 프롬프트 기법에서 정답률이 크게 떨어졌다고 보고했습니다.

넣는 양보다 고르는 일이 먼저입니다

그래서 저는 자료를 더 넣기 전에 뺄 것부터 고릅니다. 관련이 적은 문서를 걷어 내는 것이 중요한 문서를 놓치지 않게 하는 가장 확실한 방법입니다. 자료를 해석하는 원칙과 기준은 따로 메모로 적어 자료와 함께 넣어 두는 것이 좋습니다. 자료끼리 내용이 부딪힐 때는 질문 안에서 기준을 직접 정해 줍니다.

여러 자료의 내용이 서로 다를 때는 A 문서를 가장 우선하는 기준으로 삼아 답해 주세요.

반대 방향의 경험도 있습니다. 책의 참고문헌을 정리하면서 AI에게 출처 주소를 찾게 했더니, 틀린 주소를 지적하고 다시 찾게 해도 비슷한 오류가 되풀이되었습니다. Walters와 Wilder(2023)가 ChatGPT에게 짧은 문헌 검토를 쓰게 하고 인용 636건을 확인했을 때도 GPT-3.5 인용의 55%, GPT-4 인용의 18%가 실제로 없는 문헌이었습니다. 인터넷 전체를 자유롭게 뒤지게 하는 대신 제가 확인하고 선택한 자료 안에서만 근거를 찾게 해야 결과를 믿고 쓸 수 있었습니다. 답을 근거 자료에 붙여 두는 이 방식을 Source Grounding이라고 부릅니다.

자료를 골라도 되지 않는 것

자료를 잘 고른다고 모든 문제가 풀리지는 않습니다. 선택한 자료 안에서도 가운데에 놓인 내용이 덜 쓰이는 경향은 남고, AI가 자료의 어느 부분을 찾아 답에 썼는지 사용자가 매번 확인하기는 어렵습니다. 자료 자체가 틀렸다면 AI는 그 틀린 내용을 충실하게 근거로 삼습니다. 여기서 든 연구들도 2023년 무렵의 모델로 시험한 것이어서, 지금의 모델에서 차이가 얼마나 되는지는 따로 확인해야 합니다.

그래서 저는 자료를 고르는 일을 답의 품질을 높이는 첫걸음으로 보지만, 그것으로 검증이 끝났다고 보지는 않습니다. 중요한 답은 인용한 부분을 원문에서 다시 확인하고, 어떤 자료를 넣을지와 어떤 답을 받아들일지는 끝까지 사람이 판단해야 합니다.

참고한 연구

• Liu et al., Lost in the Middle: How Language Models Use Long Contexts (TACL, 2024) https://aclanthology.org/2024.tacl-1.9/
• Google, Gemini Notebook Help — Frequently asked questions https://support.google.com/notebooklm/answer/16269187
• Google, Gemini Notebook Help — Add or discover new sources for your notebook https://support.google.com/gemininotebook/answer/16215270
• Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv:2005.11401, 2020) https://arxiv.org/abs/2005.11401
• Shi et al., Large Language Models Can Be Easily Distracted by Irrelevant Context (arXiv:2302.00093, 2023) https://arxiv.org/abs/2302.00093
• Walters & Wilder, Fabrication and errors in the bibliographic citations generated by ChatGPT (Scientific Reports, 2023) https://doi.org/10.1038/s41598-023-41032-5

← 6호 · 글 목록 · 8호 →