PG 북 개발 스토리 ⑤ — 시키는 말과 정하는 말
2026-09-04
저는 PG 북스튜디오를 개발하면서 홍보 문안에 쓰지 않을 금지단어를 목록으로 적어 두었는데, 그 첫 줄이 제가 예전에 직접 "이건 번역투라 쓰지 말자"고 했던 말이었습니다.
그런데 지난달 어느 날, 바로 그 낱말이 홍보문 제목에 올라가 있는 것을 제가 보았습니다.
그때 저는 그것을 금지단어가 규칙으로 작동하지 않는다고 이해했고, 그래서 목록에 굵은 글씨와 "반드시"를 더 붙였습니다.
그런데 다시 보니 문제는 목록이 아니라 그 목록이 어디에 있고 언제 열리는가에 대한 규칙을 정하지 않았던 것입니다. 금지단어가 서로 다른 두 문서에 나뉘어 적혀 있었고, 문안을 짓는 창이 둘 중 하나만 열면 나머지 절반은 없는 것과 같았습니다.
그리고 한 가지를 더 착각하고 있었는데, 제가 승인했으니 금지단어 검사를 거친 것으로 판단했던 것입니다. 그 문안은 시안과 협의와 제 승인까지 세 번의 과정을 거친 후 홍보 문안에 올라갔고, 세 번의 과정 중 금지단어의 목록을 확인한 과정이 없었습니다.
저는 AI에게 보내는 말을 두 가지로 나누어 적기로 했습니다. 나누는 물음은 하나입니다. "이번에 승인한 것이 다음번에도 그대로 적용되는가?"
그렇다면 그것은 규칙(rule)입니다. 저는 이것을 정하는 말이라고 부릅니다. 오늘만이 아니라 다음번에도 그대로 적용되는 말이라서, 대화에 적지 않고 파일에 적어 둡니다. 그 파일이 2편에서 적은 `Rule`입니다. 한 번 적어 두면 다시 적지 않고, AI와 새로 대화를 시작할 때마다 그 파일을 먼저 읽힙니다.
그렇지 않다면 그것은 일회성 지시입니다. 저는 이것을 시키는 말, 곧 맥락에 따른 표현이라고 부릅니다. 지금 이 문맥에만 해당하니 그날의 대화에만 적고, 대화가 끝나면 함께 사라집니다.
```
정하는 말 = '규칙', 다음번에도 그대로 적용된다 → Rule 파일에 적는다
시키는 말 = '맥락에 따른 표현', 지금 문맥에만 사용한다 → 그날의 대화에 적는다
```
그래서 금지단어 목록은 Rule 파일로 옮겨 한 자리에 모였고, "3장을 교정하세요"는 대화에 남았습니다.
그리고 한 가지를 더 정했습니다. 그 파일을 언제 읽히는가입니다. 파일을 만들어 두기만 하고 언제 읽힐지를 안 정하면, 파일은 있는데 아무도 안 여는 상태가 됩니다. 제가 그렇게 한 번 당했습니다. 그래서 지금은 새 대화를 시작하자마자 Rule 파일을 먼저 읽히고, 그다음에 그날의 지시를 적습니다.
나중에 알았는데 이 구분은 요즘 모델이 실제로 훈련받는 방식이기도 했습니다. Wallace 등의 연구(2024)는 지시에 우선순위 층을 두자고 제안하면서, 개발자가 미리 정해 둔 시스템 메시지를 가장 높은 자리에 놓고, 사용자가 그때그때 보내는 말을 그 아래에, 검색 결과나 올린 문서에서 딸려 온 문장을 맨 아래에 두었습니다. 그리고 아래층의 말이 위층과 어긋나면 따르지 않고 지나가도록 가르쳤습니다.
읽고 나서 저는 그 낱말이 왜 홍보 문안까지 갔는지 알았는데, 제 목록이 아래층에 있었기 때문이었습니다. 승인은 방향을 정해 주는 것이지 목록과 맞춰 보는 것이 아니었습니다.
지금 AI에게 보내는 지시문에서 문장 하나를 골라 이렇게 물어보십시오. "이번에 승인한 것이 다음번에도 그대로 적용되는가?"
그렇다면 그 문장은 대화가 아니라 파일에 있어야 하고, 저는 이렇게 옮겼습니다.
```
매번 적던 말 → 어디에 적는가
숫자에는 출처를 함께 적어 주십시오 → Rule 파일 · 한 번 적고 계속
표는 항목 다섯 개까지만 → Rule 파일 · 한 번 적고 계속
3장을 교정하세요 → 문맥에 맞게 이번 대화에만 적용
```
규칙을 Rule 파일로 옮기고 나면, 새 대화를 시작할 때 적는 첫 문단이 짧아집니다. 그리고 기준이 지켜지지 않았을 때 "왜 안 지키느냐"가 아니라 "Rule 파일을 읽혔는가"를 먼저 보게 되므로, 고칠 곳이 한 군데로 좁아집니다.
PG 북스튜디오를 개발하면서 저는 이 실수를 세 번 했습니다.
다음 편에서는 창을 닫기 전에 남기는 다섯 줄에 대해 적겠습니다.
출처 — Wallace 외, The Instruction Hierarchy (2024) · https://arxiv.org/abs/2404.13208