PG 북 개발 스토리 ④ — 첫 30분에 무엇을 알려 주는가
2026-09-04
저는 PG 북스튜디오를 개발하면서 일이 바뀔 때마다 새 창을 엽니다. 지난 편에서 말씀드린 대로 한 개의 창에 두 가지 일을 시키지 않는 원칙을 정했기 때문에 하루에도 몇 번씩 창을 새로 열어야 하는 상황이 있었습니다. 새로운 팀을 만들어서 역할을 부여하고, 업무를 시켰습니다.
그래서 "새 창을 열고 첫 30분에 무엇을 알려 주는가"가 저에게는 매일 여러 번 되풀이되는 일이 되었습니다.
처음에는 잘 알려 주면 된다고 생각해서, 제가 무엇을 만들고 있는지 설명하고 읽을 파일을 알려 준 다음 마지막에 이렇게 적었습니다. "전문가답게, 간결하게, 자연스럽게 써 주십시오."
그런데 결과를 받아 보면 매번 조금씩 달라서, 저는 그것을 "AI의 작업 품질이 유지되지 않는다"라고 판단했습니다.
다시 보니 유지되지 않은 것은 제 지시였는데, "간결하게"가 지켜졌는지는 저도 확인할 길이 없기 때문입니다. 확인할 수 없는 지시는 어겨도 어긴 줄 모르고, 결과가 마음에 안 들면 다시 시키게 되는데, 그 되풀이가 첫 30분을 다 씁니다.
저는 첫 30분에 적는 것을 네 가지로 정해 두고 창을 열 때마다 그 순서로 적는데, 첫째 이 창이 무엇을 하는 창인지 한 줄, 둘째 읽고 시작할 파일 이름(인계메모와 Rule), 셋째 결과물의 형식, 넷째 하지 말 것입니다.
그리고 결과물의 형식을 적는 방법을 바꿨습니다.
```
🔴 종전 간결하게 · 보기 좋게 · 전문가답게
🟢 지금 1,500~2,200자 · 소제목 셋과 표 하나 · 숫자에는 출처를 함께 적을 것
```
나중에 알았는데 이 구분에는 이미 이름이 있었습니다.
Zhou 등의 연구(IFEval, 2023)가 AI에게 줄 지시문 500개쯤을 모아 실험 도구를 만들었습니다. 지시문이 지켜졌는지 확인하는 기준은 하나였습니다. 기계가 확인할 수 있는가.
그래서 "450단어에서 500단어 사이로 쓰라"는 넣었고, "재미있게 써라"는 뺐습니다. 뺀 까닭을 "기준 자체가 흐릿하다"고 적었습니다.
제가 규칙을 적을 때 지키는 문장이 하나 있는데, "규칙을 어겼을 때 아무 일도 일어나지 않으면, 그건 사람이 잘못 작성한 규칙입니다"라는 것이고, 읽고 나니 지시문도 같았습니다.
다만 하지 말 것은 아직 잘 못 적는데, 측정할 수 있게 적기가 어려워서 "이 낱말은 쓰지 않는다"처럼 낱말 목록으로만 겨우 적고 있습니다.
지금 AI에게 보내려던 지시문에서 형용사 하나를 골라 보십시오. "간결하게", "자연스럽게", "핵심만" 같은 것입니다.
그 자리에 측정할 수 있는 숫자를 넣어 보십시오. 저는 이렇게 바꿉니다.
```
간결하게 정리해 주세요 → 각 항목 두 줄 안쪽으로, 모두 다섯 항목
핵심만 뽑아 주세요 → 가장 중요한 것 세 가지만, 순서를 매겨서
보기 좋게 만들어 주세요 → 소제목 셋 · 표 하나 · 그림 설명 없음
```
그렇게 바꿔서 다시 시켜 보시면 돌아오는 글이 첫 문장부터 달라집니다. 그리고 마음에 안 들 때에도 무엇이 안 지켜졌는지 손가락으로 짚을 수 있습니다.
이 확인 절차는 PG 북스튜디오를 저자들께 보내기 전에 매번 거치는 것입니다.
다음 편에서는 시키는 말과 정하는 말이 어떻게 다른지 적겠습니다.
출처 — Zhou 외, Instruction-Following Evaluation for LLMs (IFEval, 2023) · https://arxiv.org/abs/2311.07911