93단계결과를 평가하는 기준

걸리는 시간 · 읽기 약 5분 · 따라 하기 약 40분 · 난이도 ★★☆ 실무

이 단계를 마치면

• 자주 맡기는 일 하나에 대해 예·아니오로 답할 수 있는 기준표를 쓸 수 있다.
• 기준을 필수와 권장으로 나누고, 필수를 하나라도 어기면 불합격으로 처리할 수 있다.
• 기준표로 두 프롬프트를 비교하거나, 고친 스킬이 정말 나아졌는지 판단할 수 있다.

"괜찮네." Claude의 답을 받아 들고 이렇게 말한 적이 몇 번이나 되는가? 그리고 그 "괜찮네"가 다음 날 "뭔가 아쉽네"로 바뀐 적은? 느낌으로 보는 한 평가는 날마다 흔들린다. 기준이 없으면 어디를 고쳐야 할지도 말할 수 없다. 13단계에서 "무엇이 틀렸는지만 말한다"고 배웠는데, 무엇이 틀렸는지 말하려면 무엇이 맞는지가 먼저 적혀 있어야 한다.

왜 기준을 먼저 적나

기준은 결과보다 먼저 적어야 한다. 결과를 본 뒤에 기준을 정하면 결과에 끌려가기 때문이다. 문장이 매끄러우면 내용의 빈틈을 놓치고, 분량이 넉넉하면 핵심이 빠진 것을 보지 못한다. 평가표 없이 면접을 보는 면접관이 결국 말 잘하는 지원자에게 점수를 주는 것과 같다. 평가표는 면접 전에 만든다.

기준표가 없으면 조직 차원에서 더 큰 문제가 생긴다. 팀원 다섯 명이 같은 결과물을 보고 저마다 다른 이유로 좋다, 나쁘다를 말한다. 누구 말이 맞는지 판단할 수 없으니 결국 직급 높은 사람의 느낌이 기준이 된다. 94단계에서 에이전트를 평가할 때도, 99단계에서 팀 표준을 고르고 새 기능을 들일지 정할 때도 이 기준표가 잣대가 된다. 이 단계를 제10부 앞쪽에 둔 이유다.

채점되는 기준, 채점 안 되는 기준

기준은 예·아니오로 답할 수 있게 쓴다. 나란히 놓고 보면 차이가 분명하다.

왼쪽 기준으로는 같은 답을 두고도 두 사람이 다르게 채점한다. 오른쪽 기준으로는 누가 채점해도 결과가 같다. 결과가 같게 나와야 비로소 기준이라 부를 수 있다.

반드시 지켜야 하는 조건과 있으면 좋은 조건도 나눈다. 필수는 어기면 사고가 나는 조건이다. 틀린 숫자, 정책에 없는 약속, 개인정보 노출 같은 것들이다. 권장은 어기면 아쉬운 조건으로, 문장 길이나 말투, 순서 같은 것이 여기에 든다. 필수를 하나라도 어기면 다른 것이 아무리 좋아도 불합격이다. 필수는 셋을 넘기지 않는 편이 좋다. 필수가 많으면 다 통과하는 답이 나오지 않고, 그러면 사람들은 기준표를 무시하기 시작한다.

기준표의 쓰임새

기준표가 하나 생기면 쓸 곳이 여러 군데로 늘어난다.

Claude의 자기 채점은 참고용이다. 자기가 쓴 답을 스스로 채점하면 점수가 후하게 나오기도 한다. 그래도 쓸모는 있다. 사람의 채점과 Claude의 채점이 엇갈린 항목이 곧 기준이 흐릿한 항목이다. 그 기준 문장을 더 분명하게 고치면 된다.

현장 장면

온라인 가구 쇼핑몰의 고객지원팀장 최 팀장은 문의 답변 초안을 Claude에게 받아 쓴다. 처음 몇 주는 초안을 읽고 "괜찮네" 하며 보냈다. 그러던 어느 날, 한 상담원이 보낸 답변에 이런 문장이 들어 있었다. "주말 안에 교환해 드리겠습니다." 회사 정책에는 교환 기한이 없다. 주말이 지나자 고객의 항의가 들어왔다.

이번에는 최 팀장이 기준표부터 쓴다.

1. 첫 문장에 고객 질문에 대한 답이 있다. (권장)
2. 정책 문서에 없는 약속(기한, 보상, 예외)을 하지 않는다. (필수)
3. 환불·보상은 언급만 하고 확정하지 않는다. (필수)
4. 사과는 한 번만 한다. (권장)
5. 끝에 담당자 연결 방법을 적는다. (권장)

지난주 초안 스무 개를 꺼내 이 기준표로 채점해 보니 세 개가 필수 2번에서 떨어진다. 모두 "빠르게", "곧", "주말 안에" 같은 기한 표현이다. 사과를 두 번 넘게 한 초안도 열한 개나 된다.

최 팀장은 프롬프트에 두 문장을 보탠다. "기한을 말하지 마. 기한을 묻는 고객에게는 담당자가 확인해 연락한다고 답해." "사과는 첫 문단에서 한 번만." 같은 문의 스무 개로 초안을 다시 받아 채점하자 필수 탈락은 하나도 없다. 사과를 두 번 이상 한 초안은 두 개로 줄었다.

다음으로 최 팀장은 기준표를 프롬프트 끝에 붙여 Claude가 스스로 점검하게 한다. 그런데 스무 개 가운데 Claude가 "통과"라고 한 것 하나를 최 팀장은 "불통과"로 본다. 5번 기준에서였다. Claude는 "문의 주시면"을 연결 방법으로 보았고, 최 팀장은 전화번호나 링크가 있어야 한다고 보았다. 기준이 흐릿했던 탓이다. 최 팀장은 5번을 "끝에 상담 전화번호 또는 문의 링크가 있다"로 고친다. 이제 누가 채점해도 결과가 같다.

따라 하기

1. 자주 맡기는 일 하나를 고른다. 15단계의 내 업무 프롬프트 중 하나면 좋다. 성공 기준: 그 일의 결과물이 무엇이고 누가 읽는지 한 문장으로 적었다.
2. 좋은 결과의 조건을 예·아니오로 답할 수 있는 문장으로 다섯 개 안팎 적는다. 성공 기준: 옆 사람에게 기준표와 결과물 하나를 주고 채점하게 했을 때 내 채점과 결과가 같다.
3. 조건마다 "필수" 또는 "권장"을 붙인다. 성공 기준: 필수는 세 개 이하이고, 필수마다 "어기면 어떤 사고가 나는지" 말할 수 있다.
4. 그 프롬프트로 결과를 세 번 받는다. 매번 새 대화에서 받는다. 성공 기준: 결과물 세 개가 따로 저장되어 있다.
5. 아래 프롬프트로 Claude에게 채점을 받고, 나도 따로 채점한다. 둘이 다르게 표시한 항목을 찾는다. 성공 기준: 엇갈린 항목이 있으면 그 기준 문장을 더 분명하게 고쳤다.
6. 가장 자주 떨어진 조건을 막는 문장 하나를 프롬프트나 스킬에 보태고, 같은 입력으로 다시 세 번 받아 채점한다. 성공 기준: 그 조건의 통과 수가 전보다 늘었다.

복사해 쓰는 프롬프트

아래 결과물을 채점해 줘. 기준표 밖의 인상 평가는 하지 마.

[기준표]
1. [조건] (필수)
2. [조건] (필수)
3. [조건] (권장)
4. [조건] (권장)
5. [조건] (권장)

[결과물]
[결과물 전문]

조건마다 통과/불통과와 그렇게 판단한 근거가 되는 문장을 결과물에서 그대로 인용해 줘.
근거 문장이 없어서 판단할 수 없으면 [판단 불가]라고 적어.
필수 조건이 하나라도 불통과면 맨 위에 "불합격"이라고 적어.

기준표를 쓰는 일 자체를 도와 달라고 할 때는 이렇게 쓴다.

나는 [일]의 결과물을 채점할 기준표를 만들려고 한다. 결과물을 읽는 사람은 [누구]다.
아래는 내가 생각한 기준이다.
[내가 적은 기준 초안]

각 기준을 예·아니오로 답할 수 있는 문장으로 고쳐 줘.
어기면 사고가 나는 것은 (필수), 아쉬운 것은 (권장)으로 표시하고 이유를 한 줄씩 적어.
필수가 셋을 넘으면 어느 것을 권장으로 내릴지 제안해 줘.

막히면 이렇게

실습 파일

공개 저장소에 올려 둔 가공 자료와 양식이다. 회사 자료 대신 먼저 이것으로 해 본다.

• 샘플 자료 고객문의_샘플.csv · 여러 채널로 들어온 고객 문의 40건
• 샘플 자료 민원_샘플.csv · 가람시에 들어온 민원 20건
• 채워 쓰는 양식 평가세트_점수표.md · 결과 기준표, 과제 10~20건, 과정 네 질문, 평가 기록, 반영 기준

스스로 점검

• ☐ 내 기준표의 모든 항목에 예·아니오로 답할 수 있는가
• ☐ 필수 기준마다 어기면 어떤 사고가 나는지 말할 수 있는가
• ☐ 프롬프트를 고친 뒤, 전과 후를 같은 기준표로 비교한 적이 있는가

기억할 것

• 기준은 결과를 보기 전에 적는다.
• 예·아니오로 답할 수 없다면 기준으로 쓸 수 없다.
• 필수를 하나라도 어기면 나머지가 좋아도 불합격이다. 최종 채점은 사람이 한다.
• 사람과 Claude의 채점이 엇갈린 항목이 곧 고쳐야 할 기준이다.