93단계결과를 평가하는 기준

걸리는 시간 · 읽기 약 5분 · 따라 하기 약 40분 · 난이도 ★★☆ 실무

이 단계를 마치면

• 자주 맡기는 일 하나에 대해 예·아니오로 답할 수 있는 기준표를 쓸 수 있습니다.
• 기준을 필수와 권장으로 나누고, 필수를 하나라도 어기면 불합격으로 처리할 수 있습니다.
• 기준표로 두 프롬프트를 비교하거나, 고친 스킬이 정말 나아졌는지 판단할 수 있습니다.

"괜찮네." Claude의 답을 받아 들고 이렇게 말한 적이 몇 번이나 됩니까? 그리고 그 "괜찮네"가 다음 날 "뭔가 아쉽네"로 바뀐 적은? 느낌으로 보는 한 평가는 날마다 흔들립니다. 기준이 없으면 어디를 고쳐야 할지도 말할 수 없습니다. 11단계에서 "무엇이 틀렸는지만 말한다"고 배웠는데, 무엇이 틀렸는지 말하려면 무엇이 맞는지가 먼저 적혀 있어야 합니다.

왜 기준을 먼저 적나

기준은 결과보다 먼저 적어야 합니다. 결과를 본 뒤에 기준을 정하면 결과에 끌려가기 때문입니다. 문장이 매끄러우면 내용의 빈틈을 놓치고, 분량이 넉넉하면 핵심이 빠진 것을 보지 못합니다. 평가표 없이 면접을 보는 면접관이 결국 말 잘하는 지원자에게 점수를 주는 것과 같습니다. 평가표는 면접 전에 만듭니다.

기준표가 없으면 조직 차원에서 더 큰 문제가 생깁니다. 팀원 다섯 명이 같은 결과물을 보고 저마다 다른 이유로 좋다, 나쁘다를 말합니다. 누구 말이 맞는지 판단할 수 없으니 결국 직급 높은 사람의 느낌이 기준이 됩니다. 94단계에서 에이전트를 평가할 때도, 99단계에서 팀 표준을 고르고 새 기능을 들일지 정할 때도 이 기준표가 잣대가 됩니다. 이 단계를 제11부 앞쪽에 둔 이유입니다.

채점되는 기준, 채점 안 되는 기준

기준은 예·아니오로 답할 수 있게 씁니다. 나란히 놓고 보면 차이가 분명합니다.

왼쪽 기준으로는 같은 답을 두고도 두 사람이 다르게 채점합니다. 오른쪽 기준으로는 누가 채점해도 결과가 같습니다. 결과가 같게 나와야 비로소 기준이라 부를 수 있습니다.

반드시 지켜야 하는 조건과 있으면 좋은 조건도 나눕니다. 필수는 어기면 사고가 나는 조건입니다. 틀린 숫자, 정책에 없는 약속, 개인정보 노출 같은 것들입니다. 권장은 어기면 아쉬운 조건으로, 문장 길이나 말투, 순서 같은 것이 여기에 듭니다. 필수를 하나라도 어기면 다른 것이 아무리 좋아도 불합격입니다. 필수는 셋을 넘기지 않는 편이 좋습니다. 필수가 많으면 다 통과하는 답이 나오지 않고, 그러면 사람들은 기준표를 무시하기 시작합니다.

기준표의 쓰임새

기준표가 하나 생기면 쓸 곳이 여러 군데로 늘어납니다.

Claude의 자기 채점은 참고용입니다. 자기가 쓴 답을 스스로 채점하면 점수가 후하게 나오기도 합니다. 그래도 쓸모는 있습니다. 사람의 채점과 Claude의 채점이 엇갈린 항목이 곧 기준이 흐릿한 항목입니다. 그 기준 문장을 더 분명하게 고치면 됩니다.

현장 장면

온라인 가구 쇼핑몰의 고객지원팀장 최 팀장은 문의 답변 초안을 Claude에게 받아 씁니다. 처음 몇 주는 초안을 읽고 "괜찮네" 하며 보냈습니다. 그러던 어느 날, 한 상담원이 보낸 답변에 이런 문장이 들어 있었습니다. "주말 안에 교환해 드리겠습니다." 회사 정책에는 교환 기한이 없습니다. 주말이 지나자 고객의 항의가 들어왔습니다.

이번에는 최 팀장이 기준표부터 씁니다.

1. 첫 문장에 고객 질문에 대한 답이 있습니다. (권장)
2. 정책 문서에 없는 약속(기한, 보상, 예외)을 하지 않습니다. (필수)
3. 환불·보상은 언급만 하고 확정하지 않습니다. (필수)
4. 사과는 한 번만 합니다. (권장)
5. 끝에 담당자 연결 방법을 적습니다. (권장)

지난주 초안 스무 개를 꺼내 이 기준표로 채점해 보니 세 개가 필수 2번에서 떨어집니다. 모두 "빠르게", "곧", "주말 안에" 같은 기한 표현입니다. 사과를 두 번 넘게 한 초안도 열한 개나 됩니다.

최 팀장은 프롬프트에 두 문장을 보탭니다. "기한을 말하지 마. 기한을 묻는 고객에게는 담당자가 확인해 연락한다고 답해." "사과는 첫 문단에서 한 번만." 같은 문의 스무 개로 초안을 다시 받아 채점하자 필수 탈락은 하나도 없습니다. 사과를 두 번 이상 한 초안은 두 개로 줄었습니다.

다음으로 최 팀장은 기준표를 프롬프트 끝에 붙여 Claude가 스스로 점검하게 합니다. 그런데 스무 개 가운데 Claude가 "통과"라고 한 것 하나를 최 팀장은 "불통과"로 봅니다. 5번 기준에서였습니다. Claude는 "문의 주시면"을 연결 방법으로 보았고, 최 팀장은 전화번호나 링크가 있어야 한다고 보았습니다. 기준이 흐릿했던 탓입니다. 최 팀장은 5번을 "끝에 상담 전화번호 또는 문의 링크가 있다"로 고칩니다. 이제 누가 채점해도 결과가 같습니다.

따라 하기

1. 자주 맡기는 일 하나를 고릅니다. 13단계의 내 업무 프롬프트 중 하나면 좋습니다. 성공 기준: 그 일의 결과물이 무엇이고 누가 읽는지 한 문장으로 적었습니다.
2. 좋은 결과의 조건을 예·아니오로 답할 수 있는 문장으로 다섯 개 안팎 적습니다. 성공 기준: 옆 사람에게 기준표와 결과물 하나를 주고 채점하게 했을 때 내 채점과 결과가 같습니다.
3. 조건마다 "필수" 또는 "권장"을 붙입니다. 성공 기준: 필수는 세 개 이하이고, 필수마다 "어기면 어떤 사고가 나는지" 말할 수 있습니다.
4. 그 프롬프트로 결과를 세 번 받습니다. 매번 새 대화에서 받습니다. 성공 기준: 결과물 세 개가 따로 저장되어 있습니다.
5. 아래 프롬프트로 Claude에게 채점을 받고, 나도 따로 채점합니다. 둘이 다르게 표시한 항목을 찾습니다. 성공 기준: 엇갈린 항목이 있으면 그 기준 문장을 더 분명하게 고쳤습니다.
6. 가장 자주 떨어진 조건을 막는 문장 하나를 프롬프트나 스킬에 보태고, 같은 입력으로 다시 세 번 받아 채점합니다. 성공 기준: 그 조건의 통과 수가 전보다 늘었습니다.

복사해 쓰는 프롬프트

아래 결과물을 채점해 줘. 기준표 밖의 인상 평가는 하지 마.

[기준표]
1. [조건] (필수)
2. [조건] (필수)
3. [조건] (권장)
4. [조건] (권장)
5. [조건] (권장)

[결과물]
[결과물 전문]

조건마다 통과/불통과와 그렇게 판단한 근거가 되는 문장을 결과물에서 그대로 인용해 줘.
근거 문장이 없어서 판단할 수 없으면 [판단 불가]라고 적어.
필수 조건이 하나라도 불통과면 맨 위에 "불합격"이라고 적어.

기준표를 쓰는 일 자체를 도와 달라고 할 때는 이렇게 씁니다.

나는 [일]의 결과물을 채점할 기준표를 만들려고 한다. 결과물을 읽는 사람은 [누구]다.
아래는 내가 생각한 기준이다.
[내가 적은 기준 초안]

각 기준을 예·아니오로 답할 수 있는 문장으로 고쳐 줘.
어기면 사고가 나는 것은 (필수), 아쉬운 것은 (권장)으로 표시하고 이유를 한 줄씩 적어.
필수가 셋을 넘으면 어느 것을 권장으로 내릴지 제안해 줘.

막히면 이렇게

실습 파일

공개 저장소에 올려 둔 가공 자료와 양식입니다. 회사 자료 대신 먼저 이것으로 해 보세요.

• 샘플 자료 고객문의_샘플.csv · 여러 채널로 들어온 고객 문의 40건
• 샘플 자료 민원_샘플.csv · 가람시에 들어온 민원 20건
• 채워 쓰는 양식 평가세트_점수표.md · 결과 기준표, 과제 10~20건, 과정 네 질문, 평가 기록, 반영 기준

스스로 점검

• ☐ 내 기준표의 모든 항목에 예·아니오로 답할 수 있습니까
• ☐ 필수 기준마다 어기면 어떤 사고가 나는지 말할 수 있습니까
• ☐ 프롬프트를 고친 뒤, 전과 후를 같은 기준표로 비교한 적이 있습니까

기억할 것

• 기준은 결과를 보기 전에 적습니다.
• 예·아니오로 답할 수 없다면 기준으로 쓸 수 없습니다.
• 필수를 하나라도 어기면 나머지가 좋아도 불합격입니다. 최종 채점은 사람이 합니다.
• 사람과 Claude의 채점이 엇갈린 항목이 곧 고쳐야 할 기준입니다.