95단계스스로 나아지는 업무 시스템
사람이 고친 흔적을 모아 Claude가 개선안을 내고, 평가 세트로 확인한 뒤 사람이 승인해야 반영되는 루프를 만든다.
걸리는 시간 · 읽기 약 10분 · 따라 하기 약 60분 · 난이도 ★★★ 심화
이 단계를 마치면
- 사람이 고친 부분, 버려진 초안의 이유, 막힌 지점을 모아 개선의 재료로 쓸 수 있다.
- Claude에게 원인 분석과 개선안을 받아 94단계 평가 세트로 전후를 비교하고, 승인을 거쳐 반영할 수 있다.
- 변경 기록과 되돌리기, 바꾸지 못하는 항목을 갖춘 주간·월간 개선 루틴을 운영할 수 있다.
매주 월요일, Claude가 만든 초안을 받아 같은 곳을 고치고 있지는 않은가? 거래처 이름 뒤에 "귀하"를 붙이고, 날짜 형식을 바꾸고, 빠진 부가세 문구를 넣는다. 더 아까운 것은 그 수정이 아무 데도 남지 않는다는 점이다. 사람은 고치고 잊고, Claude는 다음 주에 같은 초안을 낸다. 이 단계에서는 그 수정들을 모아 시스템을 고치는 재료로 쓴다. 이 고리가 한 번 돌 때마다 업무 시스템이 조금씩 나아진다. 흔히 자율성장 시스템이라고 부르는 모습이다.
무엇이 자라는가
먼저 정직하게 말해 두자. 이 루프에서 Claude라는 모델 자체가 다시 학습하지는 않는다. 자라는 것은 Claude가 일할 때 읽는 파일과 지시다. 스킬의 절차와 참고 양식, CLAUDE.md의 규칙, 프로젝트 지침과 지식, 예약 작업이나 자동화 흐름의 지시문. 이것들이 나아지면 같은 Claude가 더 나은 결과를 낸다. 같은 신입 사원이라도 업무 매뉴얼이 좋아지면 일이 나아지는 것과 같다.
대화 내용을 기억해 다음에 반영하는 메모리 기능도 있다(6단계). 개인에게는 편하지만 팀의 업무 시스템을 고치는 일은 메모리에만 맡기지 않는다. 무엇이 언제 바뀌었는지 모두가 읽고 되돌리기 어렵기 때문이다. 팀의 개선은 누구나 열어 볼 수 있는 파일에 적고, 바꿀 때마다 기록을 남긴다.
"자율"이라는 말에도 선을 긋는다. 이 시스템이 스스로 하는 일은 기록을 모으고, 원인을 찾고, 개선안을 쓰는 데까지다. 반영은 언제나 사람이 승인한다.
칼럼에서 읽기 「지능형 제품의 조건 (김문수 교수의 AX전략가이드)」
“지능이란 반복하여 개선하는 능력이다. 같은 일을 두 번 했을 때 두 번째가 첫 번째보다 나아진다면 지능적이다. 열 번을 해도 열 번째가 첫 번째와 같다면, 아무리 부지런해도 그것은 지능이 아니다.”
“둘째, 피드백 배관이 빠졌다. 결과가 다시 입력으로 돌아오는 경로가 설계도에 없다. 그래서 데이터는 창고에 쌓이는데 판단은 바뀌지 않는다.”
「지능형 제품의 조건」에서 말한 피드백 배관이 이 단계의 수정 기록과 개선 루프다. 사람이 고친 흔적이 다시 스킬과 지침으로 돌아오지 않으면, 초안을 쉰 번 받아도 쉰 번째가 첫 번째와 같다. 이 루프에서 자라는 것은 모델 대신 Claude가 읽는 파일이지만, 두 번째가 첫 번째보다 나아졌는지로 판단한다는 점은 칼럼과 같다.
개선 루프 여섯 단계
| 단계 | 하는 일 | 누가 | 남는 것 |
|---|---|---|---|
| 1. 기록 | 고친 곳, 버린 초안과 이유, 막힌 지점을 적는다 | 결과물을 받는 사람 | 수정 기록 |
| 2. 수집 | 한 주 치 기록을 한곳에 모은다 | 예약 작업 또는 담당자 | 주간 수정 모음 |
| 3. 분석·제안 | 같은 원인끼리 묶고, 고칠 파일과 문장을 제안한다 | Claude | 개선안 초안 |
| 4. 비교 | 개선 전후를 94단계 평가 세트로 돌린다 | 담당자 | 평가 기록 두 장 |
| 5. 승인 | 반영 기준을 확인하고 결정한다 | 그 스킬·지침의 주인 | 승인 기록 |
| 6. 반영·기록 | 바꾸고, 이전 판을 보관하고, 변경 기록을 남긴다 | 주인 | 새 판, 이전 판, 변경 기록 |
3단계의 개선안은 제안일 뿐이다. 아무리 그럴듯해도 4단계 평가 세트와 5단계 승인을 거치지 않으면 반영하지 않는다. 그럴듯한 개선이 다른 과제를 망가뜨리는 일은 94단계에서 이미 보았다.
무엇을 모으나
개선의 재료는 사람이 손댄 흔적이다.
| 모을 것 | 예 | 적는 법 |
|---|---|---|
| 사람이 고친 부분 | "귀하"를 붙였다, 합계 행 위치를 바꿨다 | 고치기 전과 뒤, 고친 이유 |
| 버려진 초안과 이유 | 초안을 버리고 새로 썼다 | 보기에서 고른다(사실 틀림, 말투, 형식, 빠진 내용, 기타) |
| 막힌 지점 | 에이전트가 멈추고 물었다, 끝까지 못 갔다 | 어디서, 무엇이 없어서 |
| 아슬아슬했던 행동 | 발송·삭제를 하려다 확인에서 멈췄다 | 어떤 행동을, 어떤 상황에서 |
96단계에서 만날 정 이사도 상담원이 초안을 버릴 때 이유 하나를 고르게 하고, 그렇게 모인 이유를 근거로 교환 정책 문서를 기준 자료에 넣는다. 같은 방식이다. 기록은 가볍게 만든다. 고친 사람이 30초 안에 적을 수 없으면 아무도 적지 않는다. 공용 폴더의 표 하나면 충분하고, 고객 이름이나 금액 같은 원문은 98단계 등급표에 맞게 가려서 적는다.
개선안은 이렇게 받는다
모인 기록을 Claude에게 주고 개선안을 받을 때 세 가지를 요구한다. 첫째, 원인별로 묶고 원인마다 건수를 세게 한다. 둘째, 고칠 곳을 파일과 문장으로 적게 한다. "더 공손하게" 같은 제안은 반영할 수 없다. "스킬 3단계 끝에 '거래처 이름 뒤에는 귀하를 붙인다'를 추가"처럼 어느 파일의 어디를 어떻게 바꿀지 전후를 나란히 보여 주게 한다. 셋째, 한 번에 한두 가지만 바꾼다. 다섯 가지를 한꺼번에 바꾸면 점수가 달라져도 무엇 때문인지 알 수 없다. 한 건뿐인 수정은 원인으로 올리지 말고 지켜본다. 한 번의 예외에 맞춰 규칙을 바꾸면 지침에 예외 조항만 쌓인다.
개선안마다 "고치지 말아야 할 이유"도 적게 하면 좋다. 사람마다 판단이 다른 부분이라면 규칙으로 만들지 않고 그대로 두는 편이 낫다.
루프가 바꾸지 못하는 것
루프가 잘 돌면 유혹이 생긴다. 점수만 좋으면 자동으로 반영하게 하고 싶어진다. 하지만 다음 항목은 어떤 경우에도 루프가 스스로 바꾸지 못하게 한다.
| 바꾸지 못하는 것 | 이유 |
|---|---|
| 금지 행동 목록, 사람 확인 단계 | 발송·삭제·결제·제출 앞의 확인이 사라지면 사고가 난다 |
| 권한과 연결자 범위 | 권한 확대는 절대 자동으로 반영하지 않는다. 98단계 승인 창구를 거친다 |
| 데이터 등급 규칙 | 등급표는 보안 담당이 정한다 |
| 평가 세트와 채점 기준 | 시험지를 고치는 쪽이 채점까지 바꾸면 점수는 늘 오른다 |
| 루프의 규칙 자체 | 승인자, 반영 기준, 이 목록은 사람이 정한다 |
가장 확실한 방법은 권한으로 막는 것이다. 개선안을 쓰는 작업에는 수정 기록 읽기와 개선안 문서 쓰기만 허용한다. 스킬 폴더나 CLAUDE.md를 고칠 권한은 주지 않는다. 지시문에 "고치지 마"라고 적는 것보다 권한이 없어서 못 고치는 쪽이 더 믿을 만하다.
개선안이 확인 단계를 줄이자는 쪽으로 기울면 그 자체가 신호다. 확인을 없애면 막힌 지점이 줄어드는 건 사실이지만, 그 확인 단계는 멈추라고 둔 것이다. 이런 제안은 루프 안에서 결정하지 않고 운영 규칙의 주인에게 따로 올린다.
반영하고, 기록하고, 되돌릴 수 있게
반영 기준은 94단계와 같다. 합격 건수가 줄지 않을 것, 새 금지 행동 시도가 없을 것, 전에 합격하던 과제가 떨어졌다면 이유를 설명할 수 있을 것. 점수가 떨어지면 반영하지 않는다.
반영할 때는 이전 판 전체를 날짜를 붙인 이름으로 보관하고, 변경 기록에 날짜, 바꾼 곳, 근거가 된 수정 기록 건수, 평가 전후 결과, 승인한 사람을 적는다. Claude Code와 GitHub로 파일을 관리하는 팀이라면 커밋 기록으로 남기고 되돌려도 좋다(29단계). 반영 뒤 한두 주 사이 현장 수정이 오히려 늘었다면 이전 판으로 돌리고 원인을 다시 본다. 되돌리는 데 5분이 넘게 걸린다면 보관 방식부터 고친다.
주간·월간 루틴으로 돌리기
한 사람의 기억에 기대는 루프는 석 달을 못 간다. 날짜를 정해 둔다.
| 주기 | 할 일 | 비고 |
|---|---|---|
| 매주 월요일 오전 | 지난주 수정 기록을 모아 개선안 초안 문서 작성 | 예약 작업(74단계). 읽기와 개선안 문서 쓰기만 |
| 매주 화요일 | 주인이 한두 가지를 골라 평가 세트로 전후 비교, 승인, 반영, 기록 | 94단계 평가 세트 |
| 매달 한 번 | 변경 기록 돌아보기, 드리프트 신호 확인, 새 실패 유형을 평가 세트에 추가 | 99단계 월간 확인과 같은 날 |
예약 작업은 초안 문서를 만드는 데서 멈춘다. 파일을 고치거나, 팀 채널에 게시하거나, 메일을 보내는 일은 사람이 한다. 월간 점검에서 평가 세트에 새 실패 유형을 더하는 일도 사람이 한다.
드리프트 신호
루프를 오래 돌리면 조금씩 엉뚱한 방향으로 흘러가기도 한다. 이를 드리프트라고 부른다. 다음 신호가 보이면 루프를 잠시 멈추고 사람이 전체를 다시 본다.
| 신호 | 의미 | 할 일 |
|---|---|---|
| 지침과 스킬이 매주 길어진다 | 개선이 규칙 추가로만 이뤄진다 | 월간 점검에서 겹치거나 안 쓰이는 문장을 뺀다 |
| 이번 주 개선이 지난달 개선을 뒤집는다 | 판단이 갈리는 부분을 규칙으로 만들었다 | 그 규칙을 빼고 사람이 판단하게 둔다 |
| 평가 점수는 좋은데 현장 수정은 그대로다 | 평가 세트가 낡았다 | 최근 실패 유형을 과제로 더한다 |
| 개선안이 확인 단계나 금지 항목을 줄이자고 한다 | 막힘을 줄이는 쪽으로만 기울었다 | 루프 밖에서 운영 규칙 주인이 판단한다 |
| 아무도 수정 기록을 적지 않는다 | 적어도 반영되는 것을 못 봤다 | "지난주 적어 준 여섯 건이 이번 주 스킬에 반영됐다"고 알린다 |
현장 장면
94단계의 문 팀장은 평가 세트를 만든 뒤 한 걸음 더 나간다. 공용 폴더에 수정 기록 표를 만든다. 날짜, 거래처(가상 코드), 고치기 전, 고친 뒤, 이유(형식·사실·말투·빠진 내용·기타 중 선택). 담당자 세 명에게 "고치면 30초만 들여 적어 달라"고 부탁한다.
이어서 Cowork 예약 작업을 하나 만든다. 매주 월요일 아침, 수정 기록 표에서 지난주 행을 읽어 개선안 초안 문서를 쓰는 작업이다. 이 작업에는 수정 기록 폴더 읽기와 개선안 폴더 쓰기만 허용하고, 스킬 폴더는 읽기만 가능하게 둔다.
첫 주 개선안에 원인 세 개가 묶여 나온다. "거래처명 뒤 호칭 누락" 일곱 건, "미수 90일 넘는 거래처에 독촉 문구가 약함" 세 건, "합계 열 위치를 잘못 읽음" 두 건. 개선안은 스킬에 호칭 규칙 한 문장, "합계는 열 위치 대신 '합계'라는 머리글로 찾는다" 한 문장을 넣자고 한다. 두 번째 원인에는 강한 독촉 문구를 제안하면서 "거래 관계에 따라 담당자 판단이 다를 수 있음"이라는 고치지 말아야 할 이유도 붙였다.
화요일, 문 팀장은 첫째와 셋째만 채택한다. 둘째는 담당자가 거래처 사정을 보고 판단할 일이라 규칙으로 만들지 않는다. 두 문장을 넣은 스킬 사본으로 평가 세트를 다시 돌리자 합격이 열넷에서 열여섯으로 늘고, 금지 행동 시도는 없다. 문 팀장은 승인하고, 이전 판을 날짜를 붙여 보관한 뒤 변경 기록에 적는다. "호칭 규칙, 합계 찾는 법 추가. 근거: 수정 기록 9건. 평가 14→16. 승인: 문○○."
셋째 주에는 이상한 제안이 섞여 나온다. "금액 차이가 없는 거래처는 담당자 확인 없이 바로 발송하면 대기 시간이 줄어든다." 문 팀장은 이 제안을 루프 안에서 다루지 않는다. 발송 전 확인은 운영 규칙이 정한 일이고, 루프가 건드릴 수 없다. 대신 예약 작업 지시문에 한 문장을 더한다. "발송·삭제·권한·확인 단계를 바꾸는 제안은 개선안에 넣지 말고 '루프 밖 검토 요청'으로 따로 적어."
두 달 뒤, 수정 기록 표의 주간 행 수는 스무 건 남짓에서 대여섯 건으로 줄었다. 문 팀장은 이 숫자와 센 방법을 함께 적어 분기 사용 보고의 "줄인 일"에 옮긴다.
따라 하기
- 94단계에서 평가 세트를 만든 작업 하나를 고르고 수정 기록 양식을 만든다. 성공 기준: 열이 다섯 개 이하이고, 이유는 보기에서 고르며, 한 건을 30초 안에 적을 수 있다.
- 루프가 바꾸지 못하는 항목을 적고, 개선안 작업의 권한을 좁힌다. 성공 기준: 목록이 루프 규칙 문서 맨 위에 있고, 개선안 작업은 기록 읽기와 개선안 문서 쓰기만 할 수 있다.
- 한두 주 동안 기록을 모은 뒤 아래 프롬프트로 개선안 초안을 받는다. 성공 기준: 원인마다 건수와, 바꿀 파일·문장의 전후가 적혀 있다.
- 채택할 개선 한두 가지를 사본에 반영하고 94단계 평가 세트로 전후를 비교한다. 성공 기준: 평가 기록 두 장이 있고 반영 기준 세 가지를 확인했다.
- 통과했으면 승인하고 반영한다. 이전 판을 보관하고 변경 기록을 남긴다. 성공 기준: 이전 판으로 5분 안에 되돌릴 수 있고, 변경 기록에 승인한 사람의 이름이 있다.
- 수집과 개선안 작성을 주간 예약 작업으로 만들고, 월간 점검을 99단계 월간 확인과 같은 날로 잡는다. 성공 기준: 예약 작업이 개선안 문서를 만드는 데서 멈추고, 월간 점검 항목에 드리프트 신호 확인과 평가 세트 추가가 들어 있다.
복사해 쓰는 프롬프트
너는 개선안만 쓴다. 파일을 직접 고치거나, 게시하거나, 보내지 마.
대상 작업: [예: 주간 미수금 안내 초안 작성]
고칠 수 있는 파일: [예: 스킬 "미수금 안내", 작업 지시문]
바꾸지 못하는 것: 금지 행동 목록, 사람 확인 단계, 권한과 연결자 범위, 데이터 등급 규칙, 평가 세트와 채점 기준
수정 기록: [지난주 수정 기록 표. 이름·금액은 가린 상태]
1. 수정 기록을 원인별로 묶고 원인마다 건수를 세어 줘. 한 건뿐인 원인은 "지켜볼 것"으로 따로 둬.
2. 두 건 이상인 원인마다 고칠 파일, 위치, 바꾸기 전 문장과 바꾼 뒤 문장을 나란히 적어 줘.
3. 제안마다 고치지 말아야 할 이유가 있으면 함께 적어 줘. 사람마다 판단이 다른 부분이면 그렇다고 써.
4. 바꾸지 못하는 것에 해당하는 제안은 개선안에 넣지 말고 맨 아래 "루프 밖 검토 요청"에 따로 적어.
5. 한 번에 반영할 개선은 두 가지 이내로 추천해 줘.
6. 맨 끝에 변경 기록 초안을 남겨 줘: 날짜 | 파일 | 바꿀 내용 | 근거 건수 | 평가 전→후 | 승인. 마지막 두 항목은 비워 둬.
최종 선택과 반영은 사람이 한다.
막히면 이렇게
| 증상 | 원인 | 처방 |
|---|---|---|
| 수정 기록이 쌓이지 않는다 | 기록이 번거롭거나, 적어도 반영되는 것을 못 봤다 | 열을 줄이고 이유는 보기에서 고르게 한다. 반영된 개선을 근거 건수와 함께 알린다 |
| 개선안이 막연한 조언뿐이다 | 파일과 문장 단위로 요구하지 않았다 | 고칠 파일, 위치, 전후 문장을 나란히 적게 한다 |
| 반영 뒤 문제가 생겼는데 이전 상태를 모른다 | 이전 판을 보관하지 않았다 | 반영 전 이전 판을 날짜 붙여 보관하고, 변경 기록에 위치를 적는다 |
실습 파일
공개 저장소에 올려 둔 가공 자료와 양식이다. 회사 자료 대신 먼저 이것으로 해 본다.
- 채워 쓰는 양식 개선루프_기록표.md · 수정 기록, 개선안, 전후 비교, 변경 기록, 주간·월간 루틴, 드리프트 신호
스스로 점검
- ☐ 우리 루프에서 개선안을 쓰는 작업이 스킬이나 지침을 직접 고칠 권한을 갖고 있지 않은가
- ☐ 반영 전에 평가 세트로 전후를 비교하고, 점수가 떨어지면 반영하지 않는다는 기준이 적혀 있는가
- ☐ 지난달 반영한 변경을 이전 판으로 되돌리는 방법을 말할 수 있는가
점검 해설 보기
- 개선안을 쓰는 작업이 수정 기록 읽기와 개선안 문서 쓰기만 할 수 있고, 스킬 폴더나 CLAUDE.md는 읽기만 가능하게 권한이 좁혀져 있으면 통과다. 쓰기 권한이 열려 있다면 「루프가 바꾸지 못하는 것」을 다시 읽고, 지시문의 "고치지 마"에 기대기보다 권한으로 막는다.
- 루프 규칙 문서에 "합격 건수가 줄지 않을 것, 새 금지 행동 시도가 없을 것, 떨어진 과제는 이유를 설명할 수 있을 것"이 적혀 있고, 반영할 때마다 전후 평가 기록 두 장이 남아 있으면 된다. 기준이 없다면 「반영하고, 기록하고, 되돌릴 수 있게」와 94단계의 반영 기준을 옮겨 적는다.
- 이전 판이 날짜를 붙인 이름으로 보관돼 있고 변경 기록에 그 위치와 승인한 사람이 적혀 있어, 5분 안에 되돌리는 순서를 말할 수 있으면 통과다. 이전 상태를 모른다면 「막히면 이렇게」의 마지막 처방대로 반영 전에 이전 판부터 보관하고, 되돌리는 데 5분이 넘으면 보관 방식을 고친다.
기억할 것
- 자라는 것은 Claude가 읽는 파일과 지시다. 개선안은 Claude가 쓰고, 반영은 사람이 승인한다.
- 금지 행동, 확인 단계, 권한, 평가 세트는 루프가 스스로 바꾸지 못한다. 권한 확대는 절대 자동으로 반영하지 않는다.
- 반영 전에는 평가 세트로 비교하고, 반영할 때는 이전 판과 변경 기록을 남긴다.