SELF-IMPROVING SYSTEM

매일 똑똑해지는
회사를 만듭니다.

AI를 도입한 날이 가장 똑똑한 날이어서는 안 됩니다. 테슬라가 고객의 주행으로 매일 나아지듯, 우리 회사의 AI도 직원이 쓰고 고칠 때마다 나아지는 구조를 회사 안에 만듭니다.

기록›채점›진단›검증·적용›결재›다시 기록으로
WHY LOOPS

잘 설계된 루프는
스스로 자랍니다.

AX의 승부는 첫 모형의 완성도가 아니라
루프를 얼마나 빨리, 자주 돌리느냐에서 갈립니다.

처음 만든 모형은 어설퍼 보입니다. 그러나 현장 실무자 손에 쥐여 주고 피드백을 받기 시작하면 성능이 쭉 올라갑니다. 피드백이 성능을 끌어올리고, 좋아진 성능이 더 많은 사용과 더 정확한 피드백을 부릅니다. 사람이 가르치는 루프와 AI가 스스로 배우는 루프가 맞물릴 때 기업은 비로소 스스로 자라기 시작합니다.

사람만 개선할 때

매주 한 번, 1%씩

현장 피드백을 사람이 반영합니다. 1년 52번.

1.68배68% 성장
1.0152
사람 + AI가 개선할 때

매주 두 번, 1%씩

한 번은 사람이 현장 피드백을, 한 번은 AI가 데이터를 분석해 스스로. 1년 104번.

2.81배181% 성장
1.01104

주 1회를 주 2회로 늘렸을 뿐인데 성장률은 68%에서 181%로 뜁니다. 사람을 두 배로 늘릴 필요는 없습니다. 사람은 지금처럼 주 1회를 책임지고, AI가 한 번 더 맡습니다. AI가 기록과 리뷰를 분석해 수정안과 테스트까지 준비하면, 사람은 만드는 대신 검토하고 승인합니다.

복리는 반대로도 작동합니다. 업데이트마다 1%씩 나빠지면 50번 뒤 처음의 60%, 100번 뒤 37%가 됩니다. 그래서 자율성장시스템에서 더 중요한 것은 속도보다 뒷걸음질을 막는 장치입니다.

“성장하는 회사에는 반드시 돌아가는 루프가 있고, 멈춘 회사에는 끊어진 고리가 있다.”

김문수, 「루프를 보면 가슴이 뛴다」 CEO경제신문 2026.10.07
TESLA FSD · THE DATA ENGINE

테슬라의 성장 구조를
우리 회사 말로 옮깁니다.

차가 늘면 주행거리가 늘고, 주행거리가 늘면 학습 데이터가 쌓입니다. 데이터가 제품을 낫게 만들고, 나아진 제품이 더 많이 팔려 차가 또 늡니다. 이 양의 루프가 한번 돌기 시작하면 뒤따르는 회사는 좀처럼 따라잡기 어렵습니다.

150억 마일+FSD 누적 주행거리. 2025년 말 70억 마일에서
58억 마일그 가운데 까다로운 상황이 몰린 도심 주행
24일130억 마일에서 140억 마일까지 걸린 시간
2만 5천 마일+운전자 개입 없이 달릴 수 있다고 밝힌 거리 (2026년 8월)

핵심은 많이 모으는 것이 아니라 틀린 순간을 골라 모으는 것입니다. 사람이 운전하는 동안에도 FSD는 뒤에서 ‘나라면 어떻게 했을까’를 따져 봅니다. 이른바 섀도 모드입니다. 그러다 사람의 운전과 판단이 엇갈린 순간만 골라 회사로 보냅니다. 우리 회사에도 그 ‘개입’은 매일 일어납니다. 기록되지 않고 버려질 뿐입니다.

테슬라우리 회사
차량업무 에이전트
주행업무 처리 한 건
운전자 개입직원의 수정 · 고객 재문의 · 불만
섀도 모드새 버전을 뒤에서 병행 실행해 결과만 비교
무선 업데이트지침 · 지식 · 도구 버전 배포
개입 사이 주행거리사람 손을 타지 않은 처리 비율

FSD 수치 출처: 김문수, 「루프를 보면 가슴이 뛴다」 CEO경제신문 2026.10.07. 대응표: CEO전략최신화과정 강의 「매일 똑똑해지는 AI 자율성장시스템」(2026.10.7, 서울대학교 교수회관).

FIVE RINGS · 기록 → 채점 → 진단 → 검증·적용 → 결재

자율성장은 다섯 고리가
맞물려 돌아갑니다.

같은 모델을 같은 날 도입해도 1년 뒤 성적은 회사마다 다릅니다. 차이를 만드는 것은 모델 성능보다 회사 안의 순환 구조입니다. 다섯 고리 중 하나라도 끊기면 기록은 쌓여도 성장은 없습니다.

01 · RECORD

기록

틀린 답이 어디에 쌓이고 있는가

  • 에이전트가 일할 때마다 네 가지를 남깁니다. 입력(요청 원문·첨부·상황), AI 결과(답변과 사용한 근거), 사람의 수정(고친 부분·이유·승인 여부), 최종 결과(고객 반응·재문의·해결 여부)
  • 가장 값진 것은 사람이 고친 흔적입니다. 테슬라로 치면 ‘운전자 개입’입니다
  • 데이터를 새로 만들기보다 이미 있는 업무 기록부터 씁니다. 다만 쓰기 전에 품질을 먼저 살핍니다

이렇게 달라집니다그냥 버려지던 수정과 재문의가 다음 개선의 재료로 쌓입니다.

02 · SCORE

채점

작년보다 정확해졌다고 숫자로 말할 수 있는가

  • 평가셋은 20~50건으로 시작합니다. 현장 실패·대표 업무·‘하지 말아야 할 때’를 함께 담습니다
  • 채점은 셋이 나눠 맡습니다. 답이 딱 떨어지는 것은 코드가, 판단이 필요한 것은 AI가 채점하고, 사람은 그 AI 채점자를 채점합니다
  • 두 가지 성적표를 둡니다. 새로 잘하게 될 것을 재는 능력 평가와, 이미 되던 것을 지키는 회귀 평가. 회귀 평가 통과가 배포의 문턱입니다
  • 고객 앞에 서는 AI는 평균보다 연속 성공률로 봅니다. 한 번 성공률 75%면 3번 연속 성공은 약 42%입니다

이렇게 달라집니다무엇이 ‘잘한 제안서’이고 ‘잘한 응대’인지 회사가 처음으로 글로 정해 둡니다.

03 · DIAGNOSE

진단

‘또 틀렸네’로 끝내지 말고, 어디서 틀렸는지 묻는다

  • 틀린 원인은 다섯 가지로 나눕니다. 지식 부족 · 지침 모호 · 도구 오류 · 판단 오류 · 채점 오류. 원인에 따라 처방이 다릅니다(아래 표)
  • 점수가 낮으면 채점 오류부터 의심합니다. 대화 기록 몇 건은 반드시 사람이 직접 읽습니다
  • 고칠 때는 싼 것부터 손댑니다. 지식 문서 보강(분) → 지침 수정(시간) → 절차·도구 수정(일) → 모델 교체(주). ‘모델을 바꾸자’는 마지막 카드입니다
  • 개선안은 AI가 씁니다. 실패 기록을 읽고 원인을 짚은 뒤 지침을 고쳐 쓰고, 그 결과를 다시 채점합니다. 다만 믿을 만한 평가셋이 먼저 있어야 맡길 수 있습니다

이렇게 달라집니다실수마다 원인에 맞게 고치니 같은 실수가 되풀이되지 않습니다.

04 · VERIFY & DEPLOY

검증·적용

고친 것이 다른 곳을 망가뜨리지 않았는가

  • AI가 낸 개선안은 아직 후보입니다. 회귀 평가 · 숨겨 둔 검증셋 · 금지 행동 점검, 이 세 관문을 모두 넘어야 배포할 수 있습니다
  • 실력은 그대로인데 점수만 오르는 ‘점수 해킹’을 경계합니다. 점수가 오르면 먼저 의심하고, ‘문제를 풀지 않고 이 시험을 통과할 수 있는가’를 묻습니다
  • 새 버전은 단계를 밟아 내보냅니다. 섀도(뒤에서만 실행) → 카나리(5%) → 확대(25~50%) → 전체. 단계마다 넘어갈 기준과 멈출 기준을 미리 적어 둡니다
  • 지침·모델·도구·지식 문서·안전장치 다섯 가지를 한 버전으로 묶어 저장하고, 되돌릴 때도 통째로 되돌립니다. 목표는 60초 안입니다
  • 누가, 무엇을, 왜 바꿨는지 배포 기록부에 남깁니다

이렇게 달라집니다되돌릴 수 있어야 맡길 수 있습니다. 되돌리는 시간이 짧을수록 AI에게 더 많이 맡깁니다.

05 · APPROVE

결재

누가, 언제, 무엇을 고쳤는가

  • 무엇을 ‘잘했다’고 볼지 정하는 일은 경영 의사결정입니다. 채점 기준은 경영자가 결재합니다. 채점 기준이 바뀌면 회사의 성장 방향이 바뀝니다
  • 자동으로 맡길 일과 승인받을 일은 영향이 얼마나 큰지, 되돌리기 쉬운지를 보고 나눕니다(아래 표)
  • 사람에게는 두 자리가 남습니다. 무엇을 잘한 것으로 볼지 정하는 채점 기준 설계자, 그리고 AI가 채점한 결과를 직접 읽어 보는 표본 검수자입니다

이렇게 달라집니다일하고 채점하고 고치는 것은 AI가 맡아도, 기준을 정하고 표본을 읽는 일은 사람이 놓지 않습니다.

FIVE CAUSES OF WRONG ANSWERS

틀린 원인은 다섯 가지,
처방도 다섯 가지입니다.

원인증상처방
① 지식 부족문서에 없는 내용을 지어내거나 모른다고 한다지식 문서 보강
② 지침 모호같은 요청에 답이 매번 달라진다지침 문장 명확화
③ 도구 오류조회·계산 결과가 틀리거나 비어 있다도구·연결 수정
④ 판단 오류규칙을 알지만 상황에 잘못 적용한다예시 추가 · 판단 기준 보강
⑤ 채점 오류정답인데 오답으로 처리된다채점 기준 수정 (경영자 승인)
WHAT TO AUTOMATE

자동으로 맡길 일과
승인이 필요한 일을 나눕니다.

기준은 두 가지입니다. 영향이 얼마나 큰지, 그리고 되돌리기 쉬운지입니다. 자동 범위를 넓히는 것은 사람이, 좁히는 것은 시스템이 합니다.

AI가 바로 반영자동 처리지식 문서 보강, 표현·형식 개선, 관문을 통과한 저위험 지침 수정
AI가 반영하고 나중에 보고사후 보고내부용 에이전트의 지침 수정
사람이 먼저 승인사전 승인가격·환불·계약 문구, 외부로 나가는 발송 내용
경영자가 결재경영자 결재모델 교체, 개인정보 처리 방식, 채점 기준 변경

금지에이전트가 자기 채점 기준을 스스로 바꾸는 일. 학생이 자기 시험지를 직접 채점하는 격입니다.

BUILT & RUNNING

김문수 교수가 직접 구축한
자율성장 사례입니다.

뼈대는 모두 같습니다. 업무 기록이 시험지가 되고, 사람이 고친 내용이 다음 학습의 정답이 됩니다. 사례마다 이미 된 것과 아직 남은 과제를 나눠 적었습니다. 첫 성과는 성장 수치보다, 성장을 잴 수 있는 틀을 갖춘 데 있습니다.

AI TUTOR · 공개 운영

AI 김문수 교수 1:1 LIVE

AI에 관해 무엇을 물어도 말로 답하는 에이전트입니다. 질문 분야마다 시험지를 따로 두고 채점합니다.

시험지
AX 전략 · 경영·산업 · 최신 소식 · 기술·구현 · 원리·이론 · 역사·인물 · 윤리·규제 · 부의 감각
채점
수치·날짜 정확성(코드+원문 대조) · 최신성 · 근거 · CEO 눈높이 설명(AI 채점+표본 검수) · 답변 길이(코드)
직접 물어보기 →
AI CALL CENTER

AI 콜센터

실제 통화와 함정 문항으로 시험지를 만들고, 틀린 답은 회귀 시험에 넣어 다시 틀리지 않는지 봅니다.

현재
성장 고리 6개 구현
과제
매일 자동 재채점
AI CAD ASSISTANT

AI CAD 도우미

완성된 도면을 정답지로 삼습니다. 설계팀이 고친 내용은 다시 학습 정답으로 거둬들입니다.

현재
성적표 확보
과제
합격선 0.98을 향해 개선 중
AI PRE-ERP · 재무팀

승인할 때마다 참고 사례가 쌓이는 가전표

사람이 검토하고 승인한 전표만 정답 사례가 됩니다. 이 사례가 다음 전표를 쓸 때 참고 자료로 돌아옵니다. 승인은 반드시 사람이 합니다. AI가 지어내면 안 되는 계정·원가센터 코드는 서버가 비워 두고 사람이 채웁니다.

기록
기존 회계 시스템 업무 기록 11만 행을 품질 점검 후 사용 (차대변 불균형 0건)
성적표
추천 수정률 · 시간 절감률 · 오류 미탐률 · 중복 탐지율
과제
실측 성적의 서버 저장, 수정 이력의 개선안 전환
AI OFFICE PORTAL · 그룹 포털

직원의 문의를 매일 개선 재료로 쓰는 포털

매일 00시에 그날 들어온 자료·제안·코멘트·메일을 모읍니다. AI가 근거를 달아 내용을 읽으면, 서버 규칙이 초록(자동)·노랑(한 번 확인)·빨강(사람만)으로 나눕니다. 사람이 승인하거나 반려하며 남긴 사유는 다음 날 AI가 참고할 예시가 됩니다.

규모
부서별 에이전트 카드 27 · 자료 섹션 47 · 접수 입구 4
검증
실패 사례를 회귀 테스트 83건으로 고정
과제
자동 범위의 승격·강등
RESEARCH

감사 가능한 자율성장

배포 기록부와 관문 설계를 묶어, 나중에 감사할 수 있는 기업용 에이전트를 만드는 방법으로 정리한 논문입니다.

논문
From Prompts to Contracts: Harness Engineering for Auditable Enterprise LLM Agents (arXiv 2607.08028, 김문수 교신저자)
연구진 · 논문 →

사례에는 고객사 이름과 내부 성과 수치를 싣지 않았습니다. ‘현재’와 ‘과제’는 2026년 10월 강의 때를 기준으로 적었습니다.

CEO CHECKPOINTS

월 1회, 담당 임원에게
이 일곱 가지를 묻습니다.

  1. 업무 기록(입력·결과·수정·최종 결과)이 남고 있는가
  2. 평가셋은 몇 건이고 언제 마지막으로 갱신했는가
  3. 이번 달 성적 추이는 어떤가
  4. 회귀 관문을 거치지 않고 배포된 변경이 있었는가
  5. 되돌리기에 실제로 몇 분 걸리는가
  6. AI 점수와 고객 지표(재문의율·해결률·만족도)가 함께 오르는가
  7. 사람이 직접 읽는 표본 비율은 얼마인가

6번에서 AI 점수만 오른다면 점수 해킹을 의심합니다.

90-DAY ROADMAP

업무 하나로 시작해
90일 안에 한 바퀴를 완성합니다.

처음부터 전사로 넓히지 않습니다. 90일 뒤 보고받을 것도 하나뿐입니다. 이 업무의 AI 성적이 매주 어떻게 변했는가.

1~30일

기록과 시험지

  • 업무 하나 선정
  • 입력·결과·수정·최종 결과 기록 시작
  • 실패 사례로 평가셋 20~50건
31~60일

채점과 진단

  • 채점 기준 확정 (CEO 결재)
  • AI 채점자 보정
  • 주간 오답 분류 회의
61~90일

관문과 되돌리기

  • 회귀 관문 · 숨긴 검증셋
  • 섀도 → 카나리 배포
  • 60초 되돌리기 시험

이 화면은 AX 컨설팅에서 만드는 네 가지(맞춤형 에이전트 · 데이터 허브 · 지능형 경영 시스템 · 자율 성장 시스템) 가운데 네 번째를 자세히 풀어 쓴 것입니다. 원리와 사례는 CEO전략최신화과정 강의 「매일 똑똑해지는 AI 자율성장시스템」(김문수 주임교수, 2026.10.7)에서 가져왔습니다.

START NOW

쓸수록 좋아지는 회사,
업무 하나에서 시작하십시오.

어느 업무에서 첫 바퀴를 돌릴지, 지금 쌓인 기록으로 첫 시험지를 만들 수 있을지부터 같이 살펴봅니다. 미리 준비하실 자료는 없습니다.