6단계틀린 답을 알아보는 법
그럴듯한 숫자일수록 출처를 묻습니다.
걸리는 시간 · 읽기 약 5분 · 따라 하기 약 25분 · 난이도 ★☆☆ 기본
이 단계를 마치면
- 답에서 먼저 의심할 곳(숫자, 날짜, 고유명사, 인용)을 골라낼 수 있습니다.
- 항목마다 출처를 묻고, 출처 없는 항목을 "확인 필요"로 바꿀 수 있습니다.
- 결과물이 어디로 가는지에 맞춰 확인의 깊이를 정할 수 있습니다.
Claude가 쓴 보고서에 숫자가 스무 개 있습니다. 그 가운데 하나가 틀렸다면, 여러분은 어떻게 알아챌까요? 문장은 매끄럽고 형식은 깔끔합니다. 틀린 숫자도 맞는 숫자와 똑같은 얼굴을 하고 있습니다. 문장이 자연스러우면 사람은 내용까지 맞다고 느낍니다. 다행히 틀린 답을 알아보는 눈은 몇 가지 습관만으로 충분히 기를 수 있습니다.
틀린 답은 왜 생기는가
Claude는 다음에 올 말을 그럴듯하게 이어 쓰는 방식으로 답을 만듭니다. 대부분은 그럴듯한 것과 맞는 것이 일치하지만, 모르는 대목에서는 둘이 갈라집니다. 시장 규모를 모르면 들어갈 법한 숫자가, 조항 번호를 모르면 있을 법한 번호가 들어갑니다. 겉모습은 제대로 아는 답과 똑같습니다.
이 점을 모르고 쓰면 언젠가 한 번은 틀린 숫자가 보고서에 실려 나갑니다. 그런 일을 겪은 조직은 도구 전체를 불신하게 되고, 쓸 만한 대부분까지 함께 버립니다. 확인하는 습관은 이 도구를 계속 쓰기 위한 조건입니다.
칼럼에서 읽기 「AI의 원리, 어색할 뿐 설명 가능하다 (경영의 문법이 바뀌는 이유)」
“따라서 LLM의 기본 원리를 아주 거칠게 압축하면 이렇다. … 주어진 문맥에서 다음 토큰이 무엇일 확률이 높은지를 계산한다. 그 결과를 다시 반복한다. 우리가 화면에서 보는 AI의 유려한 문장은 이 거대한 확률 계산의 표면이다.”
매끄러운 문장이 맞는 문장이라는 보장이 없는 까닭이 여기에 있습니다. 확률이 높은 말과 사실인 말은 대개 겹치지만, 겹치지 않는 대목은 겉으로 드러나지 않습니다. 그래서 다음 소절의 의심하는 습관이 필요합니다.
어디부터 의심하는가
| 먼저 의심할 곳 | 왜 | 확인하는 법 |
|---|---|---|
| 숫자 | 틀려도 티가 나지 않고, 보고서에서 가장 먼저 인용됩니다 | 출처를 묻고, 원본에서 직접 찾습니다 |
| 날짜·기간 | 옛 정보가 현재형으로 섞입니다 | 출처의 발표 날짜를 함께 적게 합니다 |
| 고유명사 | 비슷한 이름의 사람·회사·제품을 섞습니다 | 공식 자료에서 철자와 소속을 맞춥니다 |
| 인용문 | 그 사람이 하지 않은 말을 만들 수 있습니다 | 원문 링크나 자료에서 문장을 찾습니다 |
| 기능·메뉴·절차 안내 | 없는 기능이나 옛 절차를 안내합니다 | 공식 문서나 실제 화면에서 확인합니다 |
| 내 자료와 다른 말 | 자료 대신 일반 지식이 섞였습니다 | 근거 위치를 달게 합니다 (3단계) |
구체적인 값이 나오면 일단 멈춥시다. 이 값은 내가 올린 자료에서 왔습니까, 검색한 출처에서 왔습니까, 아니면 어디서 왔는지 모릅니까? Claude에게 "이 숫자의 출처는 무엇인가"라고 물어 출처를 대지 못하면 지웁니다. 출처를 댔다면 그 출처를 열어 숫자가 실제로 거기 있는지 확인합니다. 출처를 댔다는 것과 출처에 그 숫자가 있다는 것은 별개의 일입니다.
틀린 곳을 찾았다면 "틀렸어, 다시 써"라고 하지 말고 무엇이 틀렸는지 정확히 말합니다. "세 번째 항목의 날짜가 올린 문서와 다르다. 문서 기준으로 그 항목만 고쳐라." 전체를 새로 쓰게 하면 맞던 곳이 틀리고 틀린 곳이 새로 생기기도 합니다.
확인의 깊이는 결과물이 갈 곳에 맞춘다
혼자 보는 메모라면 가볍게 훑어도 됩니다. 팀 안에서 돌려 보는 초안이라면 숫자만 확인합니다. 임원 보고, 고객에게 나가는 문서, 계약이나 돈이 걸린 자료라면 숫자와 인용을 하나하나 확인합니다. 직무마다 특히 조심할 대목도 있습니다. 영업은 고객에게 약속하는 조건과 가격, 재무는 합계와 기간, 법무와 인사는 조항 번호와 법령 이름, 마케팅은 경쟁사에 대한 주장과 인용입니다. 내 직무에서 틀리면 가장 곤란한 것 한두 가지를 정해 두고, 그것만큼은 늘 원본과 맞춰 봅시다.
확인한 줄 알았는데 확인이 아니었던 일도 흔합니다. "이거 맞아?"라고 되묻는 것은 원본을 한 번도 보지 않은 확인입니다. 다른 AI 도구에 같은 질문을 던져 답이 같으면 맞다고 여기는 것도 다수결일 뿐입니다. 두 도구가 같은 잘못된 글을 바탕으로 같은 틀린 값을 낼 수 있습니다. 검색을 켰으니 맞겠거니 하는 것도 마찬가지입니다. 링크를 열어 해당 문장을 찾기 전까지는 확인을 마친 것이 아닙니다.
팀장이나 임원이라면 팀원이 Claude와 함께 만든 문서를 받게 됩니다. 예전에는 문장이 서툴면 준비가 덜 됐다는 신호였지만, 이제는 문장이 매끄러워도 숫자는 비어 있을 수 있습니다. 대신 두 가지를 물어봅시다. "이 숫자는 어디서 왔나?" 그리고 "직접 확인한 곳은 어디인가?" 보고서 끝에 "확인 필요" 목록을 붙이게 하는 팀 규칙 하나면, 검토하는 사람이 문서 전체를 의심하지 않아도 됩니다.
한 과장의 손끝에서 시작된 의심이 어떻게 팀의 규칙이 됐는지 봅시다.
현장 장면
신사업팀 서 과장은 반려동물 용품 시장 진출을 검토하는 초안을 Claude에게 맡겼습니다. 검색은 켜지 않았습니다. 받아 든 초안은 훌륭해 보였습니다. 문장마다 시장 규모, 연평균 성장률, 주요 업체의 점유율 같은 수치가 촘촘히 박혀 있었습니다. 그대로 팀장에게 올리려다 서 과장은 손을 멈췄습니다. 한 수치가 이상하리만치 정확해 보였습니다.
아래 프롬프트로 숫자와 고유명사를 모두 표로 뽑고 출처를 물었습니다. 결과는 당혹스러웠습니다. 여러 수치에 "일반적인 추정"이나 "출처 없음"이 달려 나왔고, 한 업체 이름은 알고 보니 전혀 다른 업종의 회사였습니다. 서 과장은 검색을 켜고, 공공 통계와 업계 단체 자료를 우선하라는 기준을 붙여 다시 조사하게 했습니다. 확인되는 수치만 출처와 날짜를 달고 살아남았고, 나머지는 "확인 필요"로 바뀌었습니다. 출처 링크를 열어 보니 한 수치는 몇 해 전 자료여서, 그 항목에는 자료의 연도를 밝히게 했습니다.
초안은 처음보다 얇아졌습니다. 대신 팀장이 어떤 숫자를 가리키든 출처를 댈 수 있는 문서가 됐습니다. 초안을 받은 팀장이 물었습니다. "업체 이름이 틀렸던 건 어떻게 알았나?" 서 과장은 출처 표에 "출처 없음"이 달려 있길래 공식 홈페이지를 직접 찾아봤다고 답했습니다. 팀장은 그 자리에서 팀 규칙을 하나 정했습니다. 시장 조사 초안에는 출처 표를 붙이고, 업체 이름은 공식 자료로만 적습니다.
따라 하기
- 3단계나 4단계에서 받은 답 하나를 다시 엽니다. 성공 기준: 숫자나 고유명사가 들어간 답입니다.
- 답에 나온 숫자, 날짜, 이름, 인용문에 모두 표시합니다. 성공 기준: 표시한 항목의 개수를 셀 수 있습니다.
- 아래 프롬프트로 각 항목의 출처를 묻습니다. 성공 기준: 모든 항목에 출처나 "출처 없음"이 달린 표를 받았습니다.
- 출처가 없는 항목은 지우거나 "확인 필요"로 바꾸게 합니다. 성공 기준: 수정본의 모든 숫자에 출처가 있거나 "확인 필요"가 붙어 있습니다.
- 남은 항목 가운데 두 개를 원본 자료나 링크에서 직접 확인합니다. 성공 기준: 두 값이 원본과 정확히 같습니다. 다르면 그 항목을 지목해 고치게 합니다.
- 내 직무에서 틀리면 가장 곤란한 것 두 가지를 적습니다. 성공 기준: 다음 결과물부터 그 두 가지는 늘 원본과 맞춰 볼 수 있습니다.
복사해 쓰는 프롬프트
방금 답에 나온 숫자, 날짜, 고유명사, 인용문을 모두 표로 뽑아라.
열: 항목 / 답에 나온 값 / 출처(올린 자료의 위치, 또는 링크) / 확실한 정도(확인됨·추정·출처 없음)
출처가 없거나 추정인 항목은 본문에서 "확인 필요"로 바꾼 수정본도 함께 달라.
막히면 이렇게
| 증상 | 원인 | 처방 |
|---|---|---|
| 출처로 댄 링크를 열어 보니 그 숫자가 없습니다 | 출처와 내용을 따로 맞췄습니다 | 링크를 직접 열어 확인하고, 없으면 "확인 필요"로 바꿉니다 |
| 고쳐 달랬더니 맞던 곳까지 바뀝니다 | "다시 써"라고만 했습니다 | 틀린 항목과 올바른 기준을 지적해 그 항목만 고치게 합니다 |
| 확인할 것이 너무 많아 지칩니다 | 모든 결과물을 같은 깊이로 확인했습니다 | 결과물이 갈 곳에 맞춰 깊이를 정합니다 |
| 숫자가 모두 "확인 필요"가 되어 쓸 게 없습니다 | 검색이나 자료 없이 수치를 요구했습니다 | 자료를 올리거나 검색을 켜고 출처 기준을 줍니다 (3단계, 4단계) |
실습 파일
공개 저장소에 올려 둔 가공 자료와 양식입니다. 회사 자료 대신 먼저 이것으로 해 보세요.
- 샘플 자료 연구노트_샘플.md · 공공·연구 사례용. 가람시 리필스테이션 시민 설문(400명) 결과표와 연구원 메모
스스로 점검
- ☐ 이번 결과물의 숫자마다 어디서 왔는지 말할 수 있습니까?
- ☐ 출처 가운데 적어도 두 개를 직접 열어 값을 맞춰 보았습니까?
- ☐ 이 결과물이 어디로 가는지 따져 확인의 깊이를 정했습니까?
점검 해설 보기
- 결과물의 숫자마다 "올린 자료의 어느 위치", "어느 링크", "출처 없음" 가운데 하나를 댈 수 있으면 통과입니다. 대지 못하는 숫자가 있다면 「복사해 쓰는 프롬프트」로 출처 표를 받고, 출처가 없는 항목은 "확인 필요"로 바꾸게 합니다.
- 출처 두 개를 직접 열어 결과물의 값과 원본 값이 정확히 같음을 확인했으면 통과입니다. 출처를 댔다는 것만으로 멈췄다면 「어디부터 의심하는가」의 마지막 문단을 다시 읽고 원본에서 값을 찾아봅니다.
- 혼자 볼 메모인지, 팀 초안인지, 임원이나 고객에게 가는 문서인지 정하고 거기에 맞는 확인 범위를 말할 수 있으면 통과입니다. 정하지 않았다면 「확인의 깊이는 결과물이 갈 곳에 맞춘다」를 읽고, 내 직무에서 틀리면 가장 곤란한 것 두 가지를 적어 둡니다.
기억할 것
- 문장이 매끄럽다고 내용까지 맞는 것은 아닙니다. 숫자부터 출처를 묻습니다.
- 출처를 댄 것과 출처에 그 값이 있는 것은 다릅니다. 직접 열어 봅니다.
- 틀린 곳은 다시 쓰라고 하지 말고 무엇이 틀렸는지 지적합니다.