7단계틀린 답을 알아보는 법
그럴듯한 숫자일수록 출처를 묻는다.
걸리는 시간 · 읽기 약 5분 · 따라 하기 약 25분 · 난이도 ★☆☆ 기본
이 단계를 마치면
- 답에서 먼저 의심할 곳(숫자, 날짜, 고유명사, 인용)을 골라낼 수 있다.
- 항목마다 출처를 묻고, 출처 없는 항목을 "확인 필요"로 바꿀 수 있다.
- 결과물이 어디로 가는지에 맞춰 확인의 깊이를 정할 수 있다.
Claude가 쓴 보고서에 숫자가 스무 개 있다. 그 가운데 하나가 틀렸다면, 여러분은 어떻게 알아챌까. 문장은 매끄럽고 형식은 깔끔하다. 틀린 숫자도 맞는 숫자와 똑같은 얼굴을 하고 있다. 문장이 자연스러우면 사람은 내용까지 맞다고 느낀다. 다행히 틀린 답을 알아보는 눈은 몇 가지 습관만으로 충분히 기를 수 있다.
틀린 답은 왜 생기는가
Claude는 다음에 올 말을 그럴듯하게 이어 쓰는 방식으로 답을 만든다. 대부분은 그럴듯한 것과 맞는 것이 일치하지만, 모르는 대목에서는 둘이 갈라진다. 시장 규모를 모르면 들어갈 법한 숫자가, 조항 번호를 모르면 있을 법한 번호가 들어간다. 겉모습은 제대로 아는 답과 똑같다.
이 점을 모르고 쓰면 언젠가 한 번은 틀린 숫자가 보고서에 실려 나간다. 그런 일을 겪은 조직은 도구 전체를 불신하게 되고, 쓸 만한 대부분까지 함께 버린다. 확인하는 습관은 이 도구를 계속 쓰기 위한 조건이다.
칼럼에서 읽기 「AI의 원리, 어색할 뿐 설명 가능하다 (경영의 문법이 바뀌는 이유)」
“따라서 LLM의 기본 원리를 아주 거칠게 압축하면 이렇다. … 주어진 문맥에서 다음 토큰이 무엇일 확률이 높은지를 계산한다. 그 결과를 다시 반복한다. 우리가 화면에서 보는 AI의 유려한 문장은 이 거대한 확률 계산의 표면이다.”
매끄러운 문장이 맞는 문장이라는 보장이 없는 까닭이 여기에 있다. 확률이 높은 말과 사실인 말은 대개 겹치지만, 겹치지 않는 대목은 겉으로 드러나지 않는다. 그래서 다음 소절의 의심하는 습관이 필요하다.
어디부터 의심하는가
| 먼저 의심할 곳 | 왜 | 확인하는 법 |
|---|---|---|
| 숫자 | 틀려도 티가 나지 않고, 보고서에서 가장 먼저 인용된다 | 출처를 묻고, 원본에서 직접 찾는다 |
| 날짜·기간 | 옛 정보가 현재형으로 섞인다 | 출처의 발표 날짜를 함께 적게 한다 |
| 고유명사 | 비슷한 이름의 사람·회사·제품을 섞는다 | 공식 자료에서 철자와 소속을 맞춘다 |
| 인용문 | 그 사람이 하지 않은 말을 만들 수 있다 | 원문 링크나 자료에서 문장을 찾는다 |
| 기능·메뉴·절차 안내 | 없는 기능이나 옛 절차를 안내한다 | 공식 문서나 실제 화면에서 확인한다 |
| 내 자료와 다른 말 | 자료 대신 일반 지식이 섞였다 | 근거 위치를 달게 한다 (3단계) |
구체적인 값이 나오면 일단 멈추자. 이 값은 내가 올린 자료에서 왔는가, 검색한 출처에서 왔는가, 아니면 어디서 왔는지 모르는가. Claude에게 "이 숫자의 출처는 무엇인가"라고 물어 출처를 대지 못하면 지운다. 출처를 댔다면 그 출처를 열어 숫자가 실제로 거기 있는지 확인한다. 출처를 댔다는 것과 출처에 그 숫자가 있다는 것은 별개의 일이다.
틀린 곳을 찾았다면 "틀렸어, 다시 써"라고 하지 말고 무엇이 틀렸는지 정확히 말한다. "세 번째 항목의 날짜가 올린 문서와 다르다. 문서 기준으로 그 항목만 고쳐라." 전체를 새로 쓰게 하면 맞던 곳이 틀리고 틀린 곳이 새로 생기기도 한다.
확인의 깊이는 결과물이 갈 곳에 맞춘다
혼자 보는 메모라면 가볍게 훑어도 된다. 팀 안에서 돌려 보는 초안이라면 숫자만 확인한다. 임원 보고, 고객에게 나가는 문서, 계약이나 돈이 걸린 자료라면 숫자와 인용을 하나하나 확인한다. 직무마다 특히 조심할 대목도 있다. 영업은 고객에게 약속하는 조건과 가격, 재무는 합계와 기간, 법무와 인사는 조항 번호와 법령 이름, 마케팅은 경쟁사에 대한 주장과 인용이다. 내 직무에서 틀리면 가장 곤란한 것 한두 가지를 정해 두고, 그것만큼은 늘 원본과 맞춰 보자.
확인한 줄 알았는데 확인이 아니었던 일도 흔하다. "이거 맞아?"라고 되묻는 것은 원본을 한 번도 보지 않은 확인이다. 다른 AI 도구에 같은 질문을 던져 답이 같으면 맞다고 여기는 것도 다수결일 뿐이다. 두 도구가 같은 잘못된 글을 바탕으로 같은 틀린 값을 낼 수 있다. 검색을 켰으니 맞겠거니 하는 것도 마찬가지다. 링크를 열어 해당 문장을 찾기 전까지는 확인을 마친 것이 아니다.
팀장이나 임원이라면 팀원이 Claude와 함께 만든 문서를 받게 된다. 예전에는 문장이 서툴면 준비가 덜 됐다는 신호였지만, 이제는 문장이 매끄러워도 숫자는 비어 있을 수 있다. 대신 두 가지를 묻자. "이 숫자는 어디서 왔나?" 그리고 "직접 확인한 곳은 어디인가?" 보고서 끝에 "확인 필요" 목록을 붙이게 하는 팀 규칙 하나면, 검토하는 사람이 문서 전체를 의심하지 않아도 된다.
한 과장의 손끝에서 시작된 의심이 어떻게 팀의 규칙이 됐는지 보자.
현장 장면
신사업팀 서 과장은 반려동물 용품 시장 진출을 검토하는 초안을 Claude에게 맡겼다. 검색은 켜지 않았다. 받아 든 초안은 훌륭해 보였다. 문장마다 시장 규모, 연평균 성장률, 주요 업체의 점유율 같은 수치가 촘촘히 박혀 있었다. 그대로 팀장에게 올리려다 서 과장은 손을 멈췄다. 한 수치가 이상하리만치 정확해 보였다.
아래 프롬프트로 숫자와 고유명사를 모두 표로 뽑고 출처를 물었다. 결과는 당혹스러웠다. 여러 수치에 "일반적인 추정"이나 "출처 없음"이 달려 나왔고, 한 업체 이름은 알고 보니 전혀 다른 업종의 회사였다. 서 과장은 검색을 켜고, 공공 통계와 업계 단체 자료를 우선하라는 기준을 붙여 다시 조사하게 했다. 확인되는 수치만 출처와 날짜를 달고 살아남았고, 나머지는 "확인 필요"로 바뀌었다. 출처 링크를 열어 보니 한 수치는 몇 해 전 자료여서, 그 항목에는 자료의 연도를 밝히게 했다.
초안은 처음보다 얇아졌다. 대신 팀장이 어떤 숫자를 가리키든 출처를 댈 수 있는 문서가 됐다. 초안을 받은 팀장이 물었다. "업체 이름이 틀렸던 건 어떻게 알았나?" 서 과장은 출처 표에 "출처 없음"이 달려 있길래 공식 홈페이지를 직접 찾아봤다고 답했다. 팀장은 그 자리에서 팀 규칙을 하나 정했다. 시장 조사 초안에는 출처 표를 붙이고, 업체 이름은 공식 자료로만 적는다.
따라 하기
- 3단계나 4단계에서 받은 답 하나를 다시 연다. 성공 기준: 숫자나 고유명사가 들어간 답이다.
- 답에 나온 숫자, 날짜, 이름, 인용문에 모두 표시한다. 성공 기준: 표시한 항목의 개수를 셀 수 있다.
- 아래 프롬프트로 각 항목의 출처를 묻는다. 성공 기준: 모든 항목에 출처나 "출처 없음"이 달린 표를 받았다.
- 출처가 없는 항목은 지우거나 "확인 필요"로 바꾸게 한다. 성공 기준: 수정본의 모든 숫자에 출처가 있거나 "확인 필요"가 붙어 있다.
- 남은 항목 가운데 두 개를 원본 자료나 링크에서 직접 확인한다. 성공 기준: 두 값이 원본과 정확히 같다. 다르면 그 항목을 지목해 고치게 한다.
- 내 직무에서 틀리면 가장 곤란한 것 두 가지를 적는다. 성공 기준: 다음 결과물부터 그 두 가지는 늘 원본과 맞춰 볼 수 있다.
복사해 쓰는 프롬프트
방금 답에 나온 숫자, 날짜, 고유명사, 인용문을 모두 표로 뽑아라.
열: 항목 / 답에 나온 값 / 출처(올린 자료의 위치, 또는 링크) / 확실한 정도(확인됨·추정·출처 없음)
출처가 없거나 추정인 항목은 본문에서 "확인 필요"로 바꾼 수정본도 함께 달라.
막히면 이렇게
| 증상 | 원인 | 처방 |
|---|---|---|
| 출처로 댄 링크를 열어 보니 그 숫자가 없다 | 출처와 내용을 따로 맞췄다 | 링크를 직접 열어 확인하고, 없으면 "확인 필요"로 바꾼다 |
| 고쳐 달랬더니 맞던 곳까지 바뀐다 | "다시 써"라고만 했다 | 틀린 항목과 올바른 기준을 지적해 그 항목만 고치게 한다 |
| 확인할 것이 너무 많아 지친다 | 모든 결과물을 같은 깊이로 확인했다 | 결과물이 갈 곳에 맞춰 깊이를 정한다 |
| 숫자가 모두 "확인 필요"가 되어 쓸 게 없다 | 검색이나 자료 없이 수치를 요구했다 | 자료를 올리거나 검색을 켜고 출처 기준을 준다 (3단계, 4단계) |
실습 파일
공개 저장소에 올려 둔 가공 자료와 양식이다. 회사 자료 대신 먼저 이것으로 해 본다.
- 샘플 자료 연구노트_샘플.md · 공공·연구 사례용. 가람시 리필스테이션 시민 설문(400명) 결과표와 연구원 메모
스스로 점검
- ☐ 이번 결과물의 숫자마다 어디서 왔는지 말할 수 있는가.
- ☐ 출처 가운데 적어도 두 개를 직접 열어 값을 맞춰 보았는가.
- ☐ 이 결과물이 어디로 가는지 따져 확인의 깊이를 정했는가.
점검 해설 보기
- 결과물의 숫자마다 "올린 자료의 어느 위치", "어느 링크", "출처 없음" 가운데 하나를 댈 수 있으면 통과다. 대지 못하는 숫자가 있다면 「복사해 쓰는 프롬프트」로 출처 표를 받고, 출처가 없는 항목은 "확인 필요"로 바꾸게 한다.
- 출처 두 개를 직접 열어 결과물의 값과 원본 값이 정확히 같음을 확인했으면 통과다. 출처를 댔다는 것만으로 멈췄다면 「어디부터 의심하는가」의 마지막 문단을 다시 읽고 원본에서 값을 찾아본다.
- 혼자 볼 메모인지, 팀 초안인지, 임원이나 고객에게 가는 문서인지 정하고 거기에 맞는 확인 범위를 말할 수 있으면 통과다. 정하지 않았다면 「확인의 깊이는 결과물이 갈 곳에 맞춘다」를 읽고, 내 직무에서 틀리면 가장 곤란한 것 두 가지를 적어 둔다.
기억할 것
- 문장이 매끄럽다고 내용까지 맞는 것은 아니다. 숫자부터 출처를 묻는다.
- 출처를 댄 것과 출처에 그 값이 있는 것은 다르다. 직접 열어 본다.
- 틀린 곳은 다시 쓰라고 하지 말고 무엇이 틀렸는지 지적한다.