별이 칠만 개 붙은 도구를 AI가 "이번 조사 최강 발견"이라며 가져왔습니다. 반박을 시키자 근거가 하나도 남지 않았습니다.
이 글 3줄 요약
- AI 검색은 그럴듯한 답을 자신 있게 가져옵니다. 자신감과 정확도는 따로 놉니다.
- 확인해 달라고 하면 칭찬이 돌아옵니다. 틀렸다는 걸 증명해 보라고 시켜야 합니다.
- 찬성 주장과 반대 주장이 둘 다 무너지면, 그때는 "모른다"가 정답입니다.
이 글은 세 편으로 이어집니다. 지금 읽는 1편은 AI가 찾아온 답에 반박을 붙이는 방법입니다. 2편 만드는 AI와 까는 AI를 분리하세요는 검색이 아니라 결과물을 만들었을 때 누구에게 검사를 맡길지를 다룹니다. 3편 AI의 반박도 다시 판정하세요는 그렇게 받아 든 지적을 어떻게 처리할지를 다룹니다. 순서대로 읽으면 반박을 시키고, 검사자를 나누고, 받은 지적을 판정하는 한 흐름이 됩니다.
AI는 자신 있게 틀립니다
AI에게 뭔가를 조사시켜 보면 답이 참 반듯하게 옵니다. 표로 정리돼 있고, 출처 링크도 붙어 있고, 말투에 망설임이 없습니다. 문제는 그 자신감이 정확도와 아무 상관이 없다는 점입니다.
틀린 정보가 확인된 사실의 얼굴을 하고 보고서에 올라가면, 그걸 사람이 하나하나 검산하기는 어렵습니다. 그래서 검산도 AI에게 시킵니다. 대신 역할을 반대로 줍니다. 이 주장을 죽여보라고요.
"최강 발견"이 반박 앞에서 사라졌습니다
업무에 쓸 만한 새 도구가 있는지 훑는 조사를 돌린 적이 있습니다. 검색을 맡은 쪽이 후보 하나를 들고 왔습니다. 별이 칠만 개, 윈도우 지원 완벽, 이번 조사 최강 발견이라는 표현까지 붙였습니다. 그대로 믿었으면 그날 바로 설치했을 겁니다.
대신 주장마다 검증 담당 셋을 붙여서 반박을 시켰습니다. 결과가 이상했습니다. "토큰(AI가 글을 읽고 쓸 때 세는 단위로, 많이 쓸수록 비용이 올라갑니다)을 60~90% 아껴준다"는 주장은 셋 대 영으로 무너졌습니다. 그런데 반대편도 마찬가지였습니다. "윈도우에서는 안 돌아간다"는 반박 역시 셋 대 영으로 무너졌습니다.
파고들어 보니 그 도구의 공식 페이지와 안내 문서가 서로 다른 말을 하고 있었습니다. 어느 쪽도 근거가 될 수 없었던 겁니다. 그러니 정답은 "좋다"도 "나쁘다"도 아니고 **"직접 써보기 전에는 모른다"**였습니다. 다른 후보 하나도 똑같은 패턴이었습니다. 효율이 제일 좋다는 소개 문구는 화려한데, 근거를 파니 남는 게 없었습니다.
그날 조사에서 나온 주장은 스물다섯 개였고, 반박을 견디고 살아남은 건 열아홉 개였습니다. 여섯 개는 기각됐습니다. 검증을 안 붙였다면 그 여섯 개가 강력 추천 도장을 달고 최종 목록에 올라갔을 겁니다.
규칙 1. 찾는 쪽과 까는 쪽을 나눕니다
같은 AI에게 "찾아보고 검증도 해봐"라고 하면 자기 답을 편듭니다. 사람도 자기가 쓴 글에서 오타를 잘 못 찾는 것과 비슷합니다. 방금 스스로 내린 결론이 눈앞에 있으면, 그걸 부수는 방향으로는 잘 안 움직입니다.
그래서 역할을 쪼갭니다. 방법은 어렵지 않습니다.
- 새 대화창을 엽니다. 앞의 대화 내용을 붙이지 않습니다.
- 답 전체가 아니라 검증할 주장 한 문장만 떼어서 줍니다.
- 누가 한 말인지 밝히지 않습니다. "AI가 이렇게 말했는데"라고 하면 그 말을 존중하려 듭니다.
- 다른 회사 AI를 쓸 수 있으면 더 좋습니다. 같은 회사 모델은 같은 착각을 공유하는 경우가 있습니다.
규칙 2. 검증도 한 명이면 위험합니다
반박을 한 번만 시키면, 그 한 번이 틀릴 수 있습니다. 셋에게 따로 시키고 둘 이상이 반박에 성공하면 기각으로 봅니다. 셋 중 둘 규칙이라고 부르면 외우기 쉽습니다.
셋이 딱 맞는 숫자라서가 아니라, 둘이면 의견이 갈렸을 때 판정이 안 되기 때문입니다. 하나 대 하나로 끝나면 결국 내가 감으로 고르게 됩니다. 홀수여야 판정이 됩니다.
다만 셋이 같은 자료 한 벌만 보고 답했다면 그건 독립 검증이 아닙니다. 같은 출처를 본 답끼리는 같은 오류를 그대로 물려받으니, 서로 다른 자료를 열게 하거나 다른 회사 AI로 나눠야 다수결이 의미를 갖습니다.
셋을 각각 다른 창에 돌리는 게 번거로우면, 최소한 두 번은 다른 각도로 시키세요. 한 번은 "이 주장이 틀렸다는 증거를 찾아봐", 다른 한 번은 "이 주장이 맞다는 증거를 원문에서 찾아봐"로요. 두 방향 결과를 나란히 놓으면 어느 쪽이 근거를 갖고 있는지 눈에 보입니다.
규칙 3. "모른다"도 결론입니다
찬성도 반대도 다 무너지는 경우가 실제로 생깁니다. 이때 억지로 한쪽으로 결론을 내면 그게 가장 큰 오류가 됩니다. 판단 보류라고 적고, 무엇이 확인되면 판단할 수 있는지를 한 줄 같이 적어두세요. "직접 설치해서 한번 써보면 알 수 있음"처럼요. 나중에 그 자리를 채우면 됩니다.
판단 보류가 불편하게 느껴지는 건 결론이 없으면 일이 안 끝난 것 같아서입니다. 그런데 실제로는 반대입니다. 근거 없이 내린 결론은 나중에 뒤집히면서 그때까지 쌓아 올린 것을 같이 무너뜨립니다. 모른다고 적어둔 항목은 아무것도 무너뜨리지 않습니다. 확인이 되면 그때 채우면 그만입니다.
복붙해서 쓰는 반박 지시문
아래 주장 하나를 검증해줘. 네 역할은 이 주장을 통과시키는 게 아니라 무너뜨리는 거야.
[주장] (여기에 검증할 문장 하나만 붙이기)
1) 이 주장이 틀렸다는 증거를 먼저 찾아봐.
2) 근거로 쓴 페이지는 실제로 열어서, 해당 문장을 그대로 인용해줘.
3) 원문에 그런 말이 없으면 "출처 없음"이라고 명확히 적어줘.
4) 마지막에 판정을 한 줄로: 기각 / 유지 / 판단 불가.
5) 애매하면 유지도 기각도 말고 판단 불가로 해줘. 판단 불가는 내가 직접 확인할 때까지 대기라는 뜻이야. 억지로 결론 내지 마.
핵심은 4번과 5번입니다. 판정을 세 칸 중 하나로 강제하지 않으면 "일부는 맞고 일부는 다를 수 있습니다" 같은 흐린 답이 돌아옵니다. 그런 답은 판단에 쓸 수가 없습니다.
도구 고를 때만 쓰는 게 아닙니다
이 방법이 필요한 자리는 생각보다 넓습니다. AI가 숫자나 사실을 들고 왔고, 그걸 근거로 뭔가를 결정하려는 순간이면 전부 해당합니다.
- 구독할 서비스를 고를 때. "무료로도 이 기능이 된다"는 답에 반박을 붙이면, 실제로는 유료에서만 되는 경우가 걸립니다.
- 보고서에 넣을 통계. 어느 기관 몇 년 자료인지 원문을 열어 확인시키면, 출처가 흐린 숫자가 그 자리에서 빠집니다.
- 법이나 규정 관련 답. 개정 전 내용을 현재 규정처럼 말하는 일이 흔합니다. 시행일을 원문에서 인용하게 하세요.
- 경쟁사나 시장 이야기. 오래된 기사 하나를 근거로 현재형 문장을 만들어 오는 경우가 있습니다.
반대로 반박을 안 붙여도 되는 자리도 분명히 있습니다. 글을 다듬거나, 아이디어를 늘어놓거나, 형식을 바꾸는 일에는 사실 여부를 다툴 게 없습니다. 검증은 사실을 다투는 자리에만 붙이면 됩니다.
답을 받았을 때 돌리는 체크리스트
- 이 답을 근거로 돈을 쓰거나 결정을 내리는가 (아니면 넘어가도 됩니다)
- 검증할 주장을 한 문장으로 떼어냈는가
- 새 대화창에서, 누가 한 말인지 밝히지 않고 물었는가
- "확인" 대신 "반박"으로 시켰는가
- 출처 원문을 열어 문장을 인용하게 했는가
- 판정을 기각 / 유지 / 판단 불가 셋 중 하나로 받았는가
여기서 많이 틀립니다
"확인해줘"라고 시킵니다. 이러면 무효입니다. 확인해 달라는 요청에는 대체로 맞다는 답이 옵니다. 반박해 보라고, 애매하면 판단 불가로 남기라고 시켜야 합니다. 판단 불가는 기각이 아니라 사람이 확인할 때까지 대기라는 뜻입니다.
출처가 붙어 있으니 됐다고 넘어갑니다. 출처를 언급하는 것과 그 출처가 실제로 그렇게 말하는 건 다릅니다. 링크를 열어 문장을 그대로 인용하게 하면 여기서 상당수가 걸러집니다.
전부 검증하려 듭니다. 그러면 지쳐서 아예 안 하게 됩니다. 사거나, 설치하거나, 남에게 보낼 문서에 들어가는 주장에만 붙이세요.
우리 일 중 어디에 검증을 붙여야 할지 짚어드립니다
반박을 붙일 자리와 그냥 넘어가도 되는 자리를 가르는 기준은 업무마다 다릅니다. 지금 AI에게 맡기고 있는 일 중 어디가 검증 없이 지나가고 있는지, 상황에 맞춰 무료로 짚어드리겠습니다. 이어지는 2편에서는 검색이 아니라 결과물을 만들었을 때 누구에게 검사를 맡길지 다룹니다.