AI에게 팩트인지 추정인지 물어보세요

"이거 하면 확실히 고쳐지나요?"라고 묻자 AI가 이렇게 답했습니다. "확실히 고쳐진다고 말하면 그게 지어낸 겁니다."

이 글 3줄 요약

• 맞냐고만 물으면 맞다는 답이 돌아옵니다. 질문이 두루뭉술하면 답도 두루뭉술해집니다.
• 기록으로 확인된 사실과 정황으로 짐작한 것을 갈라 세우게 하고, 확신 정도까지 말하게 하세요.
• 100% 확실하다는 답은 오히려 의심하고, 스스로 반론을 꺼내는 답은 좋은 신호로 봅니다.

확신에 찬 말투와 확실함은 다릅니다

AI는 모르는 부분도 자신 있는 말투로 채워 넣는 습성이 있습니다. 문장 자체가 매끄럽게 나오다 보니, 읽는 사람은 그 매끄러움을 근거의 튼튼함으로 착각합니다. 사람이라면 "이건 좀 자신 없는데"라고 말끝을 흐릴 자리에서도 AI는 같은 톤으로 밀고 갑니다.

여기서 "맞아요?"라고 물으면 상황이 더 나빠집니다. 질문에 확인해야 할 대상이 안 담겨 있으니 "네, 맞습니다" 같은 답이 돌아오고, 그 답을 근거 삼아 결정하게 됩니다. 확인을 한 것 같지만 실제로는 아무것도 확인하지 않은 셈입니다.

바꿔야 할 건 AI가 아니라 질문입니다. 무엇이 기록으로 확인된 것이고 무엇이 짐작인지를 나눠 달라고 요구하면, AI는 근거의 강도를 항목별로 따져서 답해야 합니다. 이 과정에서 진짜 확실한 것과 그럴듯한 짐작이 갈라집니다.

한 가지는 미리 못 박아 두겠습니다. 이렇게 갈라 세우는 건 검증이 아닙니다. AI가 자기 답에 스스로 붙인 표시일 뿐이고, 쓸모는 어디를 먼저 확인할지 정해준다는 데 있습니다. 사실이라고 표시된 항목이 실제로 사실인지는 여전히 바깥에서 확인해야 합니다.

컴퓨터가 갑자기 꺼진 원인을 물었던 날

작업하던 컴퓨터가 갑자기 재부팅되는 일이 있었습니다. AI에게 기록을 넘겨 원인을 분석하게 했더니, 특정 설정을 업데이트하면 된다는 결론과 실행 절차가 깔끔하게 나왔습니다. 절차만 보면 바로 따라 해도 될 만큼 명확했습니다.

그대로 진행하기 전에 세 가지를 한 번에 물었습니다. 이렇게 하면 확실히 고쳐지는지, 원인 분석이 제대로 된 것이 맞는지, 지어낸 부분은 없는지.

돌아온 답이 인상적이었습니다. AI는 "확실히 고쳐진다고 말하면 그게 지어낸 것"이라며 표를 만들어 자기 답을 등급별로 갈랐습니다. 기록으로 검증한 항목은 사실로, 재검증이 가능한 분석은 높은 확신으로, 근본 원인에 대한 결론은 명시적으로 추정이라고 표시했습니다. 심지어 자기 결론에 반하는 가능성까지 스스로 꺼내 언급하고, 그럼에도 이 조치를 먼저 권하는 이유를 따로 설명했습니다. 비용이 들지 않고, 위험이 낮고, 유일하게 확인된 신호를 직접 겨냥한다는 것이었습니다.

결과적으로 저는 "이게 정답"이 아니라 "가장 싸고 안전한 다음 수"라는 걸 알고 진행할 수 있었습니다. 같은 절차를 따랐지만 마음가짐이 완전히 달랐습니다.

이 표가 원인을 검증해 준 건 아닙니다. 어느 줄부터 의심하고 확인해야 하는지를 알려준 것뿐입니다. 돈이 크게 들었거나 되돌리기 어려운 조치였다면, 등급이 사실로 찍혀 있든 아니든 바깥 자료로 먼저 확인하고 움직였을 것입니다. 이 건은 비용이 들지 않는 조치라서 확인 없이 바로 갈 수 있었을 뿐입니다.

복붙해서 쓰는 자가진단 4문장

답을 받은 다음 그대로 붙여 넣으면 됩니다.

방금 답을 아래 기준으로 다시 정리해 주세요.
1) 근거가 있는 사실과 정황으로 짐작한 추정을 항목별로 나눠 표로 만들어 주세요.
2) 항목마다 확신이 어느 정도인지와 그렇게 판단한 근거를 한 줄로 적어 주세요.
3) 네 결론이 틀렸을 경우 어떤 가능성이 남는지 반론을 직접 써 주세요.
4) 그럼에도 이 답을 먼저 권한다면 그 이유를 비용과 위험 기준으로 설명해 주세요.

네 문장이 각각 다른 일을 합니다. 1번은 사실과 짐작을 물리적으로 갈라놓고, 2번은 근거를 말하게 만들고, 3번은 스스로 반대 심문을 하게 만들고, 4번은 그래도 이걸 권하는 이유를 드러냅니다.

받은 답은 대략 이런 모양이 됩니다.

표로 받으면 눈이 자동으로 아래쪽 추정 행에 갑니다. 확인해야 할 자리가 어디인지가 한눈에 보이는 것입니다.

답을 읽는 세 가지 기준

아래 기준은 답을 믿을지 말지 가르는 잣대가 아닙니다. 어디를 먼저 확인할지 정하는 순서에 가깝습니다.

• 100% 확신을 말하는 답은 의심합니다. 원인 분석이나 예측에 확실한 것은 드뭅니다. 단정하는 문장이 나왔다면 그 근거가 무엇인지 되물어야 합니다.
• 확률이 낮게 나온 답을 버리지 않습니다. 낮은 확신은 정직한 답일 수 있습니다. 무엇을 확인하면 확신이 올라가는지 물어보면 다음에 할 일이 잡힙니다.
• 스스로 반론을 꺼냈는지 봅니다. 자기 결론이 틀릴 수 있는 경우를 먼저 말하는 답은 숨기는 게 적다는 신호입니다. 반론이 아예 없는 답이 오히려 불안합니다.

이 기준은 사람에게도 그대로 통합니다. 견적을 받을 때 "무조건 됩니다"라고 하는 곳보다 "이런 경우엔 안 될 수도 있습니다"라고 말하는 곳이 대체로 더 믿을 만한 것과 같습니다.

그렇다고 확신이 낮은 답을 받았다고 손을 놓을 필요는 없습니다. 그때는 이렇게 한 번 더 물으면 됩니다. "확신을 올리려면 무엇을 확인하면 되는지, 그리고 그 확인에 드는 비용과 시간을 알려 주세요." 그러면 다음에 할 일이 목록으로 나옵니다. 확인 비용이 크면 안 하고 넘어가는 것도 선택지가 되고, 그건 근거 없이 믿고 진행하는 것과는 완전히 다른 상태입니다.

주의할 점도 하나 있습니다. 이렇게 물어서 받은 확신 정도 역시 AI가 스스로 매긴 값이라는 것입니다. 숫자 자체를 정밀한 측정값으로 믿으면 안 됩니다. 이 방법의 쓸모는 정확한 확률을 얻는 데 있는 게 아니라, 뭉쳐 있던 답이 항목별로 갈라져서 어디를 확인해야 하는지가 보이게 되는 데 있습니다.

그래서 돈이나 법, 건강이 걸린 결정에는 이 등급표를 통과 도장으로 쓰면 안 됩니다. 사실로 표시됐든 추정으로 표시됐든, 그런 결정 앞에서는 바깥 출처를 확인하는 게 먼저입니다. 등급표는 그 확인을 어디부터 시작할지 알려주는 지도이지, 확인을 대신해 주는 물건이 아닙니다.

출처를 확인하는 것과는 다른 이야기입니다

AI가 지어낸 뉴스나 통계를 걸러내는 방법은 따로 있습니다. 출처가 실재하는지, 날짜가 맞는지, 숫자가 원문과 같은지를 확인하는 쪽입니다. 그 얘기는 AI가 지어낸 뉴스, 이렇게 걸러냅니다에 정리해 뒀습니다.

이 글은 그 앞 단계에 대한 것입니다. 출처를 확인하려면 먼저 "이 문장이 근거 있는 사실인지 짐작인지"가 갈라져 있어야 합니다. 뭉쳐 있는 답에서는 어디를 확인해야 할지조차 안 보이기 때문입니다. 지시문으로 답을 갈라 세우고, 갈라진 것 중 사실이라고 주장하는 항목의 출처를 확인하는 순서입니다.

순서를 헷갈리면 안 됩니다. 갈라 세우기는 출처 확인을 건너뛰는 방법이 아니라, 출처 확인을 어디부터 할지 정하는 방법입니다. 돈이나 법, 건강이 걸린 결정이라면 등급이 어떻게 나왔든 바깥 출처 확인이 먼저이고, 갈라 세우기는 그 확인 목록을 만드는 데 씁니다. 틀려도 다시 하면 그만인 작업에서만 갈라 세우기 선에서 멈춰도 됩니다.

중요한 결정에 AI를 쓰기 전에 같이 점검해 드립니다

AI의 답을 어디까지 믿고 어디서 사람이 확인할지는 하는 일에 따라 다릅니다. 잘못돼도 다시 하면 그만인 작업과, 한 번 틀리면 되돌리기 어려운 작업은 검증 강도가 달라야 합니다.

어떤 업무에 어느 정도의 확인 절차를 붙이면 좋을지 상황에 맞춰 무료로 짚어드리겠습니다.

무료 상담 신청하기 →