만드는 AI와 까는 AI를 분리하세요 (2/3)

AI에게 "검토해줘" 하면 거의 항상 완벽하다는 답이 옵니다. 반려하는 게 네 일이라고 역할을 바꿔 주자, 같은 결과물에서 결함 일곱 건이 나왔습니다.

이 글 3줄 요약

• 만든 AI에게 검사까지 시키는 건 자기 답안지를 자기가 채점하는 겁니다.
• 검사에는 다른 창, 될 수 있으면 다른 회사 AI를 세우고 "반려가 네 일"이라는 역할을 줍니다.
• 검사 AI도 틀립니다. 수리할지 기각할지 정하는 건 끝까지 사람 몫입니다.

이 글은 세 편 중 2편입니다. 1편 AI가 찾아온 답, 다른 AI에게 반박시키세요는 검색해 온 답에 반박을 붙이는 방법이었습니다. 지금 읽는 2편은 내가 만든 결과물을 누구에게 검사시킬지 다룹니다. 3편 AI의 반박도 다시 판정하세요는 그렇게 받아 든 지적 목록을 한 건씩 처리하는 방법입니다.

"검토해줘"에는 왜 늘 완벽합니다가 돌아올까

AI에게 방금 만든 걸 보여주고 검토를 부탁하면 대체로 칭찬이 돌아옵니다. 잘 만드셨고, 몇 가지만 다듬으면 좋겠고, 전반적으로 훌륭하다는 식이죠.

이유는 두 가지입니다. 하나, 방금 자기가 만든 것이라서 편듭니다. 사람이 자기 글에서 오타를 못 찾는 것과 같습니다. 둘, 같은 모델은 같은 맹점을 공유합니다. 만들 때 못 본 걸 검사할 때라고 볼 수 있는 게 아닙니다.

문제는 이 칭찬을 믿고 넘어가는 대상이 대개 되돌리기 어려운 것이라는 점입니다. 인쇄해서 천 장 뽑은 명함, 이미 보낸 견적서, 고객에게 나간 안내문. AI 혼자 만들고 AI 혼자 통과시킨 결과의 값은 사람이 냅니다.

인쇄 직전에 결함 일곱 건이 나왔습니다

브랜드를 새로 정리하면서 로고와 명함을 디자이너 없이 AI로 만든 적이 있습니다. 이미지 생성은 한쪽에, 글자 배치와 조율은 다른 쪽에 맡겼습니다. 몇 번 주고받으니 그럴듯한 게 나왔고, 이제 인쇄만 하면 되겠다 싶었습니다.

마지막에 한 단계를 더 넣었습니다. 만드는 데 전혀 관여하지 않은 다른 회사 AI를 열어서 파일을 던지고 이렇게 말했습니다. "이걸 통과시키지 마라. 반려하는 게 네 일이다."

던지기 전에 한 단계가 있습니다. 평소 안 쓰던 서비스에 파일을 올리는 일이니, 이름·연락처·금액·거래처는 지우고 넣습니다. 검사자가 봐야 하는 건 배치와 조건이지 실제 값이 아닙니다.

돌아온 건 불합격 판정과 결함 일곱 건이었습니다. 그중 두 개가 특히 아팠습니다. QR 코드가 인쇄 번짐에 취약한 크기라서 실제로 찍으면 인식이 안 될 수 있다는 지적, 그리고 글자가 재단선에 0.15mm 차이로 붙어 있어서 자를 때 잘려 나갈 수 있다는 지적이었습니다. 인쇄가 끝난 뒤에 알았다면 그대로 재인쇄였습니다.

일곱 건 중 다섯 건은 고쳤고, 두 건은 사람이 판단해서 기각하거나 보류했습니다. 흥미로운 건 오타가 0건이었다는 점입니다. 만드는 AI도 오타 정도는 잘 잡습니다. 하지만 오타가 아닌 결함, 그러니까 인쇄라는 물리적 조건을 따져야 나오는 문제는 혼자서는 끝내 안 나왔습니다.

역할 지시가 결과의 팔 할입니다

바꿔야 할 건 도구가 아니라 첫 문장입니다. "검토해줘"는 협조를 요청하는 말이라 협조적인 답이 옵니다. 검사자에게는 까야 이기는 역할을 줘야 합니다.

너는 이 결과물의 최종 검수자야. 통과시키는 게 아니라 반려하는 게 네 일이야.
칭찬은 한 줄도 쓰지 마.

[결과물] (파일 또는 내용 붙이기)
[용도] (어디에 쓸 건지, 인쇄인지 화면인지, 누가 볼 건지)
[제약] (바꿀 수 없는 조건이 있으면 여기에)

1) 결함을 심각도로 나눠서 보고해줘.
   P0 = 이대로 나가면 되돌릴 수 없는 문제
   P1 = 고쳐야 하지만 치명적이지는 않은 문제
   P2 = 취향 차이
2) 각 결함마다 어디가 왜 문제인지, 어떻게 고치면 되는지 한 줄씩.
3) 결함이 하나도 없다고 판단되면, 어떤 항목을 어떤 기준으로 봤는지 목록으로 보여줘.

용도와 제약을 적는 두 줄도 그냥 넘기지 마세요. 인쇄물인지 화면인지만 알려줘도 검사자가 보는 항목이 통째로 달라집니다. 앞의 사례에서 나온 지적 두 개도 인쇄라는 조건이 있었기에 나올 수 있었던 것들이었습니다.

마지막 3번을 꼭 넣으세요. 이게 없으면 검사 AI가 대충 훑고 이상 없다고 답할 수 있습니다. 무엇을 봤는지 목록으로 내놓으라고 하면, 안 본 항목이 그 자리에서 드러납니다.

왜 다른 회사 AI인가

경험상 같은 회사 모델끼리는 놓치는 지점이 비슷했습니다. 한쪽이 만들 때 못 본 것을 다른 쪽도 못 보는 장면을 여러 번 봤습니다. 그래서 한쪽이 만들면 다른 쪽이 까고, 다음번엔 역할을 바꿔서 돌립니다.

거창하게 준비할 일은 아닙니다. 무료로 쓸 수 있는 서비스가 여럿이니, 만들기는 평소 쓰던 곳에서 하고 검사만 다른 곳에서 돌리면 됩니다. 검사용으로 쓸 창을 하나 정해두고 계속 그 자리에서만 검사하면 습관이 됩니다.

계정이 하나뿐이라면 차선책이 있습니다. 새 대화창을 열고, 만든 과정이나 의도를 일절 붙이지 말고 결과물만 던지세요. "내가 이런 의도로 만들었는데"라고 설명하는 순간 검사자가 그 의도를 존중하려 듭니다. 아무 맥락 없이 결과물만 보는 검사자가 더 날카롭습니다.

최종 판정은 사람이 합니다

검사 AI도 틀립니다. 앞의 사례에서 일곱 건 중 한 건은 이미 합의한 디자인 방향을 모르고 낸 오판이었고, 한 건은 파일을 고쳐서 해결할 수 있는 문제가 아니었습니다.

그래서 검사 결과를 받아 들었을 때 할 일은 전부 고치는 게 아닙니다. 지적마다 근거를 되묻고, 수리할지 기각할지 보류할지 정하는 겁니다. AI는 검사원이지 결재권자가 아닙니다. 이 판정 절차 자체가 따로 다뤄야 할 만큼 중요해서, 3편에서 판정표까지 포함해 자세히 다룹니다.

디자인 말고 문서에도 그대로 씁니다

명함 이야기라 나와는 상관없다고 느낄 수 있는데, 실제로 더 자주 쓰게 되는 건 문서 쪽입니다. 만드는 AI와 검사하는 AI를 나누는 방식은 똑같고, 검사자에게 무엇을 보라고 시키는지만 달라집니다.

문서는 넣기 전 지우기가 더 중요합니다. 이름·연락처·거래처명·실제 금액을 지우고 넣으세요. 합계가 맞는지 검산시켜야 해서 숫자가 꼭 필요하면, 실제 금액 대신 자릿수만 맞춘 임의 숫자로 바꿔 넣으면 됩니다.

견적서·정산서. "숫자만 봐라. 항목별 금액을 다시 더해서 합계와 맞는지 확인하고, 부가세 계산이 맞는지 따로 검산해줘. 단위가 빠진 자리를 찾아줘." 사람이 제일 자주 틀리면서 제일 뼈아픈 게 숫자입니다.

고객 안내문·공지문. "읽는 사람이 오해할 수 있는 문장을 찾아줘. 특히 기간, 조건, 예외에 해당하는 부분. 안내에 빠진 항목이 있으면 지적해줘."

계약서 초안. "이 문서에서 우리 쪽이 불리해지는 조항을 찾아줘. 기간과 해지 조건이 앞뒤로 어긋나는 곳도." 최종 검토는 전문가 몫이지만, 전문가에게 보내기 전에 걸러지는 게 꽤 됩니다.

세 경우 모두 공통점이 있습니다. 검사자에게 "잘 썼는지 봐줘"가 아니라 무엇을 보라고 좁혀서 시켰다는 겁니다. 범위를 안 좁히면 검사 AI는 문장이 매끄럽다는 감상평을 내놓고 끝냅니다.

어디에 붙이면 값을 하나

전부에 붙일 필요는 없습니다. 기준은 하나입니다. 나간 뒤에 고칠 수 있는가.

내보내기 전 체크리스트

• ☐미완료: 만든 AI가 아닌 다른 창(가능하면 다른 회사 AI)에 맡겼는가
• ☐미완료: "검토" 대신 "반려가 네 일"이라는 역할을 줬는가
• ☐미완료: 용도와 제약을 같이 줬는가 (인쇄인지 화면인지, 누가 보는지)
• ☐미완료: 심각도 세 단계로 나눠 받았는가
• ☐미완료: 결함이 없다고 하면 무엇을 봤는지 목록을 요구했는가
• ☐미완료: 지적을 전부 수용하지 않고 건별로 판정했는가

우리 결과물 중 무엇에 검사를 세울지 짚어드립니다

나간 뒤에 되돌릴 수 없는 결과물이 무엇인지는 하는 일마다 다릅니다. 지금 AI로 만들고 있는 것 중 어디에 검사 단계를 세워야 하는지, 상황에 맞춰 무료로 짚어드리겠습니다. 이어지는 3편에서는 받아 든 지적을 어떻게 판정할지 다룹니다.

무료 상담 신청하기 →