AI에게 내 설계를 부숴 보라고 시켰더니 지적 열 건이 왔습니다. 그중 한 건은 절대 받으면 안 되는 제안이었습니다.
이 글 3줄 요약
- AI에게 받은 지적은 정답지가 아니라 접수된 민원입니다. 한 건씩 판정해야 내 것이 됩니다.
- 판정은 수용, 변형, 기각 세 칸입니다. 기각의 근거는 기분이 아니라 원칙이어야 합니다.
- 판정 결과를 파일로 안 남기면 같은 논쟁을 두 달 뒤에 다시 합니다.
세 편 중 마지막 편입니다. 1편 AI가 찾아온 답, 다른 AI에게 반박시키세요는 검색해 온 답에 반박을 붙이는 방법, 2편 만드는 AI와 까는 AI를 분리하세요는 결과물 검사를 누구에게 맡길지였습니다. 여기까지는 지적을 받아내는 이야기였습니다. 이 글은 그렇게 받아 든 지적을 처리하는 이야기입니다.
지적을 받아 든 다음이 진짜 함정입니다
다른 AI에게 검증시키라는 조언까지는 많이들 듣습니다. 함정은 그다음입니다. 지적 목록을 받아 든 사람은 대개 양극단으로 갑니다.
한쪽은 맹종입니다. 똑똑한 AI가 지적했으니 다 맞겠지 하고 전부 반영합니다. 다른 한쪽은 방어입니다. 기분이 상해서 통째로 무시합니다. 둘 다 손해입니다. 전부 받으면 내 설계가 남의 것이 되고, 전부 무시하면 검증을 시킨 의미가 사라집니다.
문제의 뿌리는 하나입니다. 지적하는 AI는 내 제약을 모릅니다. 내가 무엇을 안 하기로 했는지, 왜 굳이 좁게 만들었는지 알 도리가 없습니다. 그래서 일반적으로 더 나은 것을 말합니다. 그 결과 맞는 지적과, 맞는 말인데 내 상황에는 틀린 제안이 섞여서 옵니다.
열 건을 한 건씩 도장 찍었습니다
직접 만든 작업 규격서를 다른 회사 AI에게 던지면서 "부숴봐라"라고 시킨 적이 있습니다. 치명적이라고 표시된 지적이 열 건 돌아왔습니다. 한 건씩 따져서 수용 여덟, 변형 하나, 기각 하나로 판정했습니다.
받아들인 것 중 하나. 규격을 통과했다고 표시하는 방식이 허술하다는 지적이었습니다. 실제로 확인해 보니 존재하지도 않는 버전 번호를 적어 둔 파일이 검사를 그냥 통과하고 있었고, 매번 값이 달라지는 표시를 붙인 파일도 통과하고 있었습니다. 반박할 수 없는 진짜 구멍이었습니다. 이건 취향이 아니라 사실이었고, 사실을 보여준 지적은 받는 게 맞습니다.
거절한 것 하나. "AI가 각 칸을 어디에 넣을지까지 직접 정하게 하자"는 제안이었습니다. 그럴듯했습니다. 더 똑똑해 보이기도 했고요. 그런데 거절했습니다. 이유는 한 줄이었습니다. AI가 결정할 항목을 늘리면 AI가 틀릴 자리도 같이 늘어납니다. 그 설계의 핵심이 "AI에게는 고르게만 시킨다"였는데, 그 제안은 원칙을 정면으로 깨는 것이었습니다.
판정 결과를 문서로 남긴 게 결정적이었습니다. 나중에 "그때 그 제안 괜찮았던 것 같은데" 하고 다시 흔들릴 때, 그 문서가 이미 답을 갖고 있었습니다.
판정은 세 칸입니다
받은 지적을 표로 옮기고, 각 줄에 도장을 하나씩 찍습니다.
| 판정 | 언제 찍나 | 뒤에 할 일 |
|---|---|---|
| 수용 | 실제로 깨진다는 걸 보여준 지적. 반박이 안 되는 것 | 그대로 고치고, 고친 자리를 기록 |
| 변형 | 문제 지적은 맞는데 해법이 내 상황에 안 맞을 때 | 문제만 인정하고 해법은 내 방식으로 바꿔서 반영 |
| 기각 | 내 원칙이나 제약과 정면으로 부딪히는 제안 | 어떤 원칙과 부딪히는지 한 줄로 근거를 남김 |
세 칸 중 판정이 제일 까다로운 게 변형입니다. AI는 문제를 잘 찾지만 해법은 일반론으로 내놓기 때문입니다. 문제 지적은 감사히 받되 해법은 내가 다시 짜야 하는 경우가 생깁니다.
변형이 어떤 모양인지 예를 들면 이렇습니다. "이 절차는 사람이 확인하는 단계가 없어서 잘못된 값이 그대로 지나갑니다"라는 지적이 왔다고 해봅시다. 문제는 맞습니다. 그런데 해법으로 붙어 온 게 "매 단계마다 승인 화면을 넣자"라면 그건 못 받습니다. 혼자 굴리는 일에 승인 단계를 다섯 개 넣으면 그 일은 그날로 멈춥니다. 그래서 문제만 인정하고, 마지막 한 곳에만 확인 단계를 넣는 쪽으로 바꿔서 반영합니다. 지적을 받되 내 조건에 맞게 옮기는 것, 이게 변형입니다.
기각의 근거는 기분이 아니라 원칙입니다
거절할 때 "그냥 싫어서"는 근거가 아닙니다. 어떤 원칙과 부딪히는지를 한 줄로 쓸 수 있어야 합니다.
원칙은 거창할 필요가 없습니다. "우리는 AI가 정할 것을 최소로 유지한다", "새로 관리해야 할 파일을 늘리지 않는다", "혼자 운영할 수 있는 범위를 넘지 않는다" 같은 한 줄이면 충분합니다. 이런 문장이 미리 있으면 기각이 쉬워집니다. 원칙이 없으면 목소리 큰 쪽이 이기는데, 지적하는 AI는 언제나 목소리가 큽니다.
거꾸로도 씁니다. 기각 이유를 한 줄로 못 쓰겠다면 아직 기각할 근거가 없는 겁니다. 그때는 기각도 수용도 하지 말고 보류로 두세요. 무엇을 확인하면 판정할 수 있는지 한 줄 적어두고, 그걸 확인한 다음 다시 도장을 찍으면 됩니다.
원칙이 아직 없다면 이번 기회에 만들면 됩니다. 지적을 하나씩 판정하다 보면 "아 나는 이건 안 하기로 했었지" 하는 순간이 옵니다. 그 문장을 그대로 적어두면 그게 원칙이 됩니다. 처음부터 완성된 원칙 목록을 만들 필요는 없고, 판정할 때마다 한 줄씩 늘려가는 편이 실제로 더 오래 갑니다.
인테리어 업자와 내력벽
이해가 잘 안 되면 이 장면을 떠올리면 됩니다.
인테리어 업자가 집에 와서 말합니다. "여기 벽 트고 통창 내면 훨씬 좋아요." 맞는 말입니다. 일반적으로는요. 그런데 그 벽이 내력벽이라면 절대 트면 안 됩니다. 업자는 내 집 도면을 못 보고 한 말입니다.
지적하는 AI가 딱 이 위치에 있습니다. 경험도 많고 조언도 정확한데, 내 도면은 안 봤습니다. 조언은 감사히 듣되 도면을 아는 사람은 나입니다. 그러니 지적이 어느 벽을 건드리는지는 내가 확인해야 합니다.
판정 전에 이것부터 요구하세요
판정을 쉽게 하려면, 지적을 받을 때 조건을 하나 걸어두면 됩니다. 말뿐인 지적은 판정하기가 어렵습니다.
내 계획을 부숴봐. 통과시키는 게 아니라 무너뜨리는 게 네 일이야.
[계획] (여기에 붙이기)
[내 제약] (안 하기로 한 것, 바꿀 수 없는 조건을 적기)
지적할 때 규칙:
1) 각 지적마다 "이렇게 하면 실제로 이런 상황에서 깨진다"는 반례를 구성해서 보여줘.
2) 반례를 못 만드는 지적은 취향이라고 스스로 표시해줘.
3) 해법은 하나만, 그 해법 때문에 새로 늘어나는 관리 항목도 같이 적어줘.
4) 심각도를 상·중·하로 매겨줘.
3번이 판정에 큰 도움이 됩니다. 제안대로 했을 때 새로 늘어나는 부담이 눈에 보이면, 기각할지 말지가 훨씬 빨리 정해집니다.
판정표는 파일로 남깁니다
표를 만들 때 한 줄에 네 칸만 있으면 됩니다.
| 번호 | 지적 요약 | 판정 | 근거 한 줄 |
| 1 | 통과 표시가 허술해 가짜 값도 통과함 | 수용 | 실제로 재현됨. 사실 문제 |
| 2 | 배치까지 AI가 정하게 하자 | 기각 | 원칙 위반: AI가 정할 것을 최소로 유지 |
이 표를 프로젝트 폴더에 같이 두세요. 대화창에 두면 사라집니다. 두 달 뒤 같은 제안이 다시 올라왔을 때, 이 표가 있으면 다시 따질 것 없이 끝납니다.
지적을 받아 든 날의 체크리스트
- 미완료: 지적마다 반례를 실제로 구성해서 보여달라고 요구했는가
- 미완료: 지적을 표로 옮기고 한 줄씩 분리했는가
- 미완료: 각 줄에 수용, 변형, 기각 중 하나를 찍었는가
- 미완료: 기각한 줄에 어떤 원칙과 부딪히는지 적었는가
- 미완료: 근거를 못 쓴 기각이 남아 있지 않은가
- 미완료: 판정표를 파일로 저장했는가
- 미완료: 수용한 항목을 실제로 고쳤는지 확인했는가
우리 판정 기준부터 같이 세워드립니다
건별 판정이 어려운 이유는 대개 판정에 쓸 원칙이 아직 문장으로 없기 때문입니다. 무엇을 안 하기로 할지, 어디까지 AI에게 맡길지를 한 줄씩 정해두면 그다음부터는 판정이 빨라집니다. 지금 하는 일에 맞는 원칙 몇 줄을 무료로 같이 잡아드리겠습니다.