AI에게 일을 맡길 때 진짜 실력은 검수에서 갈린다

AI에게 주변 사람들 관계를 정리해달라고 맡긴 적이 있다. 몇 초 만에 매끄러운 문장이 쏟아졌는데, 그중 한 줄이 걸렸다. 내가 어떤 친구와 소개팅을 했다는 거였다. 그런 적 없다. 이름이 비슷한 다른 사람과 착각했거나 동명이인을 구분 못 한 것 같은데, 문장은 조금의 망설임도 없이 그 얘기를 사실처럼 써 내려갔다. (있지도 않은 소개팅을 만들어내다니.) 문제는 답이 틀렸다는 게 아니라, 틀린 답이 맞는 답과 똑같이 자신 있어 보였다는 데 있었다. 답을 받는 건 쉬웠는데, 그 답이 진짜인지 가려내는 게 정작 훨씬 어려운 일이었다.

AI는 틀릴 때도 자신 있게 틀린다

많은 사람이 AI를 잘 쓰는 법을 프롬프트 잘 쓰는 법이라고 생각한다. 좋은 질문을 던지면 좋은 답이 나온다는 것이다. 틀린 말은 아니다. 그런데 여러 일을 실제로 맡겨 보면, 답을 얻는 것보다 그 답이 맞는지 가려내는 일이 훨씬 어렵다는 걸 알게 된다.

이유는 단순하다. AI의 답은 문장이 유창하고 말투가 확신에 차 있다. 사람은 원래 자신 있게 말하는 상대를 신뢰하도록 되어 있어서, 틀린 답도 매끄럽게 포장되면 맞는 답처럼 보인다. 우리가 평소에 진위를 가늠하던 단서, 그러니까 머뭇거림이나 어색한 문장 같은 신호가 AI의 답에는 아예 없다. 요즘 생성형 AI가 사실이 아닌 걸 사실처럼 지어내는 현상을 흔히 환각이라고 부르는데, 무서운 건 지어낸 티가 안 난다는 점이다. 오히려 진짜 정보보다 더 정돈되어 보일 때도 있다. 그럴듯함에 속기 딱 좋은 구조다.

실력의 무게중심이 앞단에서 뒷단으로 옮겨간다

예전에는 정보를 찾아내는 것 자체가 능력이었다. 어디에 뭐가 있는지 알고, 흩어진 자료를 그러모으는 사람이 앞서갔다. 그런데 이제는 묻기만 하면 그럴듯한 답이 얼마든지 쏟아진다. 정보가 없어서 못 하는 게 아니라, 쏟아지는 답 중에서 맞는 걸 골라내지 못해서 막히는 시대가 됐다.

그래서 실력의 무게중심이 옮겨간다. 질문을 던지는 앞단보다, 나온 답을 검증하는 뒷단이 병목이 된다. 앞단은 이제 누구나 몇 초 만에 통과한다. 진짜 갈리는 지점은 그다음, 이 답을 믿어도 되는지 판단하는 자리다. 그런데 사람들은 여전히 앞만 연습한다. 프롬프트 잘 쓰는 법은 열심히 배우면서, 나온 답을 의심하는 훈련은 거의 하지 않는다. 앞단만 빨라지고 뒷단은 그대로면, 빠르게 틀리는 일만 늘어난다.

검수를 잘하려면 통째로 믿지 않는 데서 시작한다

검수에 대단한 기술이 필요한 건 아니다. 다만 습관이 필요하다. 먼저, 결과를 통째로 믿지 않는다. 특히 핵심 주장과 수치, 고유명사는 따로 떼어 확인한다. 사람 이름, 연도, 통계처럼 딱 떨어지는 정보일수록 지어내기 쉽고, 다행히 확인하기도 쉽다.

내가 잘 아는 분야일수록 검수가 쉽다는 것도 기억해 둘 만하다. 아는 분야면 틀린 부분이 눈에 걸리지만, 모르는 분야는 뭐가 틀렸는지조차 모른 채 넘어간다. 그러니 낯선 주제일수록 더 의심해야 한다. 잘 모르는 영역에서 AI가 유창하게 말할 때가 가장 위험하다.

근거를 되묻는 것도 방법이다. 이 답의 출처가 어디냐고 묻고, 그 출처를 직접 확인한다. 존재하지 않는 출처를 그럴듯하게 대는 경우가 적지 않기 때문이다. 마지막으로, 한 번에 다 맡기지 않는다. 큰 일을 작게 쪼개 단계마다 확인하면, 틀린 부분이 뒤에까지 번지기 전에 걸러낼 수 있다. 이렇게만 해도 그냥 받아 쓰는 것과는 결과의 신뢰도가 크게 달라진다. 시간이 더 드는 것 같지만, 나중에 틀린 걸 되짚어 고치는 비용에 비하면 오히려 싸게 먹힌다.

그럼 이 습관만 들이면 다 해결될까?

AI가 대신할수록 판단하는 사람의 몫은 커진다

AI가 일을 대신 해 줄수록, 그 일을 판단하고 책임지는 사람의 몫은 오히려 커진다. 실행은 넘겨도 판단까지 넘길 수는 없기 때문이다. 결과에 이름을 걸고 내보내는 건 결국 사람이고, AI는 틀려도 부끄러워하지 않는다.

AI 시대의 실력은 두 축으로 갈린다. 시키는 법과 가려내는 법이다. 사람들은 앞의 축만 부지런히 연습하고 뒤의 축은 소홀히 한다. 앞으로는 잘 묻는 사람보다, 잘 가려내는 사람이 앞서갈 것이다. AI가 더 똑똑해질수록 그럴듯한 오답도 더 정교해질 테니, 가려내는 눈의 값어치는 오히려 더 오를 것이다. 좋은 질문만큼 좋은 의심이 실력이 되는 때다.