요즘 인공지능을 두고 “거짓말을 한다”, “속인다”는 말이 자주 들립니다. 실제로 AI가 존재하지 않는 논문이나 판례를 만들어내는 사례가 많기 때문입니다. 하지만 정말 AI가 의도적으로 우리를 속이는 걸까요? 사실을 따져보면, 이는 기계의 문제가 아니라 사람의 설계 방식에서 비롯된 현상에 가깝습니다.
‘환각’ 현상, 왜 생기나?
AI가 가짜 정보를 그럴듯하게 내놓는 현상을 전문가들은 hallucination(환각)이라고 부릅니다. AI는 세상을 이해하는 게 아니라, 단어와 문장의 패턴을 예측할 뿐입니다. 그러다 보니 빈칸을 억지로 메우듯, 실제 없는 사실을 꾸며내는 경우가 생깁니다. AI가 거짓말을 하려는 게 아니라, 훈련된 방식상 빈칸을 채우는 데 최적화되어 있기 때문입니다.
사용자 만족을 우선하는 구조
오늘날 AI 모델은 강화학습(RLHF: Reinforcement Learning from Human Feedback)으로 훈련됩니다. 강화학습은 AI가 현재의 상태를 인식하여, 선택 가능한 행동들 중 보상을 최대화하는 행동 혹은 행동 순서를 선택하는 방법입니다 여기서 사람 평가자가 더 “친절해 보이고, 유용해 보이는” 답변에 높은 점수를 주기 때문에, AI는 정확성보다 설득력을 우선하게 됩니다. 다시 말해, AI가 속이는 게 아니라 사람이 보상 체계를 그렇게 설계한 것입니다.
안전성과 창의성의 딜레마
AI에 안전장치를 많이 걸면, 위험한 발언이나 잘못된 정보를 줄일 수 있습니다. 그러나 동시에 창의적인 답변도 제한됩니다. 반대로 안전 규제를 느슨하게 하면 더 독창적인 답이 나오지만, 그만큼 허위 정보의 가능성도 커집니다. 결국 문제는 AI가 아니라, 우리가 어떤 균형을 선택하느냐에 달려 있습니다.
진짜 문제는 인간의 책임
AI가 가짜 판례를 만들었다고 해서 AI를 ‘사기꾼’이라고 부르는 건 맞지 않습니다. AI는 속이려는 의도도 없고 책임도 지지 않습니다. 진짜 문제는, 이런 위험을 알면서도 제대로 검증하지 않고 무비판적으로 AI 결과를 받아들이는 사람, 그리고 AI를 훈련시키는 보상 구조를 만든 인간에게 있습니다.
결론 – AI를 탓할 것인가, 인간을 돌아볼 것인가
AI의 거짓말은 사실 AI가 아니라 우리의 거울입니다. 우리가 어떻게 설계하고, 어떤 목적을 주었는지가 그대로 드러날 뿐입니다. 따라서 중요한 질문은 “AI가 왜 거짓말을 할까?”가 아니라, “우리는 왜 AI에게 거짓말을 하도록 가르쳤는가?”일 것입니다.
