AI가 내놓는 답변은 자신감 있게 느껴집니다. 문장이 매끄럽고, 근거를 대는 것 같고, 전문가처럼 들립니다. 사람은 자신 있게 말하는 상대를 믿는 경향이 있어서, AI가 틀렸을 때 오히려 더 위험합니다. 틀린 답이 너무 그럴듯해서 의심 없이 그대로 써버리기 때문입니다. AI를 잘 쓰는 사람과 잘못 쓰는 사람의 차이는 프롬프트 실력이 아니라, 어디까지 믿고 어디서부터 확인하는지를 아는 데 있습니다.
AI가 자신 있게 틀리는 이유: AI는 정답을 알고 대답하는 게 아닙니다. 지금까지 학습한 방대한 텍스트를 바탕으로 "이 맥락에서 다음에 올 가능성이 높은 표현"을 한 단어씩 이어 붙여 문장을 만듭니다. 그래서 사실 여부와 무관하게 그럴듯한 문장은 언제든 만들어낼 수 있습니다. 존재하지 않는 논문을 진짜처럼 인용하거나, 틀린 수치를 자신 있게 제시하는 일이 생기는 이유입니다. 이런 그럴듯한 오류를 환각(hallucination)이라고 부릅니다.
실제 AI 오류 유형 3가지. 첫째, 사실 오류입니다. 통계 수치, 날짜, 사람·회사·제품 같은 고유명사를 잘못 말하는 경우입니다. 특히 최신 정보나 세부 수치에서 자주 발생합니다. 둘째, 논리 오류입니다. 각 문장은 맞는 것 같은데 전제에서 결론으로 가는 연결이 어긋난 경우입니다. 술술 읽혀서 더 놓치기 쉽습니다. 셋째, 맥락 오류입니다. 내 의도를 잘못 파악해 엉뚱한 방향의 결과를 내는 경우로, 요청이 짧고 모호할수록 자주 일어납니다.
AI를 믿어도 되는 것 vs 반드시 확인해야 하는 것: 모든 것을 다 의심하면 AI를 쓰는 의미가 없습니다. 영역을 나눠서 보는 게 현실적입니다. 비교적 믿어도 되는 영역은 초안 작성, 아이디어 발상, 글의 구조화, 표현 다듬기처럼 "내가 최종 판단을 하는" 작업입니다. 반대로 반드시 확인해야 하는 영역은 수치와 통계, 사실 관계, 법적·의료적 정보, 인용과 출처, 그리고 외부에 공개되거나 의사결정에 쓰이는 자료입니다. 틀렸을 때 되돌리기 어려운 것일수록 확인의 강도를 높여야 합니다.
빠른 검증 한 가지 습관: 중요한 결과를 받으면 "이 주장의 근거가 실제로 존재하는가?"와 "수치·날짜·고유명사가 사실과 맞는가?" 두 가지만 빠르게 확인해도 큰 사고의 대부분을 막을 수 있습니다. 더 중요한 자료라면 원문을 직접 대조하거나 다른 도구로 교차 확인합니다.
AI와 함께 일하는 올바른 자세: 핵심은 단순합니다. AI는 초안 담당, 판단은 내가. 이 한 줄의 구분만 유지해도 AI 오류로 인한 문제의 대부분을 막을 수 있습니다. AI를 못 믿어서 안 쓰는 것도, 너무 믿어서 그대로 쓰는 것도 모두 손해입니다. 믿을 곳과 확인할 곳을 가려 쓰는 사람이 AI를 가장 잘 활용합니다.