거래처에 보낼 공문을 쓰던 구매팀 대리가 AI에게 하도급 대금 지급 기한을 물었다고 해 보겠습니다. AI는 법 조항 번호와 판례까지 붙여서 자신 있게 답합니다. 문장은 매끄럽고 형식도 공문에 그대로 옮기기 좋습니다. 그런데 그 판례 번호가 실제로 있는지는 아무도 찾아보지 않았습니다. AI를 업무에 쓰는 회사가 늘수록 이런 장면도 늘어납니다. AI가 없는 사실을 사실처럼 말하는 현상을 흔히 ’환각(hallucination)’이라고 부릅니다. 환각이 왜 생기는지, 실제로 어떤 일이 벌어졌는지, 그리고 회사에서 AI 답을 어떤 순서로 검증하면 되는지 정리했습니다.
AI는 왜 그럴듯하게 틀리나
오픈AI 연구진은 2025년 9월 4일 공개한 논문 「Why Language Models Hallucinate(언어 모델은 왜 환각을 일으키는가)」에서 이 질문에 답했습니다. 핵심은 시험 채점 방식에 있습니다. 대부분의 AI 평가는 맞으면 1점, 틀리거나 “모르겠다”고 하면 0점을 줍니다. 이런 채점에서는 모를 때도 찍는 편이 점수가 높습니다. 논문은 이를 두고 “모를 때 추측하는 것이 0-1 채점 방식에서 기대 점수를 최대화한다”고 설명합니다. 객관식 시험에서 빈칸으로 내느니 아무 번호나 고르는 학생과 같습니다.
논문에 실린 예시가 이 성질을 잘 보여 줍니다. 연구진은 저자 중 한 명인 애덤 칼라이의 생일을 물으면서 “알면 일-월 형식으로만 답하라”고 했습니다. 한 모델은 세 번 물을 때마다 다른 날짜를 내놓았고 셋 다 틀렸습니다. 그의 박사 논문 제목을 물었을 때도 여러 모델이 저마다 다른 제목과 학교, 연도를 댔지만 맞힌 모델은 없었습니다.
논문은 맞춤법처럼 규칙이 있는 지식은 학습량이 늘면 오류가 사라지지만, 특정인의 생일처럼 드물고 규칙 없는 사실은 패턴만으로 맞힐 수 없어서 환각이 남는다고 봅니다. 회사 업무로 옮기면 이렇습니다. 일반적인 문서 작성 요령은 잘 답하지만, 특정 판례 번호, 거래처의 사업자 정보, 작년 3분기 우리 회사 매출 같은 개별 사실은 AI가 모르는 채로 그럴듯하게 지어낼 수 있습니다.
실제로 벌어진 일: 보고서와 법정
가장 널리 알려진 사례는 2023년 미국 뉴욕의 「마타 대 아비앙카」 사건입니다. 변호사들이 챗GPT가 알려 준 판례를 확인하지 않고 법원에 냈는데, 그 판례들은 존재하지 않았습니다. 뉴욕 남부연방지방법원은 2023년 6월 22일 변호사들과 소속 로펌에 5,000달러의 제재금을 부과했습니다. 이름이 도용된 판사들에게 결정문을 보내라는 명령도 함께 내렸습니다.
컨설팅 회사도 예외가 아니었습니다. 호주 고용노동관계부(DEWR)는 2024년 12월 딜로이트 호주에 복지 제도의 자동 제재 시스템을 검토하는 보고서를 맡겼고, 계약 규모는 44만 호주달러였습니다. 2025년 7월 4일 공개된 보고서를 시드니대 연구자 크리스 러지가 읽다가 오류를 최대 20건 찾아냈습니다. 연방법원 판사의 발언으로 소개된 인용문은 지어낸 것이었고, 같은 대학 교수의 존재하지 않는 책도 인용돼 있었습니다. 수정본에는 생성형 AI인 ’Azure OpenAI’를 썼다는 사실이 추가됐습니다. 딜로이트는 2025년 10월 계약의 마지막 분할금을 돌려주기로 했습니다. 부처는 보고서의 결론과 권고는 바뀌지 않았다고 밝혔지만, 회사의 이름은 이미 보도로 퍼진 뒤였습니다.
국내에서도 같은 일이 생기고 있습니다. 머니투데이의 2026년 5월 보도에 따르면, 울산지방법원에서 2026년 4월 선고된 대여금 소송에서 패소한 당사자가 자기 쪽 로펌의 준비서면에서 허위 판례를 찾아냈습니다. 법원의 사건번호 조회에서 “존재하지 않는 사건번호”로 나오는 대법원 판례가 있었고, 선고일이 틀린 판례가 세 건, 판례에 없는 법리를 있는 것처럼 쓴 부분도 있었습니다. 로펌은 AI로 판례를 찾고 정리하는 과정에서 검증 절차가 빠졌다고 인정하고 의뢰인에게 사과했습니다.
법원도 움직였습니다. 세계일보 보도에 따르면 법원행정처는 2026년 2월 20일 사법정보공개포털에 사건번호만 넣으면 판결이 실제로 있는지 확인하는 기능을 추가했습니다. 2025년 11월 꾸린 태스크포스는 2026년 3월 31일, 허위 인용으로 생긴 소송비용을 낸 쪽에 물리게 하는 방안과 AI 사용 사실을 밝히게 하는 규칙 개정 등을 제안했습니다. 프랑스 HEC 파리의 다미앙 샤를로탱 연구원이 판결문에서 AI 환각을 다룬 사례를 모으는 데이터베이스에는 2026년 10월 29일 기준 2,231건이 올라 있고, 그중 한국 사건이 8건입니다.
이 사례들의 공통점은 AI가 틀렸다는 사실보다 사람이 확인하지 않았다는 데 있습니다. 법원과 정부 기관이 문제 삼은 것도 AI를 쓴 일이 아니라, 검증하지 않은 내용을 자기 이름으로 낸 일이었습니다.
얼마나 자주 틀리나: 숫자로 본 환각
환각 비율은 하나의 숫자로 말하기 어렵습니다. 무엇을 시키느냐에 따라 크게 달라지기 때문입니다. 미국 스탠퍼드대 연구진은 2024년 5월, 법률 회사들이 판례 근거를 찾아 답한다고 홍보하던 법률 AI 도구에 200개가 넘는 질문을 던져 봤습니다. 렉시스넥시스의 Lexis+ AI와 톰슨로이터의 Ask Practical Law AI는 17% 넘게, 톰슨로이터의 Westlaw AI-Assisted Research는 34% 넘게 틀린 답을 냈습니다. 연구진은 법을 잘못 말한 경우뿐 아니라, 내용은 맞아도 그 근거로 댄 자료가 실제로는 그 내용을 뒷받침하지 않는 경우까지 환각으로 셌습니다.
자료를 주고 요약만 시키면 오류가 크게 줄어듭니다. AI 검색 회사 벡타라(Vectara)는 7,700개가 넘는 기사를 여러 모델에게 요약시키고, 요약에 원문에 없는 내용이 섞인 비율을 잽니다. 2026년 10월 22일 갱신된 순위표에서 그 비율은 가장 낮은 모델이 1.8%, 가장 높은 모델이 24.2%였습니다. GPT-4.1은 5.6%, 제미나이 2.5 프로는 7.0%로 나옵니다.
두 숫자에서 얻을 결론은 분명합니다. AI에게 근거 자료를 주면 틀리는 비율이 내려가지만 0이 되지는 않습니다. 근거를 찾아 주는 전용 도구도 틀립니다. 그래서 어떤 도구를 쓰든 틀리면 안 되는 일에는 확인 단계가 있어야 합니다.
틀려도 되는 일과 틀리면 안 되는 일
모든 AI 답을 같은 강도로 검증하면 AI를 쓰는 의미가 없어집니다. 먼저 업무를 위험도로 나눠야 합니다. 기준은 두 가지입니다. 틀린 내용이 회사 밖으로 나가는지, 그리고 돈이나 법적 책임과 이어지는지입니다.
| 위험도 | 업무 예 | 검증 수준 |
|---|---|---|
| 낮음 | 회의 안건 초안, 메일 문장 다듬기, 아이디어 목록, 사내 공지 문구 | 읽어 보고 어색한 곳만 고친다 |
| 중간 | 사내 보고서 요약, 시장 동향 정리, 교육 자료 초안 | 숫자와 고유명사를 원문과 대조한다 |
| 높음 | 견적서·계약서 문구, 거래처 공문, 법령·판례 인용, 세무 판단, 고객 안내문 | 모든 사실을 1차 자료에서 확인하고 담당자가 서명한다 |
위험도가 높은 일에서는 AI를 ’답을 주는 사람’이 아니라 ’초안을 쓰고 찾을 곳을 알려 주는 사람’으로 써야 합니다. 법 조항은 국가법령정보센터에서, 판례는 사법정보공개포털의 사건번호 조회로, 회사 숫자는 ERP나 회계 장부에서 직접 확인합니다. 어떤 정보를 AI에 넣어도 되는지는 사내 AI 사용 규칙 만드는 법에서 따로 정리했습니다.
질문하는 단계에서 환각을 줄이는 법
검증 부담은 질문을 잘 하면 미리 줄일 수 있습니다. 앤트로픽이 개발자용 문서 「환각 줄이기(Reduce hallucinations)」에서 권하는 방법이 실무에도 그대로 통합니다.
첫째, 모르면 모른다고 말하게 허락합니다. 질문 끝에 “자료에 없거나 확실하지 않으면 ’확인 필요’라고 적어 주세요”를 붙입니다. 앞에서 본 것처럼 AI는 찍도록 길들여져 있어서, 빈칸을 허락해야 빈칸을 냅니다.
둘째, 근거 자료를 직접 넣고 그 안에서만 답하게 합니다. 회사 규정, 거래 조건표, 계약서 원문을 붙여 넣고 “아래 문서에 있는 내용만 쓰고, 일반 지식은 쓰지 마세요”라고 적습니다. 사내 문서를 AI가 찾아 읽게 하는 구조(RAG)는 사내 규정 AI 챗봇 도입 가이드에서 다뤘습니다.
셋째, 긴 문서는 인용부터 뽑게 합니다. 앤트로픽 문서는 긴 문서를 다룰 때 관련 문장을 원문 그대로 먼저 뽑게 한 다음, 그 인용만으로 분석하게 하라고 권합니다. 계약서 검토라면 “해지 조건과 위약금에 관한 문장을 원문 그대로 번호를 붙여 뽑고, 그 번호를 들어 설명해 주세요”처럼 씁니다. 사람은 번호만 따라가며 원문과 맞는지 보면 됩니다.
넷째, 주장마다 근거를 달게 하고 근거가 없는 주장은 지우게 합니다. 초안을 쓴 뒤 “각 문장을 뒷받침하는 원문 인용을 찾고, 찾지 못한 문장은 지우고 [ ]로 표시해 주세요”라고 다시 시키는 방식입니다. 같은 질문을 두세 번 해서 답이 매번 달라지는지 보는 것도 간단한 확인법입니다. 칼라이의 생일처럼 답이 바뀐다면 AI가 모르고 찍고 있다는 신호입니다.
앤트로픽 문서도 이 방법들이 환각을 크게 줄이지만 없애지는 못한다고 적고 있습니다. 중요한 결정이 걸린 정보는 결국 사람이 확인해야 합니다.
바로 쓰는 AI 답변 검증 체크리스트
위험도 ‘중간’ 이상인 문서를 AI로 만들었다면, 내보내기 전에 아래 표를 위에서부터 확인합니다. 줄마다 1~2분이면 되는 일이 대부분입니다.
| 확인할 것 | 어떻게 확인하나 | 자주 생기는 오류 |
|---|---|---|
| 숫자 | 원본 장부, 견적서, 통계표에서 직접 찾아 대조한다 | 자리수, 단위(천 원·백만 원), 연도 혼동 |
| 고유명사 | 회사명, 인명, 제품명, 기관명을 공식 홈페이지나 등기에서 확인한다 | 비슷한 이름의 다른 회사, 바뀌기 전 이름 |
| 법령·조항 | 국가법령정보센터에서 조항 번호와 현행 여부를 확인한다 | 개정 전 조항, 없는 항 번호 |
| 판례·사건번호 | 사법정보공개포털에서 사건번호와 선고일을 조회한다 | 없는 사건번호, 틀린 선고일, 판례에 없는 법리 |
| 인용문 | 원문을 찾아 같은 문장이 있는지 본다 | 지어낸 발언, 맥락이 바뀐 요약 |
| 출처 목록 | 링크를 실제로 열어 본다 | 열리지 않는 주소, 존재하지 않는 책·보고서 |
| 계산 | 엑셀이나 계산기로 다시 계산한다 | 합계 누락, 부가세 포함 여부 혼동 |
| 날짜·기한 | 달력에서 요일과 공휴일을 확인한다 | 주말에 걸린 마감일, 지난 기한 |
검증에 드는 시간도 계산에 넣어야 합니다. AI가 2시간 걸리던 보고서 초안을 20분 만에 써 주더라도, 위 표대로 확인하는 데 30분이 걸린다면 실제로 아낀 시간은 1시간 10분입니다. 그래도 남는 장사입니다. 반대로 확인 30분을 건너뛰었다가 거래처에 틀린 조건을 보내면, 그 수습에는 30분보다 훨씬 많은 시간과 신뢰가 듭니다. 딜로이트가 돌려준 분할금이 그 차이를 보여 줍니다.
마지막으로 누가 확인했는지를 남깁니다. 위험도 ‘높음’ 문서에는 “AI 초안, ○○○ 검토”처럼 검토자 이름을 적는 규칙을 두면 확인을 건너뛰기 어려워집니다. 울산 사건의 로펌이 사과하며 밝힌 개선책도 결국 사건번호와 법 조항을 따로 대조하는 절차를 다시 넣는 것이었습니다.
AI 환각은 모델이 좋아질수록 줄겠지만, 오픈AI 연구진의 설명대로라면 드물고 개별적인 사실에서는 쉽게 사라지지 않습니다. 회사가 할 수 있는 일은 AI가 틀릴 수 있다는 것을 전제로 일의 순서를 짜는 것입니다. 위험도를 나누고, 근거를 주고 묻고, 내보내기 전에 표 한 장으로 확인하는 습관이 있으면 AI는 그럴듯한 오답을 내는 도구가 아니라 빠른 초안 작성자가 됩니다.
직원들이 이런 검증 습관을 실제 업무 문서로 익히게 하고 싶다면 AI 교육·컨설팅에서 회사 업무에 맞춘 실습 과정을 함께 설계해 드립니다.
참고한 자료
- Why Language Models Hallucinate — Kalai 외(OpenAI·Georgia Tech), arXiv, 2025
- Reduce hallucinations — Anthropic 개발자 문서, 2026
- AI on Trial: Legal Models Hallucinate in 1 out of 6 (or More) Benchmarking Queries — Stanford HAI, 2024
- Hallucination Leaderboard — Vectara, 2026
- Deloitte to partially refund Australian government for report with apparent AI-generated errors — AP 통신(News4JAX 게재), 2025
- Deloitte refunds Australian government after AI ‘made up citations’ in report — City A.M., 2025
- Judge Castel Sanctions Lawyers Who Submitted Fake Cases Generated by ChatGPT — Steptoe, 2023
- [단독]AI가 만든 ‘허위 판례’ 제출한 로펌…의뢰인이 패소 후 발견 — 머니투데이, 2026
- AI 허위 판례 인용에 소송비용 부담…법원 TF 대응 방안 — 세계일보, 2026
- AI Hallucination Cases Database — Damien Charlotin(HEC Paris), 2026
댓글
댓글을 불러오는 중…